وَتین.

بله کل امروز رو درگیر اثبات این بودم و هنوز به وضوح می‌دونم تیم مقابل اگه فلان استدلال رو بیاره قراره بگم قربون فهم و درکت منم نظرم همینه هیچ جوابی هم براش ندارم.

امشب به طرز ناگهانی‌ای متوجه شدم جنس فراقی که از مشهد و کربلا دارم با جنس فراقی که از سیدحسن دارم متفاوته. این فراق رو باید بدونم که هیچ وقت قرار نیست به دیدار برسه.

اگه شیرنی بودی؛ قطعا باقلوا بودی.

امشب داشتم به خاطر یه مسئله‌ای یکی از ویدیوهای استاد شهشهانی رو می‌دیدم، متوجه شدم ایشون هم تکیه کلام "علی الاصول" داره و توی ده دقیقه اول این ویدیو حداقل پنج شیش بار به زبون آورددش :))))

همون‌طور که می‌دونید مدل‌های هوش‌مصنوعی(بذارید تا آخر این متن بگیم هوش‌واره) برای اجرا نیاز به سخت‌افزارهای سنگین و کارت گرافیک‌های گرون دارن و به هیچ وجه روی لپ‌تاپ‌های شخصی قابل اجرا نیستن. حتی لپ‌تاپ خود من که یه گیمینگ خیلی قوی با RTX ۴۰۶۰ و ۸ گیگ VRAM و ۳۲ گیگ رم هست، نهایتا میتونه یه مدل با ۳۰ میلیارد پارامتر رو با ترکیب کارت گرافیک و رمش اجرا کنه و تقریبا ۵ توکن در ثانیه خروجی بگیره. تازه به شکل طولانی مدت نمی‌شه استفاده کرد چون سیستم خنک‌سازی خیلی خفنی برای یه لپ تاپ نمی‌شه گذاشت و شما اگه دائم کارت گرافیک رو اینقدر درگیر نگه داری از حرارت می‌سوزه. تازه مدل ۳۰ میلیارد پارامتری واقعا ضعیفه -برای مقایسه تصور کنید GPT-۴ که به شکل روتین ازش استفاده میکنید حداقل ۱۸۰۰ میلیارد پارامتر داره- حالا چالش اینجاست که ما اگه برای یه سری کار محرمانه -که مثلا نمی‌خوایم اطلاعاتمون بره رو سرور جی‌پی‌تی و کلاد و...- نیاز به مدل هوش‌واره داشتیم و سرور با کارت گرافیک فلان نداشته باشیم، باید چیکار کنیم؟ اینجا یه برنامه‌نویس اومده یه کار دیوانه‌وار کرده: اجرای مدل ۲۸۰۰ تریلیون پارامتری Kimi K۳ فقط روی یه CPU معمولی و ۸ گیگ رم! بدون هیچ کارت گرافیکی. این پروژه (kimi-k۳-in-c) کلاً با زبان C خالص (نسخه C۹۹) نوشته شده. یعنی کل انجین پردازشی این مدل فقط ۱۷۶ کیلوبایته که قراره یه غول با توان یک و نیم برابر GPT رو لود کنه! اما چطوری این کار ممکنه؟ از نظر فنی ۴ تا حرکت خیلی خفن زدن تا سایز مدل رو از چند ترابایت به چند گیگ بشکنن: اول اینکه Kimi K۳ یه مدل MoE (ترکیب متخصص‌ها) هست. اما از بین ۸۹۶ تا متخصص (Expert)ای که داره، برای هر توکن فقط ۱۶ تاشون فعال می‌شن. پس نیازی نیست کل مدل همزمان توی رم باشه. بخش‌های غیرفعال روی هارد (ترجیحاً SSD پرسرعت) می‌خوابن و فقط موقع نیاز صدا زده می‌شن. دوم بحث فشرده‌سازی وزن‌هاست. وزن‌های این اکسپرت‌ها از همون اول روی فرمت ۴ بیتی (MXFP۴) تنظیم شدن و جالب اینجاست که برای ضرب ماتریسی اصلاً از حالت فشرده خارجشون نمی‌کنن. همین کار باعث شده حجم دیتایی که قراره خونده بشه به‌شدت بیاد پایین (از ۵ ترابایت رسیده به ۱.۴ ترابایت). سوم بهینه‌سازی حافظه‌ست. حدود ۶۹ لایه از این مدل از مکانیزم KDA استفاده می‌کنن که ویژگی فوق‌العاده‌اش اینه که با طولانی شدن کانتکست -طول پرامپت و تاریخچه چت شما- حافظه‌اش پر نمی‌شه و یه حجم ثابت (حدود ۲۱۷ مگابایت) اشغال می‌کنه. اون ۲۴ لایه دیگه هم به‌جای ذخیره کل Key و Value برای هر هد (Head)، اونا رو فشرده می‌کنن تا مصرف رم برای هر توکن جدید بالا نشه. چهارمین ایده اینه که اون بخش متراکم مدل که حدود ۱۱۳ گیگابایته رو تو رم پین نمی‌کنن. برنامه‌شون اینه که به اندازه ظرفیت رم شما یه بافر درست می‌کنن و بقیه‌اش رو مستقیم و بدون واسطه سیستم‌عامل از روی دیسک می‌خونن. حالا سرعتش چطوره؟ روی یه لپ‌تاپ معمولی با ۸ گیگ رم، هر توکن حدود ۲۶.۵ ثانیه طول می‌کشه! (چون برای هر استپ، مدل باید مدام از روی دیسک خونده بشه). اما اگه همون رو بندازید روی یه سرور با ۱۲۸ گیگ رم، سرعت می‌رسه به ۵.۶ ثانیه برای هر توکن. کنده؟‌ بله. ولی عوضش شما با یه لپ تاپ ۴۰ تومنی می‌تونید مدل با دو برابر قدرت جی‌پی‌تی رو به صورت کاملا شخصی و رایگان و امن اجرا کنید! ادعای سازنده اینه که خروجی مدل روی سیستم ۸ گیگابایتی با سرور ۲۲۴ گیگابایتی بایت‌به‌بایت دقیقاً یکسانه. یعنی هیچ ‌چیزی از دقت مدل فدا نمیشه. https://github.com/FareedKhan-dev/kimi-k3-in-c #هوشواره

جدیدا محتوایی که راجع به هوش مصنوعی می‌ذارم داره زیاد می‌شه، پس تلاش می‌کنم از هشتگ #هوشواره استفاده کنم که حقیقتا معادل بسیار شیرینیه.

آن‌چه شما با جهاد و مقاومت بی‌نظیر خود به امّت اسلامی هدیه کرده‌اید؛ از حدّ توصیف اینجانب بالاتر است. جهاد دلاورانه و مظلومانه‌ی شما که نصرت الهی را به شما ارزانی داشت،‌ بار دیگر ثابت کرد که سلاح‌های مدرن و مرگ‌بار در برابر ایمان و صبر و اخلاص‌‌،‌ ناکارآمد است و ملّتی که ایمان و جهاد دارد، مغلوب سیطره‌ی قدرتهای ستمگر نمی‌شود. پیروزیِ شما، پیروزیِ اسلام بود.‌ شما توانستید به حول و قوّه‌ی الهی ثابت کنید که برتری نظامی، به ابزار و سلاح و هواپیما و ناو و تانک نیست؛ به قدرت ایمان و جهاد و فداکاری همراه با عقل و تدبیر است. - بخشی از پیام تبریک امام سیدعلی‌ خامنه‌ای به سیدحسن نصرالله به مناسبت پیروزی در جنگ ۳۳ روزه/مرداد ۱۳۸۵

یه جا داشتم می‌گشتم دنبال یه سری جواب برای استدلال‌هایی که با مبانی اسلامی قراره بگن این گزاره مزخرفه، به خودم اومدم دیدم تو سایت مجاهدین خلقم. بمیری دانشکده پفیوز مدیریت و اقتصاد. واسه یه سه واحدی که آدم حسابت کردیم ما رو به چه روزی انداختی.

جنبش های مارکسیستی وضعیت کارگران رو در نظام سرمایه داری بهبود داده‌ن

آدمیزاد همین‌طوری قدر نعمتاشو نمی‌دونه بعد می‌‌گه چرا زندگیم کم‌برکت شده.

حاج عبدالرّضا هلالی – بخش هشتم - واحد (ما غلامان تو هستیم اباعبدالله)

حداقل تا سال آقا که مشکی را از تن درنیاوریم؛ بعد خدا بزرگ است.

حداقل تا سال آقا که مشکی را از تن درنیاوریم؛ بعد خدا بزرگ است.

چی بگم والا. رفتیم و اومدیم و روضه خوندیم و گریه کردیم و سینه زدیم و هروله کردیم و لطمه زدیم و تجمع شبانه رفتیم و طلا فروختیم رفتیم کربلا و مشایه رفتیم و نجف و کربلا و سامرا و کاظمین و قم و مشهد و جمکران و شب جمعه بین الحرمین و کهف و بهشت زهرا و امامزاده محل و هیات دانشگاه و بالاشهر و پایین شهر و هلالی و حاج محمود و ستوده و فتوحی و روضه خصوصی خدام رفتیم و مداحی گوش کردیم حین رانندگی و کار و کمیل و توسل و ابوحمزه خوندیم. محرم و اربعین و فاطمیه و راهیان و رجب و نیمه شعبان و رمضان و قدر و عرفه. به خدا فرعون رو آدم می‌کرد این حجم مکمل معنوی. نمی‌خواید تکلیف ما رو مشخص کنید اباعبدالله؟ ما قرار نیست هیچ وقت آدم شما باشیم؟

من فک نمی‌کنم بتونم لباس مشکیارو در بیارم، شما ادامه بدین.

محرم و صفر که تموم میشه دلم بنابر قاعده "همه افراد باید در مجموع به یه میزان غم بخورن، حالا خودشون انتخاب میکنن این غم رو چجوری و برای کی بخورن" تمام غصه‌های چند سال اخیرش رو به خاطر میاره و می‌گیره.

مچ و بازوها رو گرم کنید که در روزهای آتی قراره با حرکت 🫴🏼 از ملت شیرینی دریافت کنید.

با پهلوی‌چی بحث نکنید‌. اینو براشون بفرستید و بلاکشون کنید.

اولین حلقه ای که بر محور سیدالشهداء جمع شدند، مهم ترین مرحلهٔ قربشان مرحله ای بود که حضرت آنها را شریک در بلای خودش کرد. آنها مراحل قبل را پشت سر گذاشته بودند و از دنیا بیشتر و بالاتر را میخواستند. بیشتر از دنیا خواستن؛ یعنی فراغت و زهد. و آنها با این خواستن، به تدریج به معرفت ولی خدا و محبت به ولی خدا رسیده بودند. این بود که آنها را از راه‌های دور به حضور حضرت کشانده بود. اما آن چه بیش از هر چیز اینها را آماده کرد تا توانستند به مقام سبقت و قرب برسند این است که سیدالشهداء همه آنها را با بلای خودشان شریک کرد و این آخرین مرحله ای بود که نصیبشان شد. در سیری که انسان به طرف خدای متعال دارد، کس دیگری است که او را می‌برد. هدایت از آن طرف می‌آید؛ رشد و نور از آن طرف می‌آید. مؤمن حداکثر کاری که میکند این است که این رشد را می‌پذیرد و جذب می‌کند. این طور نیست که رشد را خود مؤمن برای خودش ایجاد کند. این سیری که اولیای خدا داشته اند از معصومین گرفته تا مادون همه به هدایت خدای متعال برمیگردد. البته همه درجات وفا و فداکاری عالم مادون در اتصال مؤمنین به انبیا و اولیا به معصومین باز میگردد و ریشه‌اش در سرپرستی و هدایت آنهاست؛ یعنی اگر ما الان گرد شمع وجود سیدالشهدا جمع میشویم واقعاً هدایت از آن طرف می‌آید که ما را جذب میکند؛ درجات نزدیکی و محبت ما با هدایت باطنی خود سیدالشهدا اتفاق می افتد. هنر ما این است که این هدایت را می پذیریم و متولی هستیم و راه خود را از راه حضرت جدا نمی‌کنیم. - مراقبه‌های عاشورایی، استاد میرباقری.

آقا من به دنبال یه راه ارتباطی‌ای با دوستان "خیمه‌ بانوان هنرمند هیأتی" هستم. اگه کسی رو میشناسید که باهاشون در ارتباطه ممنون میشم بهم معرفی کنید. https://t.me/SendHarfBot?start=cac355c1b4dc