دستاوردهای یادگیری عمیق(InTec)

در ادامه پروسه‌های باگ یابی من از شرکتهای هوش مصنوعی. الان متوجه شدم چرا خیلی از بچه‌ها میگن که فقط با Claude می‌تونند کد بزنند؛ من یک باگ جدید پیدا کردم. Qwen, Grok, ChatGpt, GLM5.2 رو تست کردم؛ این مدل‌های پارسر ضعیفتری دارند. اول اینکه بنظر میاد همشون کد رو هم مثل markdown باهاش برخورد می‌کنند و پارس می‌کنند چرا ؟ حجم زیادی کد بهشون دادم با پرامپت سختگیرانه (خیلی بی‌ادبی هست وگرنه میذاشتم) و همشون چون رو حالت سخت گیری هست ارورهای پارسر رو نادیده نمی‌گیرند. این نادیده گرفتن یک تکنیکی هست که ما هم توی پروداکشن استفاده می‌کنیم؛ اینطوری هست که اگر ببینید طرف راجب چیزی صحبت می‌کنه که به اندازه کافی علم داره ازش به مدل میگیم بعضی خطاها ممکنه اشتباه پارسر یا سرویس OCR باشه و نادیده‌اش بگیر. ولی اینجا مدل‌های بالا با پرامپتی که من دادم دیگه اینطوری نشد و کلی ایراد الکی گرفتند. بعنوان مثال : Bug 1: __main__.py entrypoint is broken You have: if name == "main": main() That is wrong. It must be: if __name__ == "__main__": main() بدتر از اون اینکه بعضی مدل‌ها حتی اینطوری می‌بیننش : if name من تمام مدل‌هایی که اسم بردم رو توی ۳ حالت استفاده کردم : ۱- با پرامپت سختگیرانه که بالاتر گفتم ۲- پرامپت ساده که فقط یک role بهش دادم (این مشکلات وجود نداشت)‌ ۳-پرامپت سختگیرانه +‌ استفاده از محیط چت و کپی پیست کد بعد از توضیح اینکه مطلب ارسالی کد پایتون هست. و بهترین جواب رو حالت سوم داد؛‌ اگر به اندازه کافی کانال رو دنبال کرده باشید می‌دونید که من اصلا به هیچ ابزار و agent ایی که دسترسی به سیستمم داشته باشه اعتماد ندارم و همیشه از محیط‌های چت مرورگر استفاده می‌کنم و کدهام رو اونجا بهشون میدم. با دیدن این نتابج الان میفهمم چرا برای خیلی از شما سوال میشه که من چطوری از Qwen, Duck.ai , ... استفاده می‌کنم و انقدر از خروجی‌هاش راضی هستم. بنظرم شما هم این رو تست کنید- من فقط روی ۴ مدلی که اسم بردم تست کردم.

زده من اینکار رو کردم بعدش دیگه چه کارهایی میشه کرد باهاش ؟ هیچی تلاش کردی چندتاش رو بهم وصل کنی ببینی چی میده یا اصلا چطوری باید کد بزنی برای اتصال چندتاش به هم دیگه ؟ سریعتر میشه؛ کندتر میشه ؟ حالا bottleneck کجاس ؟ اگر مدل بزرگتر باشه چی میشه ؟ اصلا چطوری میشه چندتاش رو بهم وصل کرد (کارت شبکه که نداره) مدل P4 که روی RiscV هست چطوری کار می‌کنه ؟ اگر همه این کارها رو کردی و جواب همش رو درست متوجه شدی یک سری به این سایت بزن Tenstorrent برای موقعیت های شغلی که دارند رزومه بده؛ من قبلا فرستادم ولی چون معماری RISC-V بود و من بلدش نبودم رزومه‌ام رد شد. پینوشت: چندتا از بچه‌ها این کار رو کردند و سوال پرسیدند.

لطفا ایشون رو برای همکاری استخدام کنید AI developer runs 28.9-million-parameter model on $10 ESP32-S3 microcontroller — uses Google's Per-Layer Embeddings technique, stores table on 16MB Flash memory اگر انقدر دیوونه هست که جنین کدی رو توی وقت‌های خالی خودش بزنه؛ ببین توی کار چه کدهایی میزنه. پینوشت: خروجیش ۱ توکن در ثانیه هست مهم کاری هست که کرده و کدی که زده

Claude Leak داستان چیه ؟ یک اتفاق تکراری دیگه. هرکسی روی Calude چت خودش رو لینک Share براش گرفته چت بصورت کامل عمومی شده. یک نفر هم اومده توی گوگل زده site:claude.ai/share و دیده بله گوگل تمام و کمال همرو ایندکس کرده. که خب یعنی خیلی شرکت‌های دیگه هم اینکار رو کردند و البته خیلی جاهای دیگه هم دیتاهای مهم رو خوندند. خیلی از بیزینس‌ها ابراز نگرانی کردند و گوگل نتایج رو حذف کرد و گفته میشه که کلاد هم باگ رو برطرف کرده. ولی همه می‌دونیم که ترین دیتای خوبی برای همه مدل‌ها آماده شد.

این رو معرفی کنم OKF (by google) وقتی مدل‌ها با کانتکست‌های بالای 128K و حالا بیش از 1M استاندارد شدند واقعا هزینه توسعه و نگهداری سیستم‌های RAG برام قابل درک نبود. توی یک سری از ابزارهای چت شما می‌تونید مشخص کنید چت با چه پیام‌هایی از قبل مشخص شده‌ای شروع بشه و ماهم از همین تکنیک استفاده میکردیم. مثلا برای نیروهای تازه وارد به شرکت؛ شماتیک دیتابیس رو توی چت اول میذاشتیم و نیرو همزمان با خوندن کدها اگر سوالی روی دیتابیس براش پیش میومد می‌تونست از مدل لوکال استفاده کنه و جلو بره. برای بچه‌های سنیور هم خیلی خوب بود؛ هم سوالات خیلی کم شده بود؛ هم کمکی بود برای یادآوری و هم اگر کوئری بود که یادشون میرفت می‌تونستند از مدل بپرسند و تقریبا مطمئن باشند که بهترین جواب رو احتمالا خواهند گرفت. حالا گوگل توی یک حرکت خیلی خفن اومده و یک استاندارد رو ارائه داده برای فرمت فایل‌ها و ... بجای اینکه یک چت هیستوری خیلی بزرگ به سیستم بدید (مثل کاری که ما می‌کردیم) اون‌ها رو توی فایل‌های markdown مختلف بشکونید ولی ابتدای هر فایل یک استاندارد رو رعایت کنید. تقریبا دو روزی هست که دارم روی یک دیتابیس پروداکشن استفاده‌اش می‌کنم و بنظرم این از RAG, chat history خیلی بهتره (حداقل توی استفاده من) مثلا:‌ توی سورس کد یک کوئری کند داشتیم و فکر میکردیم این دیگه ازین بهتر نمیشه؛ اما شد چون ما یک view ایی که ایجاد شده بود رو فراموش کردیم بودیم که همچین دیتایی رو داره و می‌تونه این کوئری رو هم اپتیمایز کنه و مدل این کوئری جدید رو بهمون داد. برای استفاده‌های این شکلی بنظرم خیلی تکنیک تمیز و خوبی هست. Github توجه کنید هیچ تکنولوژی یا ... جدیدی پشت این نیست دنبال ابزار نباشید یک استاندارد برای نوشتن فایل Markdown هست بیشتر که مدل‌ هوش مصنوعی شما راحت تر بفهمه چیکار کنه که بنظرم استاندارد تمیز و خوبی هم هست.

مدل‌های MoE خیلی جذابتر از مدل‌های Dense هستند بنظرم چون می‌تونی یک مدل خیلی بزرگتر رو روی یک GPU خیلی کوچکتر با سرعت بالا اجرا کنی مثل : https://telegram.me/per3onnel/263 یک سری افراد نشستند و همین کار رو برای GLM.5-2 با فشرده سازی و اپیتیمایز کردن بسیار انجام دادند بطوری که طبق ادعا خودشون مدل 774 میلیارد پارامتری رو روی سیستم با 25GB رم و بدون نیاز به GPU اجرا کردند (همه چیز روی C نوشته شده) بطور خیلی ساده کاری که می‌کنه اینه که یک backbone اصلی رو توی رم نگه میداره و باقی رو روی SSD - اگر یادتون باشه توی اون پست‌ها من توضیح دادم که MoE میشه بخش اصلی که نیاز به پردازش داره رو روی VRAM نگهداشت و باقی موارد رو روی RAM حالا این افراد یک قدم جلوتر رفتند و بخش زیادی رو روی SSD نگهداری می‌کنند؛ برعکس llamacpp که از memory mapping استفاده می‌کنه این کتابخونه صبر می‌کنه تا مدل تصمیم بگیره برای پرامپت دقیقا کدوم expert هارو نیاز داره و بعد همونارو روی SSD بخونه البته دنبال بهترین سرعت‌ها نباشید 0.1tok/sec چیزی هست که نویسنده گزارش داده روی لپ‌تاپ خودش اما این روش بنظرم خیلی جواب خواهد بود من ۳ سال قبل گفتم که روی یک پروژه قدیمی‌تر (الان حساب کنیم شاید ۷-۸ سال قبل) از Redis برای نگهداری embedding هام استفاده می‌کردم https://telegram.me/pytens/1087 حالا فرض کنید یک نفر همچین کاری رو بکنه : VRAM - RAM - SSD هرچند بنظرم تا استاندارد شدن این روش شاید راه طولانی رو در پیش نداشته باشیم حتی؛ سال‌هاست که CPU ها دارند اینکار رو می‌کنند L1, L2, L3, RAM, SSD برای بررسی دقیقتر به گیت‌هاب پروژه سر بزنید : Colibri Github

یک پستی از دوست و همکار قدیمی توی لینکدین دیدم راجب یک کتابی که درحال نوشته شدن و تکمیل هست مخصوص کسانی که به Deep Learning + Rust علاقمند هستند گفتم اینجا هم به اشتراک بذارم Linked In شخصا درحال خالی کردن وقت برای خوندنش هستم چون موارد جالبی پوشش داده شده مثلا اینکه بدون نیاز به سیستم‌عامل بتونید کار دیپ‌لرنینگ انجام بدید چیزی نیست که روی فریمورک‌ها و پایتون و ... آموزش داده بشه

LLM قراره جای برنامه نویس‌هارو بگیره ؟ من که کدم رو + دستورالعمل ریفکتور دادم تا برام تمیز کنه و خروجی که توی تصویر هست نصف باگ‌های مدل‌های LLM رو من درآوردم باید بهم هزینه پرداخت کنند واقعا پینوشت: تازه ۳۵ دقیقه هم طول کشید. خودم میزدم ۲۰ دقیقه‌ای تموم می‌شد.

Needle: We Distilled Gemini Tool Calling into a 26M Model این مدل برای تخصصی برای tool calling ساخته شده؛ من جایگزین مدل ۴ میلیارد پارامتری کردم و همچنان به درستی از ابزارهایی که داشتم استفاده می‌کنه. البته ابزارهای من ساده و قدیمی هست (خیلی وقت هست از این پروژه استفاده نکردم) اما بنظرم مدلی هست که ارزش تست کردن داشته باشه واقعا؛ اگر برای tool calling نیاز به مدل دارید یک تستی هم روی این انجام بدید اما بیشتر از tool call ازش توقع نداشته باشید.

95% of enterprise AI deployments fail to deliver value در یک حرکتی چندتا از این شرکت‌های AI فروش داخلی (کاسبان تحریم) روی موج‌های اخیر درحال تلاش برای خوروندن LLM به شرکت‌های دیگر هستند. شرکت‌هایی که همینطوری بخاطر تحریم؛ جنگ؛ قطعی اینترنت و تعطیلی به زور سرپا موندند. برای همین خواستم دوتا مورد رو یادآوری کنم: اولین مورد گزارش MIT روی میزان سودآوری AI (که ۹۵٪ میزان بازگشت 0 داشتند) ‌legal.io مورد دوم؛ تجربه شخصی بنده توی کار با تیمی از مهندس‌ها که مدتی قبل منتور اون‌ها بودم. ( استفاده درست از LLM ها برای مهندسی کامپیوتر ) با نهایت احترام به شرکت‌های AI داخلی که واقعا innovation دارند و در تلاش برای پیشرفت جامعه‌ی ایرانی هم هستند.

نسل بعدی مدل‌ها بنظرم خیلی بهتر خواهند شد : Qwen AgentWorld بنظرم این حرکت در راستای JEPA خواهد بود و این Gap بین LLM و JEPA رو برای مدتی می‌پوشونه تا نتایج مدل‌های بر پایه JEPA خیلی بهتر بشه.

این ادعای بنچمارک یک مدل ۳ میلیارد پارامتری هست؛ تخصصی برای تسک‌هایی که نیاز به Thinking دارند. و نتایجی نزدیک به مدل‌های بیش از 300x بزرگتر Hugging face Paper

12M context window 52x faster than Flash-attention up to 1000x more efficient جدیدا مثل اینکه Early Access براش باز شده اگر تونستم دسترسی بگیرم حتما بررسی می‌کنم و نتایجش رو میذارم. فعلا که وبسایت پر باگی دارند.

دیروز یا پیروز GLM5.2 روی وبسایت chat.z.ai اضافه شد و این یعنی نسخه نهایی هست (نسخه‌ای که قبلتر روی api اومده بود نهایی نشده بود) بعنوان یک مدل رایگان و opensource باید بگم هیولا هست؛ برای من نصف تست‌هام که روی کدها انجام میدادم رو با همون تلاش اول بطور…

دیروز یا پیروز GLM5.2 روی وبسایت chat.z.ai اضافه شد و این یعنی نسخه نهایی هست (نسخه‌ای که قبلتر روی api اومده بود نهایی نشده بود) بعنوان یک مدل رایگان و opensource باید بگم هیولا هست؛ برای من نصف تست‌هام که روی کدها انجام میدادم رو با همون تلاش اول بطور درست حل کرد (این موارد رو حذف کردم از لیست) آمار جالبی هم ازش منتشر شده؛ بطوریکه شرکت‌های با بنچمارک‌های خصوصی حالا اون رو رقیب مدل‌های Claude برای کد زدن و رقیب مدل‌های OpenAI برای چت‌های کلی می‌دونند. اما نتابج فوق‌العاده بهتری می‌شه ازش گرفت به این شرط‌ها : ۱- اگر نیاز به سرچ داره؛ گزینه advance search رو فعال کنید یا دقیقا منبع رو بهش بدید ۲- پرامپت رو طولانی نکنید؛ سعی کنید مشکل رو توی کوچکترین متن ممکن بهش بدید اما رمزنگاری شده هم نباشه: اشتباه : نگید کد کند شده؛ مشکل از دیتابیس هست. درست : این کد کند شده؛ چون تعداد درخواست‌های همزمان به n تعداد افزایش پیدا کرده و مستقیم از دیتابیس پستگرس داره می‌خونه که از کانفیگ دیفالت استفاده می‌کنه ۳- پرامپت فارسی بهش ندید؛ شخصا توی خیلی از مدل‌ها دیدم وقتی غیر انگلیسی باهاش چت می‌کنم نتابج ضعیفتر می‌شه. ۴- اگر توی prompt یک نمونه از خروجی که می‌خواید رو بهش بدید هم عملکرد بهتری داره متاسفانه این مدل COT رو نمایش نمیده (قبلتر نوشتم چرا خوندنش مهم هست؛ توی پستی که راجب deepseek بود) و الان هم این مدل رو معرفی کردم مجدد چون دسترسی به z.ai برای ایرانی‌ها مجدد باز شد. درنهایت: با اضافه شدن ۴ مورد بالا؛ ۷۵٪ از تست‌های خصوصی من رو حل کرد و این تست‌ها مواردی هست که مدل‌های دیگه نتونسته بودند انجام بدند (قبلتر راجبش پست گذاشته بودم) پیشنهاد می‌کنم حتما این مدل رو تست کنید.

اگر از agent ها زیاد استفاده می‌کنید احتمالا این مورد نتایج رو براتون بهبود بده؛ من خیلی استفاده ندارم؛ اما توی ۱-۲ مورد که تست کردم بهبود خوبی دیدم SkillOps بنظرم ارزش تست کردن روی موارد بیشتر رو هم داره

اگر از agent ها زیاد استفاده می‌کنید احتمالا این مورد نتایج رو براتون بهبود بده؛ من خیلی استفاده ندارم؛ اما توی ۱-۲ مورد که تست کردم بهبود خوبی دیدم SkillOps بنظرم ارزش تست کردن روی موارد بیشتر رو هم داره

برق قطع شده بود چند ساعت پیش؛ نشستم پای تبلت و یک مقدار توی لینکدین و کانال‌های ایرانی گشتم. طرف یک کار کوچیک رو برای خودش همچین دستاورد کرده آدم پشماش میریزه؛ برید vLLM رو سرچ کنید متوجه می‌شید چی می‌گم : می‌خوام کاسبی بهم بریزم : vLLM Recipes این لینک به راحتی همه آن چیزی که برای دیپلوی سریع یگ مدل نیاز دارید رو بهتون میده؛ کامند + ورژن + فلگ‌های موجود و ... هر کسی ۵ دقیقه داکیومنت vLLM رو خونده باشه این رو باید پیدا کنه. خطاب به اون دوستان : ازینا دستاورد نسازید واسه خودتون بعد از این رو بگید که چه optimization هایی انجام دادید و چقدر بهبود داشتید و ... من اصل مطلب رو داشتم توی بوکمارک‌هام دیدم خیلی‌ها علاقه‌مند بودند توی لینکدین گفتم بجای اینکه براشون ماهی بگیرم؛ ماهی گرفتن رو یادشون بدم. دعوای ورژن هم ندارید؛ وارد سایت که بشید بالای صفخه براتون نوشته دقیقا چه ورژنی از vLLM این مدل رو پشتیبانی می‌کنه مثال :‌ من مدل JetBrain رو انتخاب کردم که توی Nightly پشتیبانی می‌شه و روی BF16 برای vLLM به 29GB رم نیاز داره. پارامتر‌های دیگه‌اش هم هست؛ می‌خواید tool call رو غیرفعال کنید (من اینو انتخاب کردم) و باقی موارد توی بخش advance پایینتر هم بیاید توضیحات آموزشی براتون گذاشته.

توی لینکدین هر کاربر ایرانی که داستان‌های واقعی رو نصف و نیمه می‌کنه و فقط بخش خوب قضیه‌ی استفاده از AI برای توسعه کد رو می‌گه، پروفایلش رو به دقت نگاه کنید. توی ۷-۸ موردی که من دیدم، همگی TechLead, CEO, CTO, ... شرکت‌های هوش مصنوعی داخلی بودند که خب اگر شما ازشون توکن نخرید وضعیت خوبی نخواهند داشت. داستان‌های دیگری که باید بشنوید: ۱- لینوس توروالدز (پروژه‌ای رو vibe کد زده) آره اما مصاحبه‌اش رو هم ببینید LTT یوتیوب، که گفت هیچ سوادی راجب این بخش نداره و می‌خواد فقط یک چیزی رو برای خودش تست کنه. اما، این شرکت‌ها وقتی صحبت می‌کنند طوری اعلام می‌کنند که انگار کرنل لینوکس رو با vibe coding نوشتند. ۲- تغییر bun از zig به rust ؛ این مورد رو شخصاً قبلتر براتون واضح بررسی کردم. zig, rust شبیه به هم کدها فقط از یک سورس به سورس دیگه transcompile شده انگار بخش unsafe دست نخورده و کامل فقط کپی شده از همه بدتر، هیچ صحبتی از میزان هزینه و تعداد توکن مصرفی نشده. ۳- بنچمارک جدیدی برای Software Engineering اومده، برخلاف بنچمارک‌های قبلی نه از گیت‌هاب پروژه‌های عمومی و نه از بخش discussion و ... ساخته نشده. دلیلش هم این بوده که، بالاخره این دیتا توی آموزش مدل حتماً به نحوی استفاده شده پس سوالات و جواب‌هارو خودشون طراحی کردند. نتایج ؟ هیچ کدوم از مدل‌ها به اندازه‌ای که گفتند قوی نبودند. ۴- شرکت اوبر، اعلام شده بودجه‌ی AI برای سال ۲۰۲۶ توی ۴ ماه مصرف شده و حالا دارند به این موضوع فکر می‌کنند که شاید از اول اشتباه کردند. و کلی موارد دیگر، من تخصصم خیلی سال روی AI بوده و هست. هرچقدر پول بیشتری وارد این حوزه بشه من هم سهم بزرگتری خواهم داشت اما، من برای منفعت خودم به کسی رویا نمی‌فروشم، واقعیت رو دست و پا شکسته نمی‌گم. شما هم حداقل به پروفایل شخصی که دارید پستش رو می‌خونید نگاه کنید. #شب_بخیر 🌹

به ذهنم رسید همین کار رو برای این کتاب هم میشه کرد؛ ولی خب این کتاب ویدئویی براش وجود نداره. این شد که به هوش مصنوعی رو آوردم بدون اینکه لذت خوندن کتاب رو از کسی بگیریم ازش خواستم کتاب رو تبدیل به پادکست کنه اما توی کل پادکست باید همه چیز با مثال پیش بره…