PyTorch Howsam

درباره Context در LLM-ها شرکت Anthropic در مقالهٔ «Building effective agents» استدلال می‌کند که کانتکست را باید منبعی محدود با بازده نزولی دانست. تعبیری که به کار می‌برند «بودجهٔ توجه» (attention budget) است: مدل‌ها هم مثل آدم‌ها ظرفیت محدودی برای تمرکز دارند و هر توکن تازه بخشی از این بودجه را مصرف می‌کند. ریشه‌اش هم معماری است — در ترنسفورمر هر توکن به همهٔ توکن‌های دیگر توجه می‌کند، یعنی برای n توکن، n² رابطه. هرچه کانتکست بلندتر شود، توانایی مدل در پوشش این روابط رقیق‌تر می‌شود. پدیده‌ای که از این بیرون می‌آید context rot نام دارد: هرچه تعداد توکن‌های داخل پنجره بیشتر می‌شود، توانایی مدل در بازیابی دقیق اطلاعات از همان پنجره کاهش می‌یابد. بعضی مدل‌ها ملایم‌تر افت می‌کنند، اما این ویژگی در همه دیده می‌شود. پس اگر همه چیز را داخل پنجره بریزی به این امید که «شاید به کار بیاید»، احتمالاً عملکرد را بدتر کرده‌ای، نه بهتر.

دی ان اس برای : Gemini , Antigravity , ... DNS : 95.216.204.218 80.253.249.40 — NotebookLM DNS : 111.88.96.50 111.88.96.51

بری ژانگ از تیم Applied AI شرکت Anthropic، در سخنرانی «How We Build Effective Agents» (کنفرانس AI Engineer، مارس ۲۰۲۵)، سیر تحول این سه سال را در سه طبقه خلاصه می‌کند: 1️⃣ تسک (Task): یک فراخوانی مدل، خلاصه کن، دسته‌بندی کن، این فیلدها را استخراج کن، دو سال پیش جادو به نظر می‌رسید؛ امروز حداقل انتظار است. هزینه‌اش قابل پیش‌بینی است و حالت‌های شکستش محدود. 2️⃣ ورک‌فلو (Workflow): چند فراخوانی مدل در یک جریان کنترل از پیش تعریف‌شده. تو گام‌ها را تعیین می‌کنی، مدل آنها را پر می‌کند. اینجا جایی است که در ازای پرداخت هزینه و تاخیر بیشتر، دقت بیشتری می‌گیری. 3️⃣ ایجنت: مدل خودش تصمیم می‌گیرد چه گام‌هایی بردارد و کی تمام کند. ژانگ روند کلی را این‌طور جمع می‌بندد: هرچه به این سیستم‌ها اختیار بیشتری می‌دهیم، مفیدتر و تواناتر می‌شوند؛ اما همزمان هزینه، تاخیر و پیامد خطا هم بالا می‌رود. او بلافاصله نتیجه‌گیری‌اش را می‌گوید: Don't build agents for everything. برای هر کاری ایجنت نساز. این جمله را از کسی می‌شنویم که کارش ساختن ایجنت برای شرکت‌هاست. ارزش دارد جدی گرفته شود.

دوست خوبم، آقای امیررضا بابااحمدی، درحال ضبط یک دوره ویدئویی رایگان برای Agentic AI هست. جلسه اولش منتشر شده. در این جلسه، خیلی از مفاهیمی که این سال‌ها حول LLM-ها شکل گرفته، توضیح داده شده. پلی‌لیست دوره: https://www.youtube.com/playlist?list=PLAIe3fdK-85o حمایت از افرادی که به تولید محتوا علاقه‌مند هستن، قطعا تاثیر مستقیمی بر ادامه فعالیتشون داره. افرادی مثل آقای بابااحمدی شغلشون تولید محتوا نیست. اما، طبیعتا وقتی بازخورد خوبی از تولید محتوا بگیرن، حتما سعی می‌کنن به‌صورت مستمر به فعالیتشون ادامه بدن. حمایت‌ها میتونه اشکال مختلفی داشته باشه؛ دانلود نکردن ویدئوها، مشاهده آنلاین و قانونی، تا آخر دیدن ویدئوها، نشر ویدئوهاشون در گروه‌های مرتبط و دونیت کردن نمونه‌هایی از حمایت هستن. قابل توجه دوستانی که میگن چرا محتوای فارسی کم هست.

سایت خوبیه؛ آموزش رایگان، کورس و ابزارهای خوبی برای فعالین AI ارائه میده: https://www.aibuilderclub.com/

معرفی مدل های Strawberry 🍓 اکثر مدل‌های بزرگ روی دیتای انگلیسی‌محور اموزش دیدن. وقتی ازشون فارسی می‌پرسی، خیلی وقت‌ها مدل عملا داره به انگلیسی استدلال می‌کنه و فقط خروجی نهایی رو فارسی ترجمه می‌کنه. این یعنی: ۱. ظرافت‌های زبان فارسی (اصطلاحات، دستور زبان، ساختارهای شعری و ادبی) خوب درک نمی‌شن. ۲. توی وظایفی که نیاز به استدلال چندمرحله‌ای دارن (مثل حل مسئله یا CoT فارسی)، مدل معمولا با یه لهجه‌ی ترجمه‌ای جواب می‌ده، نه فارسیِ طبیعی. ۳. برای خیلی از حوزه‌های تخصصی فارسی (شعر کلاسیک، ادبیات، ریاضیات به فارسی) دیتای کافی برای یادگیری درست وجود نداره. برای همین تصمیم گرفتم مدلی بسازم که زنجیره استدلال فارسی تولید کنه، اسم این سری از مدل ها Strawberry هست . این مدل ها بر پایه معماری gpt-oss-20b هستن و روی دیتاست های استدلالی فارسی آموزش دیده شدن. دیتاست ها مورد استفاده هم توسط ما ساخته شده. طی بررسی های که داشتیم متوجه شدیم که Strawberry عملکرد بسیار خوبی توی تولید زنجیره استدلالی فارسی داره و تونستیم استفاده های خوبی از این قابلیت داشته باشیم. به عنوان مثال،به یک دیتاست تولید شعر که ساخت خودمون بود با strawberry-1 زنجیره استدلالی با کیفیت اضافه کردیم. و خبر خوب: از ۳ روز پیش توی هاگینگ فیس منتشرشون کردیم و با استقبال فوق العاده ای مواجه شدیم. مدل strawberry توسط یک تیم خارجی به دو فرمت کوانتایز شد و نسخه های GGUF اونها در دسترس قرار گرفته. مدل های این سری همراه نسخه های کوانتایز شده، بیشتر از ۴۳۰۰ بار دانلود شدن. اطلاعات بیشتر توی توضیحات هر مدل و دیتاست توی هاگینگ فیس وجود داره. لینک کالکشن مدل ها.

تا الان به این فکر کردی که یک ایجنت کدنویس از صفر چطوری ساخته میشه؟ ایجنتی که مثل کلاد کد یا کدکس برات کد بزنه، اجرا بگیره، به فایل‌های سیستمت دسترسی داشته باشه، لوپ، تولز، هارنس، صف‌بندی و ... وبسایت decodingai درحال آماده‌سازی چنین کورسی هست. یک ایجنت کدنویس آماده کردن که همین الان میشه ازش استفاده کرد. کورسشون متنی و البته سنگین هست! تا الان دو جلسه ازش منتشر شده و من جلسه اولش رو به زور و زحمت فراوان (به خاطر وقت کم) مطالعه کردم. کورسشون هم با جملات جالب زیر شروع میشه: In LangChain’s Terminal-Bench experiment, changing only the harness (with the same model) moved a coding agent from ~30th place into the top 5: the harness, not the model, is what makes a coding agent good. لینک دوره برنامه‌م این هست که بیشتر روی این موضوع وقت بذارم...

۴. مهندسی لوپ (Loop Engineering) — سیستم خودمختار توی حالت عادی ما باید مدام پرامپت بزنیم و منتظر جواب بمونیم. اما توی این لایه، ایجنت خودش روی یک حلقه افتاده و انقدر کار رو تکرار می‌کنه تا به هدف برسه. چالش اصلی این لایه اینه که شرط توقف واقعی براش بذاریم تا وسط کار گیر نکنه یا اشتباهی فکر نکنه کارش تموم شده. مثال: بهش بگی «کل باگ‌های این پروژه نرم‌افزاری رو برطرف کن». ایجنت خودش کد می‌نویسه، تست می‌کنه، باگ جدید پیدا می‌کنه و دوباره اصلاح می‌کنه. این حلقه زمانی متوقف می‌شه که تمام تست‌های نرم‌افزار واقعا سبز بشن، نه اینکه صرفا خود ایجنت ادعا کنه «من کارم تموم شد!».

۳. مهندسی هارنس (Harness Engineering) — کدهای دورِ مدل این لایه شامل مواردیه که دور مدل قرار می‌گیره تا بتونه ابزارها رو به کار بگیره، خطاهاش رو تست کنه و خروجی رو بسنجه. پرامپت فقط یک حرف زدنه، اما هارنس اون حرف رو توی دنیای واقعی اجرا و اعتبارسنجی می‌کنه. مثال: از ایجنت می‌خوای یک کد پایتون بنویسه. مدل کد رو تولید می‌کنه، اما لایه هارنس خودش کد رو اجرا می‌کنه؛ اگه کد خطا داد، متن خطا رو برمی‌گردونه به مدل تا اصلاحش کنه و تا وقتی کد کاملاً سالم اجرا نشه، جواب رو به تو تحویل نمیده.

۲. مهندسی کانتکست (Context Engineering) — مدیریت حافظه حافظه و حافظه‌ کوتاه‌مدت مدل (Context Window) محدوده. اگه همه چت‌های قبلی یا یه فایل ۱۰۰ صفحه‌ای رو یکجا بریزیم جلوش، گیج می‌شه یا بی‌دقت جواب می‌ده. کار این لایه اینه که اطلاعات اضافی رو حذف کنه و فقط چیزهای واجب رو بده به مدل. مثال: وقتی از یک PDF طولانی درباره سوابق کاریت سوال می‌پرسی، سیستم کل فایل رو به مدل نمی‌ده؛ اول می‌گرده و فقط اون ۲ صفحه‌ای که مربوط به «سوابق کاری» هست رو جدا می‌کنه و می‌فرسته برای مدل.

۱. مهندسی پرامپت (Prompt Engineering) — پیام به مدل این ساده‌ترین لایه‌ست. یعنی اینکه چطور متنِ درخواستمون رو تنظیم کنیم تا مدل بهترین جواب رو بده؛ مثلاً بهش نقش بدیم، فرمت خروجی رو مشخص کنیم یا چند تا مثال بذاریم. مثال: به جای اینکه فقط بگی «یه دستور پخت بده»، می‌گی: «تو یک آشپز حرفه‌ای هستی، دستور پخت قرمه‌سبزی رو دقیقاً در قالب یک لیست ۳ مرحله‌ای برام بنویس.»

حتماً شنیدین که می‌گن «خودِ مدل زبانی فقط یه هسته پردازشیه و اصل کار، کدهاییه که دورش می‌زنیم». می‌خوام درباره ۴ لایه مهندسی که دور مدل کشیده می‌شه توضیح بدم. این 4 لایه موارد زیر هستن: - Prompt Engineering - Context Engineering - Harness Engineering - Loop Engineering هرقدر از لایه اول به سمت لایه چهارم می‌ریم، سیستم خودکارتر و بزرگ‌تر می‌شه. در پست‌های جداگانه درباره هریک از این لایه‌ها به زبانی ساده همراه با مثال توضیح میدم. منبع تصویر

کلیک: ملاقات با شایان اویس‌قرن دانشمند جوان ایرانی که جایزه جهانی آباکوس رو بُرده. این مدال هر چهار سال یک‌بار به دانشمندان زیر ۴۰ سال در حوزه علوم رایانه اعطا می‌شود و اویس قرن به‌پاس دستاوردهایش در نظریه الگوریتم‌ها موفق به دریافت آن شد. او که در حل مساله «فروشنده دوره‌گرد» و نظریه «نمونه‌گیری تصادفی» دستاوردهای بی‌نظیری دارد، توانست رکوردی ۴۰ ساله را بشکند. https://youtu.be/O_T_P6o6sRc

Google Flow Music's New Model Lyria 3.5 Lyria 3.5 is here مدل لیریا 3.5 گوگل که برای ساخت موزیک هست، هم آمد ... https://www.flowmusic.app/

کتاب راهنمای AI Agents و MCP هر دو کتاب رایگان هستن. هنوز دقیق نخوندم، اما یک نگاه مختصر بهشون انداختم و دو سه صفحه اول MCP رو خوندم. متن بسیار کم و شکل‌های بسیار زیاد داره. کتاب راهنماست. به نظرم کتاب‌های ساده و مفیدی به نظر میان. آپدیت: دیشب mcp رو خوندم. خوبه. ساده و فانتزی گفته. یک عالمه پروژه هم گذاشته.

ریپوی محبوب book-to-skill برای تبدیل کتاب به یک Skill ایجنت یک نفر در X این ریپو رو معرفی کرده بود: ایده این ریپو جالب book-to-skill کتاب‌ها را به Skillهای Claude تبدیل می‌کند به‌جای اینکه کل کتاب به‌عنوان کانتکست بارگذاری شود فقط فصل مرتبط در زمان نیاز استفاده می‌شود. هم توکن کمتری مصرف می‌شود و هم پاسخ‌ها به محتوای واقعی کتاب نزدیک‌تر هستند لینک

آزمون n8n این فایل PDF شامل 20 سوال از بخش‌های مختلف n8n هست. ماجرای این آزمون چی هست؟ چند وقت پیش، قرار شد برای شرکت داتین کلاس n8n برگزار کنیم. این سوال‌های پیش‌آزمون دوره هست؛ برای اینکه کسانی که قبلا کار کردن و مطالب دوره براشون تکراری هست، دیگه در دوره شرکت نکنن. سوال‌ها رو با کلاد ساختم. البته، این اولین خروجیش نیست. اما، طی چند رفت و برگشت و یک ساعت زمان گذاشتن، 80% رضایت من رو جلب کرد. چون ملاحظه خاصی نداره، اینجا هم به اشتراک گذاشتم.

مدل Kimi-K3 هم آمد ... مدل K3 نسل بعدی مدل‌های پیشرفته و متن‌باز از شرکت Moonshot AI است. این مدل، اولین مدل متن‌باز در جهان با ظرفیت 3 تریلیون پارامتر است که برای کاربردهای هوشمندانه در زمینه‌های مختلف مانند برنامه‌نویسی، کار با دانش و استدلال طراحی شده…

مدل Kimi-K3 هم آمد ... مدل K3 نسل بعدی مدل‌های پیشرفته و متن‌باز از شرکت Moonshot AI است. این مدل، اولین مدل متن‌باز در جهان با ظرفیت 3 تریلیون پارامتر است که برای کاربردهای هوشمندانه در زمینه‌های مختلف مانند برنامه‌نویسی، کار با دانش و استدلال طراحی شده است. Kimi K3: Open Frontier Intelligence Huggingface Kimi-K3