Machine Learning

کتاب معروف Hands-on ML پایتورچ منتشر شد! 🔗 link

زن، معجزه‌ایست، مثل نور برای تاریکی، راه برای تردید و جان برای جهانی خسته. روز جهانی زن مبارک☀️

How to use LLMs with Andrej Karpathy. https://youtu.be/EWvNQjAaOHw?si=95cyM-wGMMSD6LnE

اگر دوست دارید از این ویدئوهای شبیه‌سازی‌ یادگیری تقویتی بیشتر ببینید این کانال یوتوب رو پیشنهاد می‌کنم: https://youtube.com/@aiwarehouse #ایده_جذاب 🔸 مطالب بیشتر 👇👇 ✅ @AI_DeepMind 🔸 @AI_Person

این انیمیشن بامزه‌ی "‌آلبرت" یکی از بهترین محتواهاییه که راجع به آموزش هوش مصنوعی دیدم. توی این ویدیو با یه کاراکتر خیلی ساده و با یه نریتیو فوق‌العاده، "یادگیری تقویتی" یا همون Reinforcement Learning رو توضیح میده. اینکه چطوری با چیدن یکسری مراحل حساب شده یک ایجنت خشک و خالی و بدون هوش رو آموزش بدیم که راه رفتن یاد بگیره. توی الگوریتمهای RL هر وقت ایجنت به انتهای یک مرحله از بازی میرسه، بهش پاداش یا reward میدیم و با این کار به مرور خودش میفهمه چه مسیری رو باید طی کنه تا پاداش بیشتری دریافت کنه. این حوزه از نظر من یکی از زیبایی‌های هوش مصنوعیه ولی هنوز به اندازه کافی توی زمینه‌های مختلف بکار گیری نشده. @zankoo_ai

📀 یادگیری ماشین خودکار با Auto-sklearn! 👩🏻‍💻 تو پروژه آخرم، از Auto-sklearn استفاده کردم و با چند خط کد یه مدل بهینه شده بهم تحویل داد! ✏️ دیگه نیازی نبود که خودم دستی هایپرپارامترها رو تنظیم کنم، کلی مدل مختلف رو تست کنم یا با Grid Search کلنجار برم! همه…

📀 یادگیری ماشین خودکار با Auto-sklearn! 👩🏻‍💻 تو پروژه آخرم، از Auto-sklearn استفاده کردم و با چند خط کد یه مدل بهینه شده بهم تحویل داد! ✏️ دیگه نیازی نبود که خودم دستی هایپرپارامترها رو تنظیم کنم، کلی مدل مختلف رو تست کنم یا با Grid Search کلنجار برم! همه اینا رو خودش خودکار برام انجام داد. 🔥 چندتا ویژگی بی‌نظیر Auto-sklearn: 🔢 خودش چندین الگوریتم مختلف مثل MLP, Random Forest, AdaBoost رو برات امتحان می‌کنه، هایپرپارامترهای مختلف رو تست می‌کنه و بدون این‌که دستی کد بزن، بهترین مدل رو برات پیدا می‌کنه. 🔢 دیگه لازم نبود خودم دستی داده‌ها رو توی K-Fold Cross Validation تقسیم کنم. خودش این کارو انجام داد و من فقط روی ارزیابی مدل نهایی تمرکز کردم. 🔢 من دیتاستم نامتوازن بود (یعنی تعداد نمونه‌های بعضی کلاس‌ها خیلی کمتر از بقیه بود). ولی Auto-sklearn خودش اینو تشخیص داد و با تکنیک‌هایی مثل Weighting این مشکل رو حل کرد. دیگه نیازی نبود خودم دستی Oversampling یا Undersampling انجام بدم! 🔢 و نکته جالب اینکه فقط یه مدل انتخاب نکرد! اومد از چند تا از بهترین مدل‌ها استفاده کرد و یه Ensemble ساخت که دقت نهایی رو بیشتر کرد. ✅ نتیجه؟ یه مدل بهینه‌شده، دقیق و بدون دردسر! باورم نمی‌شد که کل این فرایند رو با چند خط کد انجام دادم! 😍 ┌ 🏳️‍🌈 Auto-sklearn ├ 📄 Document └ 🐱 GitHub-Repos 🌐 #یادگیری_ماشین #MachineLearning ➖➖➖➖➖➖➖➖➖➖➖➖➖➖ 💡 مهندس ML شوید : 💡 @MachineLearning_ir 📱 پیج اینستاگرام: 💡 @MachineLearning_fa

معلم دل‌ها، معلم معلم‌ها، خوشگل پسر، آقای Andrej Karpathy، ویدئوی جدیدی منتشر کرده! 👏 موضوع ویدئو: Deep Dive into LLMs like ChatGPT مدت زمان: 3 ساعت و 30 دقیقه فهرست مطالب: introduction pretraining data (internet) tokenization neural network I/O neural network internals inference GPT-2: training and inference Llama 3.1 base model inference 🔴 pretraining to post-training post-training data (conversations) hallucinations, tool use, knowledge/working memory knowledge of self models need tokens to think tokenization revisited: models struggle with spelling jagged intelligence supervised finetuning to reinforcement learning reinforcement learning 🔥 DeepSeek-R1 🔥 AlphaGo reinforcement learning from human feedback (RLHF) preview of things to come keeping track of LLMs where to find LLMs grand summary باید در اسرع وقت زمان باز کنم و ببینمش. احتمالا مشاهده این ویدئو به یک روز کاری (8 ساعت) زمان نیاز داره. لینک

چگونه دنیای ترنسفورمرها رو برای کار با داده های RL بهینه کنیم؟ ▪️ Improving Transformer World Models for Data-Efficient RL #مقاله #ایده_جذاب #یادگیری_تقویتی #بازی_سازی 🔸 مطالب بیشتر 👇👇 ✅ @AI_DeepMind 🔸 @AI_Person

نمونه ابزار های نمایش معماری شبکه های عصبی و مدل های دیپ لرنینگ: ✅ https://texample.net/tikz/examples/neural-network/ ✅ https://github.com/HarisIqbal88/PlotNeuralNet ✅ https://github.com/lutzroeder/netron ✅ https://math.mit.edu/ennui/ ✅ https://tikz.net/neural_networks/ ✅ https://alexlenail.me/NN-SVG/LeNet.html ✅ https://github.com/martisak/dotnets ✅ https://github.com/gwding/draw_convnet ✅ https://github.com/szagoruyko/pytorchviz ✅ https://github.com/mert-kurttutan/torchview ✅ https://keras.io/api/utils/model_plotting_utils/ ✅ https://github.com/viscom-ulm/Net2Vis ✅ https://github.com/mlajtos/moniel اگر ابزارهای دیگه ای هم برای نمایش معماری شبکه های عصبی میشناسید لطفا زیر همین پست کامنت کنید. #Deep_learning #Neural_Network 🔸 مطالب بیشتر 👇👇 ✅ @AI_DeepMind 🔸 @AI_Person

حدود یک میلیون دیتاست فارسی ویکیپدیا https://huggingface.co/datasets/codersan/Persian-Wikipedia-Corpus #دیتاست 🔸 مطالب بیشتر 👇👇 ✅ @AI_DeepMind 🔸 @AI_Person

انتشار 100 میلیون #دیتاست از همه جا که همه فارسی هستن ▪️ DIVAN – Diverse Valuable NLP Dataset for PERSIAN 🔸 مطالب بیشتر 👇👇 ✅ @AI_DeepMind 🔸 @AI_Person

RoPE embedding, from scratch with all the math ▪️RoFormer: Enhanced Transformer with Rotary Position Embedding ▪️ You could have designed state of the art positional encoding #مقاله #ایده_جذاب 🔸 مطالب بیشتر 👇👇 ✅ @AI_DeepMind 🔸 @AI_Person

یکی از پیپرهای برگزیده EMNLP 2024 که در پست بالا معرفی شد تسک جدیدی به نام Image Transcreation رو ابداع کرده. به این صورت که یک تصویر رو باید از یک فرهنگ به یک تصویر دیگه ترجمه کرد (مفهومی بخوایم مثال بزنیم مثلا تو زوتوپیا تو نسخه چینی اخبارگو پاندا بود ولی تو نسخه برزیلی پلنگ بود) کار دیگه‌ای هم که کرده نشون داده که استفاده از LLM در ترجمه تصویری باعث کیفیت بهتر خروجی‌ها شده. کار دیگه هم این که نشون داده اپلیکیشن آموزشی هم می‌تونه داشته باشه. پی‌نوشت: فارغ از این پیپر، این صورت مساله و نیازی که مطرحش کرده چیز جالبیه. فرض کنید ده سال دیگه صداسیما به همچین تکنولوژی دست پیدا کنه :)) یا در حالت بهترش هر کسی بتونه transcreation شخصی‌سازی شده خودش رو داشته باشه. یا اصلا فکر کنید روی AR‌ها همچین ماژولی متصل بشه. ◾️ An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance ✅ @AI_DeepMind 🔸 @out_of_distribution 🔸 @AI_Person

https://www.restack.io/p/transformer-based-chatbot-development-frameworks-answer-torchrl-tutorial-beginners-cat-ai

https://www.restack.io/p/transformer-based-chatbot-development-frameworks-answer-torchrl-tutorial-beginners-cat-ai

Meta AI Researchers Introduce Mixture-of-Transformers (MoT): A Sparse Multi-Modal Transformer Architecture that Significantly Reduces Pretraining Computational Costs FAIR at Meta and Stanford University researchers introduced a new architecture called Mixture-of-Transformers (MoT). The MoT, built as a sparse, multi-modal transformer, reduces computational demands by incorporating modality-specific parameters. Unlike traditional dense models that rely on uniform processing, MoT utilizes distinct components for each modality, text, image, and speech, allowing for modality-specific optimization without requiring additional model components. For example, MoT assigns unique feed-forward networks, attention matrices, and normalization layers to each modality while maintaining a unified attention mechanism across the entire input data sequence, enhancing processing efficiency and output accuracy. The Mixture-of-Transformers framework leverages this sparse design by decoupling the model parameters according to modality, optimizing training and inference phases. For instance, MoT separates text, image, and speech parameters during a multi-modal task, applying customized processing layers for each. This process reduces the need for dense model layers to accommodate all modalities simultaneously. As a result, MoT achieves a balance of efficiency and effectiveness that traditional dense models lack. For instance, in tests involving text and image generation within the Chameleon 7B model, MoT delivered comparable results to dense baselines with only 55.8% of the FLOPs and even less 37.2% when integrating a third modality, such as speech. This efficiency gain translates to significant reductions in resource usage, which, in large-scale AI models, can lead to major cost savings... Read the full article here: https://www.marktechpost.com/2024/11/13/meta-ai-researchers-introduce-mixture-of-transformers-mot-a-sparse-multi-modal-transformer-architecture-that-significantly-reduces-pretraining-computational-costs/ Paper: https://arxiv.org/abs/2411.04996

خداحافظ Adam با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده. ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست: ۱_ حذف گرادیان کنونی از تخمین momentum دوم ۲_ نرمالایز کردن گرادیان قبل از آپدیت momentum Paper Github کد: from adopt import ADOPT #optimizer = Adam(model.parameters(), lr=1e-3) optimizer = ADOPT(model.parameters(), lr=1e-3)

X-Portrait 2: SOTA(?) Portrait Animation ByteDance unveils a preview of X-Portrait2, the new SOTA expression encoder model that implicitly encodes every minuscule expressions from the input by training it on large-scale datasets. Impressive results but no paper & code announced. Paper ? Project byteaigc.github.io/X-Portrait2/ Repo ?

🎞️ لينك ويديو 🎛️📡يادگيري تقويتي يا همان Reinforcement Learning جز مباحثي هست كه خوب براي موضوع پايان نامه و جالب . 💾از جمله ديتاست هاي معروفش : 1. OpenAI Gym 2. DeepMind Control Suite 3. Atari Games 4. MuJoCo 5. Roboschool 📄از جمله مقالات براي اشنايي : ▪️ Deep Reinforcement Learning: An Overview” by Yuxi Li (2017) ▪️ A Survey on Reinforcement Learning Algorithms for Control and Decision-Making Problems #کلاس_آموزشی #منابع #فیلم #یادگیری_تقویتی #پیشرفته #مقاله 🔸 مطالب بیشتر 👇👇 ✅ @AI_DeepMind 💠 @Recomendersystem2023 🔸 @AI_Person