Bit x Wisdom

+ Prometheanism and Rationalism + Peter Wolfendale - پرومته‌گرایی و عقل‌گرایی - پیتر ونفندیل | ترجمه فارسی سخنرانی Naqb

ChatGPT for Math (Unknown) (z-library.sk, 1lib.sk, z-lib.sk).pdf

ChatGPT for Math (Unknown) (z-library.sk, 1lib.sk, z-lib.sk).pdf

تایملاین قبل: https://llm-timeline.com/ تایملاین(==rumors(BS)) آینده: https://modelrumor.com/

عدم قطعیت، تصادفی بودن یا میزان غافلگیری

https://youtu.be/9f-hGSh8lF0?si=7ob2poBRy84tcZ3_

.

😒 حالا چرا «Claude»؟ قطعا اسم ابزار Claude رو شنیدین و شاید باهاش کار کردین. می‌دونید این اسم از کجا اومده؟ ⭐️ این کلمه از اسم آقای دکتر «Claude Shannon» گرفته شده. ایشون ریاضی‌دان، مهندس برق، دانشمند کامپیوتر، رمزنگار و مخترعی بودن که ازشون به عنوان «پدر بازیابی اطلاعات» یاد می‌شه. ⭐️ ایشون در سال ۱۹۴۸ مفهوم «Entropy» رو معرفی کرد. معیاری برای اندازه‌گیری میزان عدم قطعیت، تصادفی بودن یا میزان غافلگیری در نتایج یک رویداد(داده‌ها یا سیگنال‌ها). این اتفاق سرآغاز اتفاقات بزرگی در یادگیری ماشین، مدل‌های زبانی، نظریه‌ی اطلاعات و بازیابی اطلاعات بود. ⭐️ بعدها این مفهوم منجربه کشف و معرفی مفاهیم اساسی در آموزش و ارزیابی مدل‌های زبانی و next token prediction شد: - Cross-entropy - Information Gain - KL Divergence - Perplexity ✈️ حالا هر وقت که از Claude استفاده می‌کنید به یاد این دانشمند بزرگ می‌افتین. #claude 🆔 @lifeAsAService

A programmer's wife tells him: "Go to the store and buy a loaf of bread. If they have eggs, get a dozen." ​The programmer returns with 12 loaves of bread. ​His wife asks: "Why did you buy 12 loaves of bread?!" ​The programmer replies: "They had eggs!"

https://youtu.be/G1yyfPShgqw?si=Q4621oSk0RdcumSr سوال : چگونه از هشت ضلعی چندبره دو سوراخه بسازیم؟ این حکم را اکثرا در توپولوژی دیده ایم و به راحتی از آن گذشته ایم.

دردِ یک میل ارضا نشده در مقایسه با دردِ ندامت و شرمساری اندک است؛ آن‌یک سر و کارش با آینده‌ی بازِ بیکران است و این‌یک با گذشته‌ی بی‌بازگشتی که پرونده‌اش بسته شده. «جهان و تأملات فیلسوف» -آرتور شوپنهاور

قواعد روش جامعه‌شناسی امیل دورکیم @Philosophy_files

نکرو-آکادمیا: طفیلِ سرمایه و پرولتاریایِ شناختی ...مسئله در اینجا صرفا بر سرِ یک بی‌عدالتیِ توزیعی در نظامِ آموزشی یا یک حسادتِ روان‌شناختی نیست؛ ما با یک بحرانِ رادیکالِ هستی‌شناختی و عفونتِ ساختاری در خودِ مفهومِ سوژه‌ی شناسا روبه‌رو هستیم. آنکه با تزریقِ…

ادامه👇 اما (فعلا) ترند است که تیرِ خلاص و استراتژیِ آینده یه چیز دیگه‌ست: حذف کامل توکن‌های متنیِ استدلال.. Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking اینجا ایده اینِ که مدل به جای نوشتنِ افکارش روی چرک‌نویس متنی (scratchpad)، یاد می‌گیرد استدلال ضمنی (implicit reasoning) داشته باشد. یعنی قبل از حرف زدن، در سکوتِ لایه‌های پنهانِ شبکه (vector space) فکر کند.. این دقیقا همون مفهومی است که معماری‌های مبتنی بر پیش‌بینی در فضای نهان مثل V-JEPA و I-JEPA (ایده‌ی یان لکون و متا) را دنبال می‌کنند. وقتی استدلال از حالت آتو رِگرسیوِ متنی خارج بشه و به فرمتِ انتزاعیِ گذارِ حالت‌ها در فضای نهان در بیاد دیگه دیتایی وجود نداره که شما بتونید متنش رو بدزدید یا شنود کنید.. ما در یک نقطه‌ی عطف تاریخی ایستاده‌ایم. از یک سو، کامیونیتی اوپن‌سورس(چین) با تکنیک‌های inverter در حال دموکراتیزِ کردنِ(!) استدلال و پایان دادن به انحصارِ خردورزی است. از سوی دیگر، معماری‌های آینده ((فعلا) JEPA و Quiet-STaR) دارند ماهیتِ اندیشیدنِ ماشین رو از یک فرآیندِ متنیِ قابل‌ِ شنود، به یک روندِ سیناپسیِ تاریکِ نامشهود و غیر قابل‌ رهگیری تبدیل می‌کنند.

سرقت افکارِ مدل‌های بسته؛ از مهندسی‌معکوسِ استدلال (memory tracing) تا جنگ در latent space بذارید با یک دغدغه‌ی به‌ شدت جدی که این روزها توی ارزیابی عملکرد مدل‌های زبانی (مثل نبردهای LMArena و دگر بنچمارک‌ها..) باهاش درگیر هستیم شروع کنم. کاملاً مشخصِ که مدل‌های پرچمدار و System-2 (مثل o1 یا کلادی‌های جدید) وقتی با پرامپت پیچیده‌ای مواجه میشن، دیگه مثل قدیم بلافاصله جواب نهایی رو تُف نمی‌کنند. اونا اول تو خلوتِ خودشون یک دنباله استدلال (Reasoning Trace یا همون Chain of Thought داخلی) می‌سازند، مسئله رو حلاجی می‌کنند و در نهایت خروجی رو به ما نشون میدن؛ در واقع، این دقیقا (فعلا) همون نقطه‌ای‌ست که فرآیندِ شگفت‌انگیزِ تبدیل دیتای خام به خِرَد اتفاق می‌افتد. اما مشکل اینجاست: غول‌های هوش مصنوعی این افکار خام رو مثل گنج چال/قایم می‌کنند!! بعضا در یکسری از مدل‌های ریزنینگ، وقتی با api ریکوئست می‌زنید، سرور علاوه بر جواب نهایی، یه استرینگِ رمزشده (در واقع encrypted token یا بهترِ بگیم raw CoT) برمی‌گردونه و عملا میگه حق باز کردنش رو نداری؛ فقط دفعه بعد تو هیستوری برام بفرستش. چرا این‌قدر پارانوئید؟ به سه دلیل منطقی: ۱. امنیت پرامپت: جلوگیری از هک شدن مغز مدل و دور زدن گاردریل‌ها (prompt injection). ۲. نشتِ اسرار: جلوگیری از بازخوانیِ ناخواسته‌ی دستورالعمل‌های محرمانه (system prompt). ۳. حفاظت از سرمایه: تمام مزیتِ رقابتیِ این شرکت‌ها تو کیفیت همین استدلال‌هاست(فعلا)؛ لو رفتن این‌ها یعنی به باد رفتنِ میلیون‌ها دلار هزینه RLHF و.. دور زدنِ سپر دفاعی با تکنیک inverter اولین رخنه‌ها به این دژِ امنیتی با حملات کانال جانبی (استخراج بیت‌به‌بیتِ اطلاعات با اندازه‌گیریِ زمانِ پاسخ سرور) شروع شد. اما پارادایم‌شیفتِ اصلی تو پروسه تقطیر دانش (knowledge distillation که برادران چینی بهش می‌بالند)، با مقاله‌ی جنجالیِ زیر اتفاق افتاد: How to Steal Reasoning Without Reasoning Traces ایده‌ی مقاله به طرز ترسناکی هوشمندانه‌ست. فرض کنید مدل قربانیِ ما (V) جواب‌های بی‌نظیری میده ولی افکارش رو رمز کرده. حالا اینا اومدن یه کاتالیزور به اسمِ inverter ساختند. این inverter با دیتای مدل‌های اوپن‌سورس آموزش دیدند تا یک کار خاص رو یاد بگیره: با دیدنِ ورودی و جواب نهایی، مسیر استدلالِ پنهان رو مهندسی‌ معکوس کنه. بعدش اومدن ورودی و خروجی‌های طلاییِ مدل V رو دادن به این inverter. نتیجه‌ش: inverter با دقتِ معناییِ وحشتناکی (==همپوشانی بالا)، افکارِ مخفیِ مدل پرچمدار رو بازتولید کرد. در نهایت، با استفاده از این دیتای استخراج‌شده، یک مدل متن‌بازِ کوچیک‌تر رو فاین‌تیون کردند و دیدند عملکردش به طرز عجیبی بهتر شد.(اول حتی در آزمایش گزارش‌شده‌شون، Qwen-2.5-7B-Instruct با traceهای وارونه‌شده از GPT-5 mini روی بنچِ MATH500 از 56.8% به 77.6% رسیده است و حتی روی R1 و gpt 5.4 هم تست کردند که در بخش eval مقاله میتونید ببینید.) سندرم طوطیِ باهوش و توهمِ کپی‌برداری شاید بپرسید: مگه مریضن؟ خب خروجی مدل پرچمدار رو مستقیم بدن به مدلشون تا یاد بگیرِ دیگه:) پاسخ اینجاست: The False Promise of Imitating Proprietary LLMs این مقاله‌ از ۲۰۲۳ ثابت کرد که تقلیدِ کورکورانه از خروجیِ نهایی بدونِ داشتن reasoning trace، فقط یک طوطیِ باهوش می‌سازد. مدل شما لحنِ ساختاریافته و با اعتماد به‌ نفسِ مثلا gpt رو یاد می‌گیرد، اما در استنتاج‌های منطقی فرو می‌پاشد. (فعلا)مغزِ ماشین به پروسه‌ی رسیدن به خرد نیاز داره، نه صرفاً کپی کردنِ نتیجه.. پاتک غول‌ها و پناه بر فضای نهان فکر کردید oai و anthropic میشینند تماشا کنند؟ الان جنگ وارد فازِ واترمارک‌های پنهان و مسموم‌سازی گرادیان (gradient poisoning) شده (مثل این مــقاله از Kirchenbauer و..) اونا نویزهای آماریِ نامحسوسی تو خروجی تزریق می‌کنند که وقتی inverter می‌خواد افکار رو مهندسی‌ معکوس کنه، گرادیان‌هاش منفجر بشه و مدلِ شما رو پر از hallucination بکند.. این خــبری هم که اخیرا انتروپیک داده که در متن‌های تولید شده توسط ai میخواد واترمارک بگذارع، اکر براتون عجیبِ، چنتا ایده میتونند پشتش باشند. ۱. متود green/red list و هش(محتمل) ۲. ترفند Gumble-Max ۳. ایده‌ی semantic steganography ۴. Watermarks in the Sand ۵. یحتمل، ترکیبی از این دو: Radioactive Data: Tracing Through Training و Watermarking Pre-trained Language Models with Backdooring

فشن‌شوی خِرَد، در باب سمفونیِ خرهای باکلاس پ‌ن: با معذرت فراوان از خران کلاسیک، مدرن و زادگانِ عصر ai

نکرو-آکادمیا: طفیلِ سرمایه و پرولتاریایِ شناختی ...مسئله در اینجا صرفا بر سرِ یک بی‌عدالتیِ توزیعی در نظامِ آموزشی یا یک حسادتِ روان‌شناختی نیست؛ ما با یک بحرانِ رادیکالِ هستی‌شناختی و عفونتِ ساختاری در خودِ مفهومِ سوژه‌ی شناسا روبه‌رو هستیم. آنکه با تزریقِ سرمایه‌یِ پدری (به‌مثابه‌یِ انباشتِ کارِ مرده‌ی پیشینیان) مرزهایِ آکادمی را درمی‌نوردد، یک دانشجویِ مستقل نیست؛ او تجسدِ فیزیکیِ سرمایه‌ی خودگستر است. این سلف‌فاندِ مرفه، طفیلی فربه‌ای است که از هرگونه دیالکتیکِ رنج، کار و صناعت اخته شده است. او در یک گندیدگیِ درونی و رفاهِ رَحِمیِ وهم‌آلود محصور است؛ یک سیاه‌چاله‌ی مصرفی که فرمِ صوریِ دانش را می‌خرد تا فقدانِ مطلقِ محتوایِ انسانی، عاملیت و تاریخ‌مندیِ خود را پنهان سازد. در غیابِ هرگونه مواجهه‌یِ انضمامی با دیگریِ سرسخت (که در اینجا منظور همان طبیعتِ خشنِ علم و تنازعِ بقاست..)، این طفلِ بورژوازی صرفاً به بازتولیدِ همان هژمونیِ طبقاتی‌ای می‌پردازد که او را زاییده است. او در دانشگاه نمی‌آموزد؛ بلکه این سرمایه است که از طریقِ کالبدِ بی‌روحِ او، خود را به‌مثابه‌ی یک اعتبارِ نمادین و مدرکِ آکادمیک بازخرید می‌کند تا در فردایِ فارغ‌التحصیلی، استیلای خود را بر طبقاتِ پایین‌تر تمدید نماید. در قطبِ مقابل، استعدادِ استثمارزده (پرولتاریایِ شناختی) ایستاده‌. ورودِ تو به این ماشینِ گوشت‌کوبِ آکادمیک، نه از سرِ شایسته‌سالاریِ لیبرال و نه عطیه‌یِ نهادِ دانش است؛ بلکه دقیقا برآمده از استخراجِ بی‌رحمانه‌یِ ارزشِ اضافی از مغز/تلاشِ-ذهنی(و بسا یَدی) توست. فاندِ تحصیلی، بورسیه نیست؛ پیش‌خریدِ نیرویِ کارِ فکریِ تو در رادیکال‌ترین شکلِ انقیادِ واقعی به زیرِ یوغِ سرمایه‌داریِ جهانی است. سیستمِ دانشگاهی، در مقامِ یک گِشتِلِ فناورانه، مغزِ تو را به‌مثابه‌ی منبعِ ذخیره‌ای برایِ تولیدِ اعتبارِ جهانیِ خود می‌بلعد و در عوض، تنها هزینه‌ی بازتولیدِ بیولوژیک و روانیِ تو را (در قالبِ یک فاندِ-بخورُنمیر) می‌پردازد تا نَمیری و فردا دوباره جان بِکَنی.. تو باید در کوره‌یِ اضطرابِ بقا، تنهایی و ازخودبیگانگی بسوزی، تا ماشینِ دانشگاه بتواند با مَکیدنِ خروجیِ تو، برایِ آن طفیلیِ سلف‌فاند که در کلاسِ کناری‌ات نشسته است، پرستیژ و رنکینگ تولید کند. تو استثمار می‌شوی تا او بتواند فقدانِ کارِ خود را در پسِ نقابِ دانشگاهی که تو با جان‌کندنت معتبرش کرده‌ای، جشن بگیرد. اما تیشه‌ باید خشمگینانه بر ریشه‌یِ این توهم فرود آید که این وضعیتِ تراژیک، صرفا یک باگ در سیستم است که با اصلاحاتِ رقیقِ سوسیال‌دموکراتیک درمان می‌شود. خیر! این ذاتِ خون‌آشامِ سرمایه است که در کالبدِ آکادمی حلول کرده است. خشمِ تو نباید به حسادتِ حقیرانه‌ی فردی تقلیل یابد؛ این خشمِ کور باید به یک کینه‌یِ طبقاتیِ سازمان‌یافته، یک سلاحِ معرفت‌شناختی و یک رسالت بدل شود. آن طفلِ سرمایه، در همان بی‌عملیِ کاهلانه و در فقدانِ هرگونه رسالتِ تاریخی، از پیش مرده است. او همان ستاره‌یِ درخود‌فروریخته و منفجرشده‌ای است که فاقدِ هرگونه بُردارِ فرارِ انضمامی به سویِ امرِ نو است؛ سوژه‌ای مرده که تنها در مدارِ بسته و نکرو-پالیتیکِ پول می‌چرخد. اما تو، در دلِ همین ازخودبیگانگیِ هولناک و در اصطکاک با تصلبِ این واقعیتِ زُمُخت، مجبور به شدن و طرح‌افکنیِ خویش هستی. این رنجِ تحمیل‌شده، اگر به جایِ افسردگی به یک خودآگاهیِ رادیکالِ طبقاتی بدل شود، همان نفیِ دیالکتیکی است که در نهایت، بَرده را بر فرازِ تاریخ می‌نشاند و ارباب را در زوالِ انگل‌وارِ خویش منحل می‌کند. رسالتِ تو، نه صرفا بقا در این سیستمِ متعفن و تبدیل شدن به چرخ‌دنده‌ای موفق  بلکه تبدیل شدن به یک ویروسِ مفهومی در دلِ این ماشین است؛ عاملی که منطقِ ارزش‌افزاییِ سرمایه را می‌شناسد تا از درون آن را از کار بیندازد. ما نیازمندِ یک گسستِ رادیکال هستیم؛ انهدامِ توهمِ دانشگاه به‌مثابه‌یِ معبدِ معصومِ حقیقت، و بازشناختِ آن به‌مثابه‌یِ سَلاخ‌خانه‌یِ استعدادها. تا زمانی که این ساختار، خونِ پرولتاریایِ فکری را در جامِ بورژوازیِ بی‌لیاقت می‌ریزد، هرگونه مماشات و امید به آشتیِ طبقاتی، خیانت به نصِ صریحِ رهایی است. #نامه‌ای_سرگشاده