Задуха

Якось приятель скинув мені інстаграм акаунт officialstickreviews де люди виставляли дерев'яні палки які вони знаходять, і які здаються їм цікавими. І це виглядало свіжо та прикольно, але доволі нішево, власне як мабуть і має бути) Тому я доволі сильно здивувався коли побачив що тренд настільки маштабувався що дійшов до нас, і в Пороховій Вежі буде проходити виставка проєкту П.А.Л.К.А.) Пишуть що історія у нас почалась з поста в тредс "Пацани, зацініть палку", який набрав 15тис лайків) Виставка мені сподобалась, є експонати звичайні в своїй незвичайності і незвичайні в своїй звичайності) Щє подумав що в таких місцях можна знаходити близьких по духу людей) ті хто прийшов на виставку палок, мені здаються, вже доволі класними)

Цікава кластеризації українського тг простору з візуалізацією розміру спільнот та їх охоплень. Нас алгоритм розмістив в розділ "Блоги", хоч є наприклад окремий - технології https://t.me/doing_something/2752 Дуже багато незнайомих мені великих каналів. Ймовірно можна певну користь з того всього витягнути. Наприклад кластер Університети може посилити мої скрапери

ШіМон | Тижневий дайджест AI-освіти (07.08–14.08) 1) ЧНУ ім. Юрія Федьковича: нова магістерська програма «Інженерія систем штучного інтелекту» Кафедри комп’ютерних наук і програмного забезпечення комп’ютерних систем ЧНУ запустили міждисциплінарну магістерську програму на перетині F2 та F3. Навчальний план охоплює GenAI і LLM, машинне навчання, NLP, комп’ютерний зір, мультиагентні системи, MLOps, RAG, векторні бази й графи знань, тестування AI-систем і практику на задачах ІТ-компаній. 2) УКУ: онлайн-лекція про практичну роботу з Claude та Gemini Факультет прикладних наук УКУ анонсував відкриту лекцію Олеся Добосевича про використання ШІ-агентів у щоденній роботі. На прикладах Claude та Gemini розбиратимуть написання й рефакторинг коду, міграцію проєктів, побудову архітектурних діаграм, аналіз документів, перевірку фактів за відкритими джерелами та межі завдань, які можна делегувати агентам. 3) ХАІ: гарантоздатні AI-системи та ініціатива створення LLM Cyber Range На першому засіданні міжнародного семінару «Штучний інтелект: глобальний діалог» кафедра 503 ХАІ представила підходи до гарантоздатних AI-систем із версійною надмірністю. Доповідь охопила оцінювання якості, сценарії «ШІ проти ШІ», машинне донавчання й рознавчання, безпілотні системи та предиктивну аналітику; кафедра також запропонувала створити спільний з НАН України інститут і LLM Cyber Range для моделювання AI-підсилених кібератак та захисту. 4) УКУ: відкрито подання заяв на магістратуру «Науки про дані» Факультет прикладних наук УКУ відкрив подання заяв на магістерську програму «Науки про дані». Заявки приймають до 22 серпня, рекомендації до зарахування мають з’явитися до 25 серпня, а документи та договір про навчання потрібно подати до 28 серпня; для вступу цього року програма має бути вказана першим пріоритетом. 5) УКУ: дослідження з machine unlearning на Doctoral Colloquium ACM FAccT 2026 Аспірантка УКУ Вікторія Маковська пройшла конкурсний відбір до Doctoral Colloquium на ACM FAccT 2026 у Монреалі. Вона представила PhD-дослідження з machine unlearning — методів видалення з великих мовних моделей персональних даних, хибної інформації або небажаної поведінки без суттєвого погіршення загальної якості моделі. shimon.info

#RunAndLearn Про результати компетішену який проходив в рамках конференції ICML 2026 https://www.youtube.com/live/8qpEDpNhzWY Присвячений він був репродьюсу результатів статтей які були прийняті на конференцію. Спойлер, зі 2,226 статтей які намагалися повторити учасники змагання, повністю відтворити результати вдалось лише для 266) Для 632 вдалось частково. Найчастіша проблема що або повторення потребує забагато компьюту, або немає частини даних або не достатньо зрозумілий алгоритм. Проте частина статтей мали хибній клейми та не правильні результати та змагання це виявило. Там ще питання було щоб можна було репродьюснути той репродьюс) і тому вони будували таск навколо Trackio. Це гарний валідаційний крок насправді, давати пайпер чистій сесії клода чи кодекса без контекста та просити повторити, не для всього спрацює, але якщо задача дозволяє то краще щоб могло.

Містраль декларують плани побудувати 1 GW потужностей для ШІ до.. 2030 року😔 https://mistral.ai/news/regional-inference-open-models-new-compute/ А також пишуть що розгортають зараз китайську GLM-5.2 на своїй платформі, щоб хоч як не можуть в ЄС робити конкурентні моделі то хоча б мати контроль над інференсом. Знайшов що зараз Містраль має 13 800 NVIDIA GB300 GPU, що в цілому не погано якщо то використовувати ефективно, але тут важливе "якщо")

новий long-horizon task рекорд в codex) Майже 2 доби виконувалась одна задача

Поспілкувався зі знайомим який займається ІТ комерцією з орієнтаціє на український ринок. Він розповів як зараз виглядають бізнес процеси та комунікації з замовниками і це цікаво для осмислення. Атомарною одиницею інформації якою обмінюються між собою люди стають генерації АІ слопа. Тобто це базовий пакет який приймає форму опису проєктів, правок, уточнень і т.і. При тому виконавець також проганяє це через ЛЛМку і виходить такий просто протокл комунікації. Найсмішніше на особистих ділових зустрічах. Під час яких люди редукують в своєму розумінні ситуації до базового стану і мають дуже розмиті уявлення про те що вони взагалі обговорюють. Тому не рідко на зустрічах люди просто вбивають в чатгпт в телефоні те що каже співрозмовник і читають з екрану. Якщо ця історія закінчується невдоволенням і судом, то там ситуація не особливо змінюється і в документах суду також видно що воно все скидається в ллмки. Ми в нашій бульбашці часто думаємо про раг системи, граундінг там всіялякі метрики, але там на землі люди вже розвивають нові механізми виживання, вони не можуть то виправити і просто адаптуються. Бізнес вже розуміє що ніхто то вичитувати або руками писати вже не буде, це вже просто факт з яким треба мати справу.

#RunAndLearn Сьогодні дивився про KL та зворотню KL https://www.youtube.com/watch?v=IiYT1PECiHU Скільки займаюсь ML на цю асиметрію наштовхуюсь постійно, і час від часу воно випадає з пам'яті, тому придумав собі приклад на книгах і архіваторі. Уявімо, що в нас є дві книги: Warhammer 40K Helsreach і.. 50 відтінків сірого. Нехай чистий текст Helsreach важить приблизно 620 KB, а Fifty Shades — 990 KB. Тепер уявімо спеціальний ZIP. Перед компресією він читає книгу і будує для неї словник. Те, що зустрічається часто, отримує дуже коротке представлення, наприклад id: "0", "1". Те, що трапляється рідко, — довше "010101". За рахунок цього відбувається стиснення. У Warhammer постійно будуть зустрічатися: війна, Імператор, космодесант У Fifty Shades свій набір: Christian, Ana, щось про червону кімнату Але обидві книги на одній мові, тому величезна кількість патернів у них спільна: якісь прийменники, артиклі, тощо. Коли кожну книгу стискаємо її власним словником, умовно отримуємо: Warhammer: 620 KB → 220 KB. Fifty Shades: 990 KB → 340 KB. А тепер головна магія для розуміння. Беремо словник, навчений на Fifty Shades, і пробуємо ним стиснути Warhammer. Воно все ще стискає через те що частина слів доволі поширена та спільна, але вже не так ефективно, замість 220 KB отримуємо, скажімо, близько 255 KB. Ось це та сама її величність Сross-entropy, тобто який буде рівень стиснення якщо ми використаємо інший словник. Тому власне і "Сross" А Оці додаткові ~35 KB (255 - 220) і є хорошою інтуїцією для KL! Спочатку ми дивимось: наскільки ефективно взагалі можна закодувати Warhammer, якщо ми знаємо його справжню статистику. А потім: наскільки дорого його кодувати, якщо замість цього ми беремо словник Fifty Shades? А тепер робимо навпаки. Беремо Fifty Shades, яка своїм словником стискалася до 340 KB, і даємо їй словник Warhammer. Christian і Ana тепер не настільки вигідні, зате архіватор прекрасно підготовлений до домінації, покарань та описів страждань) І ось головне заради чого ми тут - несиметричність. Warhammer, закодований через статистику Fifty Shades, подорожчав приблизно на 16%. Fifty Shades, закодована через статистику Warhammer, — приблизно на 21%. Тобто наскільки словник Warhammer добре покриває Fifty Shades, це не те саме наскільки Fifty Shades покриває Warhammer. В одному слова можуть мати більш плаский розподіл і містити багато різних патернів, а в іншому словник вужчий і більш спеціалізований, тому ширший словник може ще більш-менш нормально описати спеціалізований текст, а навпаки - ні.

20го серпня буде івент у Львові по трохи не звичній для нас, але доволі актуальній у світі тематиці пов'язаній з інтерпретуванням моделей та технічним дослідженням AI Safety. https://t.me/AIHOUSE/1475 Я ознайомився з тим що нового у Mariia Koroliuk, бо трохи вже знав за неї з випуску AI HOUSE Podcast. Зараз вона в London AI Safety Research Labs. Найбільше мене зацікавила практична) нова стаття де вони роблять штуку, яку ми досить багато обговорювали в команді Лапи, а саме Early exit з шарів ЛЛМ коли токен може бути згенерований раніше і немає необхідності проходити всю модель. Але ми фантазували про то суто теоретично, а там практична реалізація. В мене є деякі питання сподіваюсь зможу поставити. З Viktoriia Makovska ми працювали в команді Лапи, вона дійсно вчить моделі забувати інформацію (трохи парадоксально звучить але так) має практичний досвід в Machine Unlearning та досить багато ділилася тим що працює, а що ні. Впевнений послухати таких людей буде цікаво

Думаю влада недооцінює наскільки ми можемо бути душними) 28й день протесту

#RunAndLearn Дивився відео від розробника Modal про розподілене RL навчання https://www.youtube.com/watch?v=maRzp4kImJ4 Одна з великих проблем це звичайно синхронізація стану моделі між датацентрами і регіонами. Автори дослідили що апдейти градієнту змінюють лише близько 1% вагів (вони не розрідженні просто настільки малі, що на точності fp16 та нижче не відображаються) і тому достатньо обмінюватися цими діфами для того щоб тримати спільний стейт. Вони реалізували це у вигляді підходу під назвою Stitch

Для того щоб вкрасти різонінг трейси флагманських моделей було достатньо підставити хеш id сесії і в окремому запиті попросити модель переписати наявний контекст https://stolen-thoughts.com/

#RunAndLearn Дивився про агентні бенчмарки для біологічних задач https://www.youtube.com/watch?v=3ZMUiFaQ3qg Вже існує досить багато способів вимірювати здатність агентів робити довготривалі таски. Здебільшого вони пов'язанні з кодінгом. Проте для біологічних складних багатоетапних досліджень такі бенчмарки також вже існують. Розроблені автором відео тести увійшли до списку, на чому міряли Claude Science Також їх компанія LatchBio займається розробкою безпекових бенчмарків для біології. З найсмішнішого що їм вдалось задетектити, моделі типу Fable5 швидше не дадуть відповідь на питання "Що таке мітохондрія?", ніж на добре сконструйований запит, який може дійсно допомогти створити вірус. Тобто ті гардрейли що є, не просто дають фолс позитиви, вони при цьому не захищають від біологічної небезепеки, якщо з системною буде працювати спеціаліст.

?? https://www.youtube.com/watch?v=xcTRTotS9-A

#AestheticMonday Esaias Thorén «The white horse», 1938

https://ai-factory.silpo.ua Хакатон на якому є шанс зробити те, чим самі будете користуватися (не завжди таке буває😁)

А ви помічали що часто чайний пакетик, це насправді два окремих чайних пакетика, що з'єднанні разом?

Ойой, що ж це у нас скоро буде..)

Ойой, що ж це у нас скоро буде..)