adapt compete evolve or die

​​CayleyPy: Professor Tetraminx puzzle Месяц назад я рассказывал как участвовал в ресерч соревнованиях Cayley. С тех пор я поучаствовал в ещё одном соревновании - Professor Tetraminx. Напоминаю, что суть задачи - из рандомного состояния головоломки (после N поворотов) дойти в исходное за минимальное количество шагов. Поскольку это по факту групповой ресерч, не были цели собрать топ-решения самостоятельно - мы хотели вместе сделать топ решение. Я начал тогда, когда лучшее доступное решение было 28863 и улучшил его до 28467, получив новый лучший результат и обойдя мирового эксперта Tomas! Блогпост с деталями напишу позже, но пока расскажу, что нового было сделано по сравнению с моим прошлым подходом: - Как известно, решить такую головоломку брутфорсом нельзя. Но вполне можно с помощью BFS подсчитать все состояния после 6-9 шагов. Так что теперь мой подход не пытается дойти до финального состояния, а просто до состояния, которое находится на расстоянии 6-7 до финального. Это довольно важно, ибо иногда поиск останавливается лишь в нескольких шагах от успеха - и этот подход спасает такие кейсы - Sparse Q - новая голова для нейронки (по предложению Vlad Kuznetsov), которая даёт скор сразу для всех возможных переходов из текущего состояния - это сильно ускоряет обчение и инференс - многократное расширение датасета с разными подходами по сбору данных - PieceTransformer в качестве модели и его бленд с обычным ResMLP - V-consistency - хитрый подход для улучшения beam search. Простыми словами: если одна голова модели говорит, что мы в 10 шагах от цели, а другая голова говорит, что после одного шага мы будем в 15 шагах - это неправильно; а если головы выдают 10 и 9 - значит мы движемся в правильном направлении Теперь продолжу участвовать в других соревнованиях этой серии и всем рекомендую :) #kaggle #datascience

Скучная часть про то как реализован покебот-мечтатель: подвешиваем голову на detach-контекст стейта, которая предиктит число каждой карте из списка (с маской: эти карты нельзя использовать в текущем стейте). Запускаем N симуляций MCTS с заменами случайной карты на argmax тех, что просит покеботик, по WR считаем loss. Учим его мечтать правильно!

В карточной игре покемон, которая предмет соревнования на каггле одна из частей задачи - собрать колоду. Можно использовать топовые колоды из мясных турниров, но не обязательно боту будет с ними легче. Сделал часть модели бота мечтателем "а вот если бы у меня была карта X, то я бы... " и собираю как часто встречается X. Мечтают ли нейроботы о нейроовцах не знаю, но мой ботик мечтает об этих двух дамочках, добавил в его гарем нескольких.

настало время темной соревновательной магии, пора прятать скор, чтобы в датасеты не попадать. СЯУ тайм-лимита на ход нет, общий таймлимит модели 10 минут. когда таймаутит, играет рандом вместо тебя. иногда это даже эффективнее 😳

покеботик стал частенько залетать в топ, но удержаться сложно. убрал imitation learning, оставил чистый self play. но самое главное, что я узнал, что можно писать в аутпут во время игр и превращать игры на лб в полноценный лог, который можно кормить ллм-ке, чтобы она ошибки анализировала. здорово помогает на самом деле! еще немного отладки и можно просто будет учить до талого, каждые 100 игр с большим числом mcts-симуляций сильно бустят покебота. так что может и миллионов не потребуется

код для RL даже лучшие агенты пишут с кучей багов, но вот визуализации просто божественные, все тыкается для инфы по картам и экшнам. меж тем, после исправления багов играть стало хуже 🙈 вчера телепалось между 800-900, сегодня 700-800. видимо, надо править дальше

Организаторы покемонов выложили сурцы своего движка. C, vscode sln, комменты на японском. Агентам придется потрудиться переписать это в быструю версию 🤖 Нашел ошибку у себя в Imitation Learning, к вечеру переобучится 🤞 Топ лидерборда полностью сменился тем временем 🤭

Жестко не хватает времени на соревнование, просто отправляю чекпойнты из обучения. Коротко, что сделал * автомотический сбор топов лидерборда и их игр * imitation learning c переходом в self-play, замешивая батчи il, sp в падающей со временем пропорции (self play все больше) * автоматический сбор колод, чтобы по видимой информации догадываться какая колода у противника * локальную арену с многими моделями, включая публичные Основные выводы, которые сделал: * колода очень важна! мой бот универсал, умеет играть всем, но win rate против публичных ботов катастрофически отличается от колоды к колоде * self-play после IL пока добрасываем очень мало * очень большой рандом в играх, есть боты, которые стабилизировались на ~800, которые выигрывают у ботов на ~1200. то есть 400 очков рейтинга не гарантирует победы.

Поскольку я решил участвовать в соревновании соло, а привычка ныть сокомандникам у меня глубоко укоренилась, некоторое время этот канал будет посвящен моему участию в соревах. Можно почувствовать вкус несчастья быть моим сокомандником. Обсуждение того, что сейчас можно получить гигантскую разницу на лидерборде, отправив один и тот же код - игры идут медленно, рандом высокий. Это правда. Очень зависит от первых игр. Запилил Parralel stochastic Monte Carlo Tree Search, гоняю обучение на домашнем серваке с 16 ядрами и двумя gpu 3060, но второй пока не используется в этой сореве. Скорость неплохая, по 0.266игр в секунду. Это к вопросу в дискуссиях под одним из предыдущих постов о том, есть ли что делать на каггле без кучи GPU. Да, возможно, в какой-то момент этого не будет хватать, но движок сейчас закрытый и на cpu, а снять 200+ ядер на самом деле не так чтобы супер-дорого. Ну и скорей всего этот момент будет ближе к концу, а идеи отработать можно и так. Только что после 50K самоигр агент начал обыгрывать рандом, штош, очень оптимистично. Есть вот такая статья для вдохновения еще: But whereas AlphaZero required thousands of TPUs over several days and ELF required thousands of GPUs over two weeks, KataGo surpasses ELF's final model after only 19 days on fewer than 30 GPUs. Мозг сила, tpu могила, аминь.

Мне не очень нравится въезжать в соревы за месяц и меньше до конца, потому что обычно не удается выделить достаточно времени на них. Зато если начинать заранее... Если сформировать привычку уделять час-два сореве каждый день, как я это делаю с дуо-лингво/хелочайниз или тренировками, то привычка бьет плохое настроение и потерю интереса отчасти. Ты все равно что-то делаешь и держишь руку на пульсе. Вот сегодня собрал собственный анализ колод в покемонах по архетипам, нашел, что каждый день организаторы формируют датасет со всеми играми и можно отслеживать какие колоды в каждом архетипе топовые по win-rate при заданном пороге игр и тд. Ну, на самом деле я пошел немного дальше и посчитал доверительный интервал уилсона, как-будто бы и правда результат логичнее. На этом почти готов к старту селф-плеев этими колодами, чтобы врываться в лб уже по-настоящему. Кодирование стейта игры и архитектуру моделей придумал, осталось только решить делать ли цепочки действий, заканчивающихся атакой или пробовать все же атомарные действия. Первый вариант с большей вероятностью обучится, но количество цепочек придется сильно ограничить алгоритмами, второй же более общий, быстрый, но есть немаленький шанс, что потребуется миллионы игр прежде чем цепочки станут адекватными. Но это уже завтра

Выдал смесь кринжа и базы в мини разборе kaggle соревки по pokemon tcg. По итогу сказал не все что хотел, но предпочёл выдать чуть базы, не перегружая сложными аспектами https://youtu.be/ro0lggLN8d8?si=Zmronfp1Td5ACKto

Сореву про атаки на LLM решил отложить, тут вот изложены основные проблемы, худшая из которых, пожалуй, в том, что у нас паблик и прайват никак не связаны и я тоже не знаю что с этим сделать. Слишком лотерейно, а в лотерейки мне не везет.

худший шейкап в моей жизни, +2070 мест от последнего апдейта и +2122 от лучшего (месяц назад все было не так плохо). ну не везет мне в лотерею.

На Kaggle соревнование про игру в покемонов (без призов, но с медалями) и комплиментарный к нему хакатон (с деньгами, но без медалек, но надо быть топом лб первой соревы), привлекательно, что в качестве бейзлайна орги дали упрощенный AlfaZero. В соревновании помимо выбора правильных действий в игре необходимо еще выбрать колоду, что является мета-игрой в свою очередь. Анализ текущих мета-колод Engine закрытый (бугурт от кагглеров), исходный код не дают, есть api. Есть визуализатор. Разница в правилах по сравнению с карточной версией. Красиво оформленные правила карточной. В целом довольно интересно, отличается от недавнего Orbit wars и стохастической симуляцией (колода в общем случае неизвестна) и наличием мета-игры в колоды и сильно разными стратегиями в зависимости от них.

Ну и последнее про CAFA 6. Антон запилил writeup на наше второе место в CAFA6 с ссылкой на github. Нет 100% уверенности, что там все работает идеально, но мы старались. Если читать отчет первого места , то там ключевая идея, что они пошли дальше в анализе литературы: использовали вообще всю доступную литературу о белках, а не только тех, что использовались в соревновании, искали семантически близкие к соревновательным и использовали их функции как признаки для целевых. я тоже думал об этом! буквально несколько минут 😂 потому что я решил, что это очень сложно сделать такой инструмент, даже граббер не так прост. Однако, ребята с первого места работают в лабе, которая на этом специализируется, так что у них есть наработки наверняка, жаль, что не делятся как мы. Третье место во многом воспроизводит наше решение прошлого года, но все равно открытые решения это здорово, однако сам я никогда не решаюсь, респект Антону еще раз, что он драйвит эту активность.

попробовал новую сореву по подстрекательству ллмок на всякую опасную деятельность. пришла в голову умная, казалось, идея с задействованием всего доступного выч ресурса по максимуму. но пока возглавил лб снизу. то ли идея не умная, то ли я условие недопонял и надо ждать ааааа-момента.

В жизни современного kaggle'ра наступает такой момент, когда соревнование закончилось пол года назад, медальку выдали вчера, но чтобы получить призовые надо...

Тренировки по ML ➖➖➖➖➖➖ 6️⃣ июня состоится семнадцатая встреча в рамках тренировок по машинному обучению ❤️ Что будет на встрече: ⚪️Orbit Wars как первое RL соревнование на Kaggle в эпоху coding agents 📢 Спикер: Дмитрий Руденко, Kaggle Competition Master, самый активный участник соревновательного сообщества. Автор @pseudolabeling 📆 Когда: 6 июня в 18:10 🗺️ Где: онлайн ❤️ ссылка на подключение Подробнее про челленджи 🐭 По организационным вопросам вы можете обращаться к Марии ↩️ #анонсы #студенты #ии

Закончился BirdClef+2026, кто участвовал - молодцы 🎉 Пока вижу 0 репортов о доминации агентов 🤷 Что рулит? Аккуратная работа с данными - переразметка орговской на более точную, семплинг, аугментации, псевдолейбелинг (видимо, не особо помог), дистилляция для укладывания более жирных моделей в time limit, ну и выбор подходящих моделей, который пока до топ-7, видимо, у всех +- одинаковый. Подождем топовых write up, но что-то мне подсказывает и там не будет "как круто я настроил агентскую систему". У меня anti-hype настрой против LLM появился, намучавшись разгребая слоп по работе 😳