ЦОДы на вечной мерзлоте

С братиком (https://t.me/max_saprykin05) в цоде

Я не позавтракал

Токенизацию в пайплайне обычно не трогают — болото Шрэка. Да и по моему опыту на собесах ее тоже так лишь интеллектуально ласкают. Но как говорится "идите туда, где страшно, :)". Узкое место у хф и тиктокенов: regex (еще одно страшное место). Претокенизация через регулярки — около 50 МБ/с. Ручной автомат с таблицей переходов даёт сразу 10–20×. Дальше помогает байтовая арифметика без ветвлений и второй курсор по буферу: однопоток упирается не в CPU, а в цепочку зависимостей на токен. Частые слова тоже решают многое. Уникальных претокенов мало, кэш закрывает почти все обращения, а 90% слов — один токен, так что ответ можно хранить прямо в кэше. Красивые схемы без ветвлений часто проигрывают: упираются в память. Многопоточность тоже не даёт честного ×16 — из-за сборки и memcpy по Амдалу выходит скорее ×3–4. На триллионах токенов и оффлайн обработке даст еще пару часов (или суток) на эксперименты :^)

Завтра умный пост

Вместо того чтобы изучить исходники, будем крутилки перебирать в декартовой шизофрении

Почему нельзя взять одну большую LLM и использовать её везде? На практике каждая продуктовая задача предъявляет свои требования: например, к качеству, latency и стоимости инференса. Поэтому в RWB развивается не одна модель, а целое семейство BerryLM. Узнали у Матвея Сапрыкина, AI Assistants Models Tech Lead, как оно устроено ⚙️ @rwb_delaet_ml

В пятницу пост

Ладно. Единственно важная математика сегодня — это расчет бенза на поездку до дачи и обратно