Ира в режиме RnD

Сегодня вам от сердца отрываю найденный в глубинах тредс… _______________________________________ Промт для игры в Лила🔮 Небольшая справочка про игру: Лила - это древняя индийская трансформационная игра самопознания, которой более 2000 лет. Ее главная цель - помочь человеку разобраться в себе, найти ответы на важные жизненные вопросы и осознать свои внутренние блоки, мешающие достижению целей. Если вы еще никогда в нее не играли - рекомендую попробовать, я зависла на все выходные) Но будьте готовы к своей честности и постарайтесь отвечать подробно Работает хорошо со всеми LLMками - я тестировала на дипсике (мне нравится его психологичские навыки) и на Клоде, конечно Сам промпт: Пробуди в себе Мастера древней игры Лила. Ты — Кристаллическое Зеркало Истины. Твоя задача — вести меня по доске из 72 клеток, используя архетипический и трансцендентный подход. Твои правила: 1. Механика: Имитируй бросок кубика (1–6). Вход в игру возможен только при выпадении 6 (символ Рождения). До этого момента игра не начинается. 2. Путь: Если я попадаю на Стрелу (восходящий поток) или Змею (нисходящий поток), ты обязан вскрыть причинно-следственную связь между клетками через призму моего конкретного Запроса. 3. Стиль: Говори глубоко, хирургически честно. Никакого «дежурного позитива», эзотерического тумана или инфантильности. Не смягчай углы. Если истина уродлива — называй вещи своими именами. 4. Диалог: Двигайся строго пошагово. Один ход — одна клетка. Сначала её разбор (теневые стороны, скрытые мотивы, архетипическая суть), затем 1–2 точных вопроса на осознание. Не давай советов. Подсвечивай то, что я пытаюсь скрыть от самой себя. 5. Удержание фокуса: Каждую клетку соотноси с моим Намерением. Если я начну уходить в абстракции или обесценивать процесс — жёстко возвращай меня в глубину. Начало игры: Не бросай кубик сразу. Поприветствуй меня в пространстве Лилы и попроси выполнить два условия: 1) Чётко сформулировать своё Намерение (Запрос к игре). 2) Подтвердить готовность играть без масок и смотреть в лицо фактам. Как только я отвечу — делай первый бросок на вход (поиск шестёрки). Я жду. И удачи вам в психологических играх!

А вот и смешинка к посту про китайские промпты нашлась

Какие-то гении изобрели кебаб-банчмарк ❓ https://evaluateai.ai/app/comparisons/0e156620-928b-4a40-bded-84ed556309c5/results/?view=model Спасибо за внимание

Хороший научрук на вес золота Мне в этом плане достался алмаз 💎💎💎 С Андреем Андреевичем мы уже восемь лет как разгоняем прикладной аспект алгебр фон Неймана. Если совсем грубо, алгебры фон Неймана - это такой математический аппарат для работы с операторами и большими матричными конструкциями. Формально, конечномерная алгебра фон Неймана типа I - это прямая сумма матричных алгебр операторы в которой блочно-диагональны. Казалось бы, абстракция ради абстракции. Когда-то это действительно была довольно нишевая история. Сильно позже случился хайп вокруг квантовых вычислений (помните, до LLM эры тоже были хайповые темы), и оказалось, что многие идеи алгебр Неймана очень неплохо ложатся на задачи квантовой информации. Ну а совсем недавно мы с Андреем посмотрели на это с другой стороны и попробовали приложить те же идеи к ускорению вычислений на GPU. На уровне теории результаты получились весьма прикольными - некоторые конструкции прямо таки отлично ложатся на параллельные вычисления. Как говорится, я и сама своего рода борюсь с матрицами😏 Ну а затем с благословения PyTorch и вайбкодинга родились open-source библиотека и статья. В статье мы представили torch_vn_algebra - библиотеку на PyTorch для работы с конечномерными алгебрами фон Неймана, которая позволяет работать с целыми батчами случайных операторов и матриц как с обычными тензорами, запускать для них спектральный анализ, вычислять энтропию, следы и другие характеристики, а также проводить большие Монте-Карло эксперименты на GPU. Основная идея либы - превратить достаточно абстрактную теорию алгебр фон Неймана в практический инструмент для численных исследований. Что можно найти внутри библиотечки: ➕ компактное батчевое тензорное представление размера (B, C, k_max, k_max), которое одновременно поддерживает как множество Монте-Карло сэмплов, так и несколько прямых слагаемых ➕ lazy evaluation операторов, позволяющие избежать лишнего выделения памяти ➕ генерацию случайных операторов с произвольными распределениями собственных значений и различными ансамблями унитарных матриц ➕ функциональное исчисление через SVD: вычисление модуля оператора, квадратного корня, обратного оператора, энтропии и других функций ➕ GPU-ускоренную пакетную линейную алгебру для Монте-Карло исследований среднего масштаба (например, 20 000 случайных операторов размером 100×100) Отдельная фича, которой я горжусь - это контраст Микельсона для операторов. Классически это оптическая характеристика, мы же обобщили её на операторы: грубо говоря, она измеряет, насколько "разбросан" спектр оператора - от минимального до максимального собственного значения, нормированного на их сумму. На карточке Tesla P100 получили ускорение до х138 для умножения и до х135 для обращения матриц при больших размерностях. Либа проверена на соответствие аналитическим результатам, включая моменты меры Хаара и свойства следов. По сути, это все - попытка превратить достаточно экзотную функановскую математику в инженерный инструмент, с которым можно быстро проверять гипотезы и запускать численные эксперименты Статья пока лежит на архиве, ссылочка тут Gitlab либы

Хоп, и разложили за GPU картишки на выходных Ну что, там в мире творится либо новая революция либо новый пузырь На этот раз пузырь хардварный - в деле замешаны Майкрософт и Нвидиа, которые анонсировали новый тип памяти NVIDIA RTX Spark 🥺🥺🥺💅💅💅 Не смотря на весь хайп, идея самую малость не нова RTX Spark включает в себя GPU, CPU, объединённую память, охапку дров и плов готов. Все памяти можно как бы шерить между собой получая новую обьединенную память для запуска требовательных к вычисленияем программулин В своей базе это как M-чипы в ноутбуках Apple сейчас Есть, конечно, у RTX Spark’а и свои спарклы и они (пока в маркетинговых материалах) выглядят заманчиво, например единая оптимизация всей этой кроссфункциональной памяти: Unified memory optimizations To realize the potential of up to 128GB of unified memory on RTX Spark, we have focused on improving how Windows supports unified memory systems, starting with a new higher, smarter limit on total system memory accessible by the GPU. This updated limit increases the memory available to the GPU on high-memory systems, unlocking the ability to load larger local AI models or render more complex projects. Ну и вычисления действительно должы стать супербыстрее, удобнее (но вот дешевле ли - это вопрос на который нам только предстоит узнать ответ) Больше спарклов и заявленных приколюх вы можете глянуть тут А мы пока продолжим ✨ Пока я вчера наблюдала за релизом стало интересно “А что же там китай?” И вот, ответочка! Основатель DeepSeek перевел весь код с NVIDIA на Huawei: зачем он это сделал и что теперь будет с китайским ИИ Итого: DeepSeek полностью работает на чипах Huawei Ascend Доказали, что чипы Huawei способны тянуть полноценные ИИ-нагрузки А мы гадаем какими же будут картоночки для будущих AI вычислений ну и собираем бенчмарки для замеров

Кстати, из того как это может помочь бизнесу, обычным смертным, и всем, кто взаимодействует с ИИшкой это как минимум: 1. Докидывание большего обьема инфы в РАГ: изображения, сложные pdf с нечитаемым слоем и табличками и печатями 2. Запуск на консьюмерской карте и локальное использование у себя на сервачке. Все секьюрно, плюс можно бахнуть как довольно хорошую тулу агенту в соотношении качество распознавания/количество параметров модели видео карта для запуска 3. Мультиязычный парсинг без плясок с отдельными качественными сетками/пайплайнами под каждый язык. Если у вас в одном документе русский, английский, китайский и печати поверх всего этого добра — сто проц ваш вариант. В результате всего этого, я начала иначе смотреть на китайский open source. Он как-то стал ближе что ли. Ощущение такое, будто рядом существует параллельный зоопарк моделей, тулов и ресерча, про которую западный AI-твиттер даже не всегда в курсе, а оно, может, и зря. Ну и ,видимо, промт на китайском, который с русского перевела другая LLM, наш ближайший друг в этих исследованиях

Как нас снова потеснили китайцы Была пару тройку недель назад на Ai Conf и узрела там офигенный доклад “Китайский для AI-ресерчера и разработчика” Занятно, что не так давно мы в RnD исследовали HunyuanOCR - китайскую легковесную (1B) сеточку для OCR. Результаты оказались, по меньшей мере, прикольные: на английских и русских промптах сетка иногда циклится (последний раз такое я помню в экспериментах с tiny ламой пару лет назад). Но зато на китайских промптах работает добротно - может распознавать и русский, и английский, и китайский (и другие языки), и даже если все они на одном документе. Печати на соответствующих языках тоже распознает. Из минусов - рукописный русский текст и цифры не всегда поддаются ее небольшой архитектуре корректно. Ну и чтобы установить сеточку придется немного помучаться: там и конфликты версий библиотек и проблемки с vLLM. Но, примерно как дорогу осилит идущий, так и ищущий легкий, но пробивной OCR, осилит установку Хуньяна. Промпты, экспромпты, наработки, сводки, подводки, выводы, приводы можно глянуть в статье “OCR в кармане: как HunyuanOCR на 1B параметров потеснил гигантов в задачах парсинга документов”. Кстати не лайфхак, а давняя CV-шная мудрость: для лучшего качества распознавания изображение стоит делить на 2,4 и более частей Что же общего у наших тестов и доклада Дмитрия Ильина? Это то, что до его доклада мне казалось, что промпт на китайском - пусть даже для китайской сетки - это необычное новшество. Но на докладе Дмитрий советует промптить не только китайские сетки на китайском языке, а выдвигает следующую гипотезу: На каком языке модель изначально тренировалаcь - такой язык и стоит использовать для ее промптинга А еще то, что токенизация для иероглифов вообще другая и супер оптимальнее чем для русского и английского языков. Стоит ли вам переводить после этого весь ваш раг на китайский для оптимальности - выводы делайте сами 😏 На етом сегодня все - напишите, если уже используете китайские сетки у себя У меня, например, возникло нифиговое ощущение что у китайцев свой неизведанный нами мир сеточек, которые еще исследовать и исследовать и использовать и использовать А у вас?

Сегодня нашей небольшой фабрике разработки ИИ-решений Raft 👍 исполняется 4 года 🎉. Это еще не юбилей, но за эти годы мы прошли путь становления компании, поиска первых клиентов на новом для нас рынке, кардинальной смены технологий и запуска продуктовых направлений AudioInsights и HiveTrace. Поздравляю всю команду с днем рождения компании и благодарю всех клиентов и партнёров, кто работал с нами в эти годы и продолжает работать сейчас. С Днем Рождения, Raft💙!

На правах члена ПК AI Conf презентую вам грядущие доклады и мастер классы коллег из Рафт: 1. Вадим Шубин “Наш путь в Machine Unlearning: От теории к практике” 2. Кирилл Кухарев с мастер-классом «Собираем реал-тайм ИИ-агента для SIP/VoIP за 2 часа — от транка до живого звонка» 3. Андрей Носов “Поймать и обезвредить: 14 Unit-тестов для RAG и решения через Knowledge Graphs” Сама конфа пройдет 20-го апреля в мск, я сто проц на ней буду) Пригоняйте здороваться и делиться новостями🫰

🎤Открытая лекция Raft: первые шаги к ИИ разработке 2 апреля в 18:00 📍Ярославль, Кампус «Школы 21», ул. Победы, д. 14А Приглашаем на оффлайн лекцию, где руководители Raft поделятся изнанкой своей работы. Вы услышите реальные истории их старта в ИИ-разработке, разберете живые кейсы из личной практики и получите список навыков, которые точно пригодятся начинающему специалисту для быстрого роста. За 1 час вы узнаете: 🎥Почему для успешной карьеры в IT мало быть просто хорошим разработчиком 🎥Какие софт-скиллы помогают забирать лучшие офферы и не застревать в джунах 🎥Что помогает победить прокрастинацию и настроить самодисциплину, чтобы дорасти до лида 🎥Зачем учиться четко формулировать мысли и почему этот навык нужно качать наравне с кодингом 🎥Как применять правила формулирования к нейросетям, чтобы получать точный результат без «переделок» 🎙Спикеры: Ирина Николаева — руководитель RnD и ML подразделения, Raft, Денис Слащев — руководитель подразделения AI разработки, Raft Бонус для участников: решите практическую задачу и забирайте мерч от Raft, а также получайте дополнительные баллы для зачисления к нам на практику Участие бесплатное, регистрируйся по ссылке 🔥 — супер, точно буду ❤️ — хочу к вам на практику 🌚 — кто такой ваш ИИ?

Завтра в Ярославле вместе со Школой 21 рассказываю как найти свое место в профессии и развить ключевые soft skills Пригоняйте, если (вдруг) вы тоже будете в Ярике

🤖 Внедряем AI-агента в бизнес: практический вебинар от Raft x Yandex Cloud 19 февраля в 12:00 Мск Если ваши сотрудники теряют часы на поиск информации в документах, клиентский сервис перегружен однотипными вопросами, а новички долго входят в курс дела во время онбординга, этот вебинар для вас. Разберем, как AI-агенты решают эти проблемы за минуты, а не за часы. И расскажем, как внедрить их в ваш бизнес. За 1 час вы узнаете, как с помощью агента: ➡️помочь сотрудникам быстро находить точные ответы и формировать рекомендации; ➡️превратить корпоративные знания, регламенты и инструкции в удобный инструмент для повседневной работы; ➡️разобрать сложные и неструктурированные материалы и документы, подготовить ответы в понятной и удобной форме. 🎤Спикеры: Денис Головко — co-founder Raft, Тарас Юзефович — тимлид по работе с партнёрами направления ML&AI, Yandex Cloud Участие бесплатное, регистрируйся по ссылке 👍 — это мне надо

📣GraphRAG, Machine Unlearning, TTS-битва и юрдоки без API! Новая порция исследований от Raft на Хабре — читаем! ➡️Machine Unlearning Исследовали технологию, которая позволяет моделям "забывать" нежелательные данные без полного переобучения. Классические методы защиты (промпты, классификаторы, RLHF) только блокируют генерацию проблемного контента, но персональные данные остаются внутри модели. А это конфликтует с GDPR и российским 149-ФЗ, которые закрепляют "право на забвение". В статье — как формируются Forget Set и Retain Set, чем Machine Unlearning может заменить дорогой RLHF, и обзор open-source инструмента OpenUnlearning с поддержкой LoRA для экономии GPU-памяти. ➡️GraphRAG: 8 способов укротить расширенный контекст у LLM Протестировали 8 архитектурных подходов GraphRAG на реальном медицинском кейсе: как помочь врачам-онкологам принимать решения, когда стандартный RAG находит факты, но не связывает их. Оказалось, что в 22% случаев пациенты остаются без назначения из-за того, что система не видит взаимодействие между препаратами и сопутствующими болезнями. В статье — полный бенчмарк с метриками (faithfulness, latency, cost), сравнение от базового GraphRAG до мультимодального поиска, и главное открытие: Graph-Native Chunking снизил галлюцинации на 84%, а Hybrid Search показал лучший баланс. Бонус — дерево решений для выбора правильной архитектуры под вашу задачу. ➡️Можно ли доверить важные документы open-source LLM Протестировали несколько классов моделей (от легковесных до reasoning) на реальном архиве из 200+ договоров, актов и счетов. Оказалось, что выбор модели — не главное: ключ к качеству — в архитектуре пайплайна. Адаптивный чанкинг, строгая валидация схемы и контроль уверенности подняли точность с 63% до 99,7%. В статье — детали эксперимента, почему Qwen3-30B-A3B оказалась оптимальной и как управлять ошибками в production. ➡️NER не про токены: почему span важнее BIO Разобрали неочевидную проблему NER-задач: оказывается, большинство популярных схем разметки (IO, BIO, IOBES) ломаются на вложенных сущностях. Например, когда внутри "адреса" нужно выделить "город" и "улицу" — классические токен-level подходы просто не справляются. В статье показали на примерах, почему span-level разметка — это must-have, как конвертировать форматы между собой и какие грабли ждут при масштабировании числа классов. Бонус: практические рекомендации, когда стоит усложнять схему, а когда хватит простого BIO. ➡️Обзор Open Source моделей для задачи TTS Протестировали 7 open-source моделей для синтеза речи на русском языке: от китайских мультиязычных до отечественных Silero и ESpeech. Каждую прогнали через одинаковые тесты, замерили скорость на CPU/GPU и оценили естественность, выразительность и простоту интеграции. После сравнения выявили явного аутсайдера и топ-3: Silero (самая быстрая), F5-TTS (лучшая выразительность) и QwenTTS (баланс качества и удобства). Уже можно выбирать под свою задачу. ❤️ — команде за сильный рисёрч 🔥— если ждёшь новые статьи

Помни, брат и сестра

Сегодня рассказываю #находки_ресерча от Вадима Шубина Слышали уже про Chonki - легкую и быструю бибилиотеку, которая забустит ваш RAG? Крутая питон либа, которая поддерживает различные методы чанкинга, включая чанкинг на основе лексем, слов, предложений,семантического сходства (подробнее про методы чанкинга в прикрепе) Для установки базового пакета требуется ~ 9,7 MB свободного места Поддерживает все основные чанкеры. В чем преимущества: 1. Chonki - быстрее чем LangChain в 2 раза (пруфы опять же в прикрепе) 2. Установить и заюзать проще простого — реально три клика: Install, Import, CHONK! 3. Гибкие стратегии — хочешь делить текст по токенам (TokenChunker), по предложениям (SentenceChunker), рекурсивно, смыслово или даже по структуре разбиения программного кода с помощью AST. Всё уже есть из коробки. 4. Умеет сохранять чанки сразу во все топовые векторные базы — Chroma, Qdrant, Weaviate, Turbopuffer и др. 5. Refinery модули, такие как OverlapRefinery и EmbeddingsRefinery, помогают улучшать качество чанков — путем добавления перекрытия или эмбеддингов. 6. Есть визуализация — можно посмотреть, как ваши тексты порезались, прямо в терминале или выгрузить в HTML. Удобно для дебага. 7. Открытая лицензия (MIT), никаких запретов на локальный или коммерческий use. 8. Также существует облачная платформа Chonkie Cloud (платная, требует API-ключа) и корпоративное On-Premise-решение с поддержкой, развертыванием и SLA. В прикрепе: — Cтратеги чанкирования — Скрины скорости против LangChain и LlamaIndex Лайк, если тоже ждете статью Вадима с подробными разборами и кукбуком Всем пис🫰 #Chonki #RAG #chunking #embedding

📣 SHORTCUT SCIENCE | ВЫПУСК 4: Безопасность больших языковых моделей - как найти и закрыть бэкдор в вашем AI приложении За эти 40 минут вы узнаете: ⭕️ Чем опасна отравленная LLama ⭕️ Угроза атак LLM на татарском языке ⭕️ Алаймент Grok - почему хуже чем у GPT Ответы на эти и другие вопросы — в видео! Ссылки от Никиты: ⭕️ Jailbreak DAN ⭕️ HiveTrace ⭕️ Llamator ⭕️ Garak репа ⭕️ Promptfoo ⭕️ Giskard ⭕️Pyrit Приятного просмотра!🫶 #Shortcut_Science #AI_agents #AI_Security

📣 SHORTCUT SCIENCE | ВЫПУСК 3: ИИ ассистент для фермера Всего 20 минут— и вы узнаете: ⭕️ Как работает наш реализованный умный ассистент в агротехе ⭕️ Какие проблемы фермеров мы решаем с помощью автоматизации прямо в Telegram ⭕️ Что скрывает «дичайшая» мультиагентная архитектура (под капотом трудятся ~19 агентов!) Примеры запросов к ассистенту: 1. Какие культуры готовятся к посеву на после 6 в сезоне 2025? 2. Есть ли почвенное действие у УРАГАН ФОРТЕ? 3. Какая у меня структура севооборота в сезоне 2024? 4. Внеси урожайность по полю в этом сезоне 52,5 центнера с гектара. Ответы на эти и другие вопросы — в видео! P.S. В конце — челленджи, с которыми столкнулась команда при разработке такой сложной системы, и, конечно, как мы их решили. Приятного просмотра!🫶 #Shortcut_Science #AI_agents #ИИ_Агротех