Draft AI | Иван Кундиль

Как большие лимиты могут лишать нас опыта Последние несколько месяцев я довольно экономно работал с Claude и Codex. Перед каждой задачей сам разбирался в проблеме, продумывал архитектуру, дробил работу на этапы и проверял результат. Не из-за особой дисциплины, а из-за лимитов. Но именно благодаря этому я стал лучше понимать собственный проект и в целом разбираться в таких вещах, как архитектура, пайплайны, RAG и связи между отдельными компонентами. Недавно мне удалось попользоваться Claude Max с гораздо большими лимитами. Уже не боясь в них упереться, я ставил Opus крупную задачу и подключал других агентов для ревью. Один пишет код, второй проверяет, первый исправляет замечания и снова отправляет результат на проверку — и так до выполнения задачи. Большие лимиты позволяют передать агентам не только написание кода, но и почти весь процесс принятия решений. Через несколько часов ты получаешь готовый результат и огромный отчёт, который уже почти не читаешь. А даже если прочитать итоговое резюме и посмотреть изменения, это не заменяет участия в процессе: ты знаешь, что было сделано, но не всегда понимаешь, какие решения принимались по пути и почему. Получается парадокс: лимиты замедляют разработку, но заставляют учиться. А почти безлимитный доступ позволяет получить результат, не приобретая опыт, который раньше неизбежно возникал в процессе. Мне не хочется терять связь с собственным проектом и опыт, который я получаю благодаря участию в разработке. Поэтому для меня важно найти баланс: что полностью отдавать агентам, а в какие процессы и решения продолжать погружаться самому. А как вы находите этот баланс — или считаете, что с учётом возможностей ИИ опыт разработки уже и вовсе не нужен?

Тест 14 нейросетей: всегда ли нужна топовая модель? Мой сервис по каждому судебному делу составляет «паспорт» — выжимку из акта в виде таблицы на 28 полей: кто с кем судился, что просил истец, что взыскал суд, какие статьи применил и т.д. Ранее писал, что эти выжимки позволяют снизить количество галлюцинаций при ответе сервиса. Составляет такие паспорта DeepSeek v4-flash, это одна из самых дешёвых, но эффективных моделей на рынке. И у неё встречаются пробелы в работе: то обстоятельство перепутает, то оставит поле пустым, хотя ответ есть в тексте судебного акта. Хочется больше точности, и логичное решение — взять модель посильнее и подороже. Но прежде чем менять модель, я решил проверить, можно ли ещё что-то выжать из DeepSeek v4-flash, и провёл тест. Взял выборку из 100 судебных дел и 14 нейросетей — от топовых GPT-5.5, Opus 4.8 и Sonnet 5 до бюджетных (все модели можно увидеть на графике). Каждая модель читала судебный акт и составляла по нему паспорт (выжимку). Для каждого дела заранее готовился эталон: его совместно составляли Opus 4.8 и GPT-5.5, а спорные поля дополнительно сверялись с текстом акта. Дальше всё просто: чем больше полей в паспорте модели совпало с эталоном, тем выше ее точность. Проверка шла вслепую — оценщик не знал, паспорт какой модели перед ним. Результат: топы набрали 96–98%, а DeepSeek v4-flash — 90,4% и десятое место (рейтинг на картинке). Не стал спешить с заменой модели и разобрал, на чем именно DeepSeek v4-flash теряет точность. Ошибки оказались двух типов — и лечатся они по-разному. ➡Первый тип — путаница в обстоятельствах дела. Подсказка нашлась ещё при подготовке эталонов паспортов: даже Opus 4.8 и GPT-5.5 иногда трактовали одно и то же поле по-разному. Оказалось, дело не в том, что одна модель сильнее другой, а в самой инструкции\промте — некоторые формулировки в инструкции можно было понять двояко. Переписал спорные места, и путаница в ответах DeepSeek v4-flash почти полностью ушла. ➡Второй тип — пустые поля паспорта. Здесь DeepSeek v4-flash не выдумывает, а ленится: суд расписал, как считал компенсацию, а в поле «способ расчета» все равно пусто. Правки в инструкцию больше не помогали: заставляешь модель заполнять все пустые поля и она начинает галлюцинировать. Но пустое поле, в отличие от выдумки, легко обнаружить автоматически. Поэтому я дописал скрипт (доработал код в инструменте, который собирает паспорта) — после составления паспорта он проверяет, какие поля остались пустыми, и просит DeepSeek v4-flash дозаполнить только их. Уже заполненные поля трогать ему запрещено. Итог: паспорт подорожал примерно на 37%, а точность выросла с 90,4% до 96,2%. Для сравнения: у Sonnet 5 — 98,7%, но он дороже DeepSeek v4-flash в 15 с лишним раз. Этот тест ещё раз показал, как сильно на результат влияет окружение (обвязка) модели. И что даже топовые нейросети ошибаются в простой на первый взгляд задаче: пересказать судебное дело в таблицу.

На ПМЮФ-2026 прошла сессия «Юрист будущего: портрет профессии в эпоху искусственного интеллекта». Для видео к сессии я записал короткий комментарий о том, как изменилась моя работа с появлением ИИ, — спасибо Павлу Мищенко и команде Транснефти за приглашение. Пока готовил этот комментарий, поймал себя на нескольких мыслях — ими и хочу поделиться. Разговоры юристов вокруг ИИ становятся заметно серьезнее в части технической составляющей. Обсуждение промптов, подготовка черновиков или саммари документов — это уже базовый уровень, к которому многие за 2025 год привыкли. Сейчас все чаще встречаются темы вроде RAG, агентных и мультиагентных систем, оркестрации, MCP, метрик. И даже в таких технических вопросах роль юриста никуда не исчезает. Именно юрист как доменный эксперт понимает, какой ответ качественный, где модель ошиблась и какую ценность инструмент должен давать бизнесу или юридической команде. Поэтому профессия постепенно меняется. Мало просто знать право и готовить документы. Некоторые юристы уже совмещают несколько ролей: юриста, продакт-менеджера и технического специалиста. Они понимают, какую задачу закрывает инструмент и как он должен работать, проверяют правовую часть и качество ответа, а иногда и сами «вайбкодят» решение под конкретную задачу.

Как использовать нейросети для поиска судебной практики: запись вебинара 24 июня мы провели вебинар, на котором разобрали два практических кейса применения ИИ в юридической работе. Если вы практикуете в IP, для вас есть сервис от Ивана Кундиля @Draft_AI_Law — IP Agent Иван рассказал, как создал ИИ-ассистента для оценки споров в сфере интеллектуальной собственности. Сервис работает на базе 3 500+ реальных судебных дел и помогает рассчитать вилку компенсации, подобрать релевантную практику и аргументы для позиции. Главный вывод: собрать MVP без опыта в программировании можно быстро, но сделать юридически надежный инструмент сложнее. Нужно бороться с галлюцинациями, переписывать промпты и проверять источники. Если вы пробуете искать судебную практику через нейросети, будет полезен эксперимент Юлии Вербицкой @horecaurist Юлия проверила 9 нейросетей на поиске уголовных дел по ст. 183 УК РФ о коммерческой тайне. Лучшие результаты показали DeepSeek, Perplexity и ChatGPT. Часть моделей уверенно выдавала несуществующие дела с правдоподобными ссылками. Главный вывод: нейросети можно использовать как помощника для обработки и систематизации массива данных, но не как замену СПС и ручной проверки юриста. ➤ Посмотреть запись Приятного просмотра и до встречи на следующих вебинарах!

А у нас новый вебинар! Пожалуй с самым холиварным вопросом для юристов) Как использовать нейросети для поиска судебной практики. 24 июня в 18:00 (МСК) Разберём инструменты - от привычных чат-ботов до DIY сервисов. Юлия Вербицкая, HoReCa-юрист, расскажет о своём опыте использования нейросетей для поиска и анализа судебной практики. Поговорим о мифах и рабочих сценариях применения ИИ в повседневной работе юриста. Иван Кундиль - автор Draft AI, расскажет о создании AI-сервиса для оценки IP-споров и поиска судебной практики, а также о сложностях, с которыми столкнулся. Ведущий: Степан Леонтьев Регистрация в боте

Собрал юридический плагин для Claude Code и сравнил результаты При подготовке документа с несколькими моделями часто можно заметить, что каждая из них (например Claude Opus 4.8 и GPT-5.5) предлагает разные аргументы. Одна делает упор на процесс, другая лучше подмечает пробелы в доказательствах, и по итогу они по-разному могут оценить суммы. Я начал использовать их как стороны спора — давал одной модели позицию другой и просил дать комментарии, опровергнуть, потом наоборот. Получается ручной мульти-агентный процесс: одна модель предлагает, другая критикует, а я дополняю фактами, контекстом, опровергаю тот или иной аргумент и по итогу собираю всё в единую позицию. По сути, это работа оркестратора, которую можно попробовать отдать агентам. Так и пришла идея сделать плагин под юридическую работу — legal-brief. Я не писал его с нуля, за основу взял плагин superpowers от obra / Jesse Vincent и форк superpowers-strigov-ver от strigov. Переделал этот подход с разработки кода на юридическую работу. Этапы работы плагина отображены в схеме к посту. В конце плагин предоставляет файл со списком всех норм и практики, на которые сослался в документе, и проверяет, что ссылки открываются. Актуальность и применимость норм/практики нужно проверять самостоятельно. Для теста запустил плагин на своём реальном деле — попросил составить возражения на взыскание судебных расходов. Чтобы понять, насколько удачным получился документ, я решил сравнить три подхода: 🔵 ручной вариант: я + Claude + GPT 🔵 плагин legal-brief 🔵 Cowork: Claude Opus 4.8 в один проход (без агентного конвейера) Итог: 🔵Ручной вариант — субъективно лучший для подачи. 🔵Плагин — на втором месте. Хорошо раскрывает вопрос объёма работы представителей, предлагает умеренный контррасчёт, но упустил один тезис, на который стоило бы сослаться, и местами документ получился длинноватым. 🔵Cowork — рабочий черновик, но слабее. Основная мысль есть, но местами слишком категорично, слабее контррасчёт и меньше аргументов. Да, ручной вариант получился лучше. И, честно говоря, я сомневаюсь, что даже при более тонкой настройке плагин будет идеально отрабатывать такие задачи без участия человека. Но в этом и не была цель. Плагин может снять пул работы, который обычно делается вручную: собрать саммари, прогнать документ через несколько ролей, получить критику, альтернативный взгляд и доработанный черновик. Его можно использовать для первых 70–80% работы, а дальше вручную проверять, усиливать позицию и добавлять то, что видит только человек, погружённый в дело. Кому интересно потестировать и сравнить свои результаты с результатами плагина — ссылка на репозиторий ниже. Репозиторий https://github.com/KunDeal/legal-brief

Теперь IP Agent доступен не только в Telegram-боте, но и в веб-интерфейсе. Можно задавать вопросы по интеллектуальной собственности и оценивать перспективы спора в более удобном формате. Сервис бесплатный, не требует регистрации и работает без VPN. Сейчас действует ограничение — 15 вопросов в сутки на пользователя с учётом уточняющих сообщений. Из нового — отдельный режим «Поиск судебной практики». Он ищет по той же базе, которая загружена в сервис: сейчас в ней уже более 3,5 тыс. судебных дел 2021–2026 гг., и за счёт автообновления база продолжает расти. Также добавились дела из судов общей юрисдикции: прямые ссылки на них не предоставляются, но можно получить реквизиты и «паспорт дела». Коллеги, буду рад обратной связи.

Нейросеть в деле #1. Алиса в стране чудес суде Учредитель частного детского сада «Гудвин» пытался признать недействительным договор лизинга автомобиля HAVAL F7, заключённый директором учреждения. Суд первой инстанции отказал в иске: директор был указан в ЕГРЮЛ как лицо, действующее без доверенности, а истец не предоставил доказательств нарушения закона или причинения ущерба. При обращении в апелляционную инстанцию истцу, видимо, ссылок на закон показалось недостаточно, и в жалобе он сослался на правовую позицию «Яндекс Алисы». Суд юмора (или технологического прогресса) не понял и указал: «Доводы истца (учредителя) о неправильном применении судом первой инстанции норм материального права, в том числе со ссылками на искусственный интеллект «Яндекс Алиса», отклоняются апелляционным судом, поскольку основаны на неверном толковании норм действующего законодательства применительно к фактическим обстоятельствам дела». Вникать в правовую позицию Алисы суд не стал. Решение первой инстанции оставлено без изменения. Использовать ИИ для подготовки дела можно, а вот ссылаться на него — далеко не самое эффективное решение. Судебная система пока больше доверяет представителям с дипломом, а не с подпиской Яндекс Плюс.

Коллеги, запускаю новую рубрику — «Нейросеть в деле». Недавно я рассказывал про парсер судебной практики с портала ras.arbitr.ru. Настроил его ещё на одно направление — поиск арбитражных дел, в которых так или иначе фигурирует искусственный интеллект. Парсер теперь сам регулярно ищет такие дела — интересными буду делиться в формате мини-обзора. Где-то будет полезная правовая позиция, где-то просто забавный эпизод из практики. Первый обзор ↘️

Пока ставил серверный Linux, поймал себя на мысли. По мере роста проекта и появления новых идей я стал упираться в ресурсы сервера, а докупать мощности выходит ощутимо дороже. Поэтому решил переделать старенький ноутбук под сервер: так я почти бесплатно получаю заметно больше ресурсов под проект и другие свои идеи. Накатил серверную Ubuntu без графического интерфейса, голую командную строку. И в какой-то момент поймал себя на странной мысли: ещё пару лет назад я бы за это просто не взялся. Юрист, без опыта в IT - человек, для которого слово «сервер» долго было чем-то из другого мира. Чем-то, для чего вызывают специалиста. А сейчас ты просто открываешь Claude или любую другую нейросеть, описываешь задачу и идёшь по инструкции. И дело даже не в том, что ИИ «экономит время» - об этом уже сказали примерно все. Мне кажется, он незаметно меняет другое - смещает границы того, что ты вообще готов попробовать сделать сам. Раньше между мыслью «хочу поднять домашний сервер» и результатом стояла куча вопросов: какую систему выбрать, подойдёт ли железо, как всё установить, что делать, если сломается. Каждый такой вопрос легко превращался в тупик, а идея так и оставалась нереализованной. Сейчас большинство из них превращается не в тупик, а в диалог с ИИ. Делать всё равно приходится самому, но можно получить инструкцию именно под свою ситуацию, а не абстрактный гайд из 2017 года под другое железо и другой контекст. ИИ очень сильно снижает порог входа в новые области. Не делает тебя специалистом за вечер, но убирает тот самый внутренний барьер, из-за которого раньше ты даже не пробовал.

Он теперь совсем взрослый самостоятельный, или как я запустил автообновление базы судебной практики IP Agent До этого процесс был такой: искал дела, открывал сайты, скачивал документы, делал паспорта дел (вытаскивал суть), индексировал в базу. Теперь это делает бот сам, обновляет базу каждую ночь в 03:00. Изначально ориентировался на Hermes Agent от Nous Research (опенсорс-оркестратор для LLM-агентов). Идея понравилась следующим: работа по расписанию, память между запусками, управление через Telegram, отчёты после выполнения задач - выглядело многообещающе. Но в ходе изучения его возможностей понял, что для автообновления можно пойти гораздо более простым путём. Достаточно продумать последовательность действий и написать скрипт. В итоге сам Hermes пока отправился в список идей на будущее, а скрипт поселился прямо на сервере бота. Сейчас скрипт работает примерно так: 〰 заходит в картотеку арбитражных судов (ras.arbitr) и ищет свежие IP-решения за последнюю неделю; 〰 отсекает всякий «шум» вроде мировых соглашений, возвратов и прекращений; 〰 скачивает PDF; 〰 отправляет решение в Gemini и получает обратно структурированный паспорт дела: стороны, объект ИС, статьи ГК, позиции сторон, логику суда, итог и размер компенсации; 〰 находит дело в КАД и сохраняет ссылку; 〰 индексирует всё это в ChromaDB, после чего дело становится доступно для поиска через бота. Первый тест (25.05): Найдено 25 дел → отфильтровано 24 → 1 прошло полный цикл и попало в базу. В планах добавить отслеживание судьбы дела - есть ли апелляция, кассация, отменяли ли решение и т.д. Ещё ограничил парсинг до 5 дел за сессию: ресурсов на сервере немного, а индексация идёт локальной моделью эмбеддингов. Снимать ограничение пока не спешу. Подобный парсинг - штука хрупкая. Поменяется структура страниц или усилят антибота - буду искать другой путь. Такая автоматизация почти всегда живёт по этим правилам. Кроме этого, за неделю ещё кое-что сделал: 〰+1089 решений СОЮ (для них паспорта генерировались отдельным пайплайном на gpt-oss-120b - по моим тестам он здесь оказался сильнее чем Gemini 2.5 про, но на объемных делах требует перепроверки); 〰 появился второй режим работы «Поиск практики» (БЕТА); 〰 добавил ссылки на КАД прямо в ответы бота; Итог недели: база выросла почти в полтора раза - до 3489 дел, у бота появился второй режим работы, а теперь он ещё и сам пополняет базу по ночам. Интересно мнение коллег - как относитесь к такому парсингу? Акты открытые, доступ свободный, проект некоммерческий, но автоматизированный сбор не везде приветствуется.

Выкатил апдейт для IP Agent В боте теперь работают кликабельные ссылки на документы. Раньше приходилось копировать номер дела и вручную искать решение или постановление на сайте - теперь просто тыкаешь на ссылку, и текст открывается прямо из бота. Если где-то не открывается или ссылка не подсветилась - напишите, починю.

А как у других? Подобные галлюцинации преследуют не только маленькие проекты, но и специализированные сервисы таких гигантов, как Яндекс. Проверил Нейроюриста (который работает в связке с Гарантом) - тот же запрос про фото на маркетплейсе, ответ со ссылками на 10 «реальных» судебных актов. В итоге - из 10 приведенных дел, 5 вообще не про интеллектуальную собственность. Взыскание долгов за электроэнергию, услуги РЖД, муниципальный контракт на содержание дорог. Два дела с подозрительно красивыми номерами в системе КАД не находятся вовсе (вероятнее всего, галлюцинация). В анализе Нейроюрист ссылается на дело № А41-56789/2023 как пример длительности использования фото. По факту это спор о 5,8 млн рублей задолженности по контракту на содержание улично-дорожной сети. Из всех 10 ссылок реально по теме только 2 дела, и только одно подходит под контекст вопроса. Ниже прикрепил скрин с делами, которые предоставил Нейроюрист в качестве релевантной практики по вопросу интеллектуальных прав в части фотографий. Качество ответов в подобных сервисах (если говорим про галлюцинации) больше зависит не от модели ЛЛМ, которую выбрали, а от обвязки (настройка, код, пайплайн), которую построили вокруг этой модели. Можно взять лучшую ЛЛМ и идеальные эмбеддинги, но если ЛЛМ получает части документа без контекста всего дела, то неизбежно будет додумывать остальное сама. А если на ИИ-инструменте написано «Яндекс» и указано, что он работает в связке с Гарантом, это, увы, не гарантирует, что он сошлётся на релевантное дело. Что внутри у Нейроюриста, я не знаю - использует он классический RAG, обращается к Гаранту по API, или это гибрид. Но судя по тому, какую практику он выдаёт, можно сделать вывод о том, каких слоёв там точно нет. Пять дел из чужой отрасли - значит, нет фильтра по тематике перед выдачей. Два дела с красивыми номерами выдуманы - значит, ЛЛМ не привязана к реально найденным делам и может дописать «правдоподобный» номер от себя, без сверки с базой. А вот дело А41-56789/2023, где номер настоящий, а описание не подходит по теме, говорит о той же галлюцинации, которую я поймал у себя: модель видит кусок акта без полного контекста и достраивает остальное по аналогии. Все три проблемы лежат на уровне обвязки, а не данных: фильтрация кандидатов по тематике, привязка каждого фрагмента к полному контексту дела, сверка реквизитов с базой перед ответом. Связка с Гарантом тут не спасает - даже идеальный источник не помогает, если на выходе модель додумывает по нему свои детали.

Галлюцинации в RAG: починил у себя, проверил у Нейроюриста Недавно обнаружил в своём боте по интеллектуальной собственности галлюцинацию. Спрашиваю у него про компенсацию за фото на маркетплейсе, бот развёрнуто отвечает и ссылается на конкретные дела. Открываю проверить дело, а там вовсе другая история. Аргументы сторон не такие, как описал бот, сумма другая, тематика близкая, но детали бот попросту выдумал. Так выглядит галлюцинация в RAG системе - её куда сложнее обнаружить, чем галлюцинацию в обычном чате с нейросетью. В данном случае и реквизиты дела верные, и тематика близкая, но обстоятельства другие, нежели описанные ботом. Для обнаружения такой галлюцинации нужно читать все дело. Происходит это потому, что бот видит не весь судебный акт, а только его фрагмент в 800 символов (такой размер посчитал оптимальным). Сам акт обычно от 6 до 40 тыс. символов. Бот находит нужный кусок мотивировочной части, но не видит ни аргументов сторон в начале, ни итоговой суммы в конце. И начинает додумывать всё, чего не видел, сам. Первых 3 дел это не касается - для самых релевантных результатов бот подтягивает акт целиком. Что сделал Вариант, который, по моему мнению, способен исключить подобную галлюцинацию и не задушить ЛЛМ контекстом – это создать для каждого дела из базы свой паспорт, который будет включать весь контекст дела (что просил истец, что взыскал суд, какие аргументы у сторон, по какой методике считали компенсацию и т.д.). Прогнал базу из 2392 судебных актов (да, наполнил базу новыми актами) через Gemini 2.5 flash и для каждого дела создал паспорт. Этот паспорт теперь прикрепляется к каждому фрагменту (чанку) дела в базе. При поиске бот получает и обрывок текста, и итоговые факты всего акта. Дополнительно сделал ещё один этап сортировки на основе паспорта. Если модель нашла дело, у которого контекст паспорта не соответствует контексту вопроса, такое дело отсеивается до того, как попадёт в финальный ответ. По итогу тестов галлюцинаций больше не нашёл. По крайней мере на тех проверках, что я успел прогнать. Стоимость создания таких паспортов вышла около 7 долларов на API (делал через aistudio, выходит дешевле, чем через опенроутер или роутер.аи).

Немного мыслей про Obsidian В сети много примеров связки агент (Cowork и др.) + Obsidian, складывается впечатление, будто Obsidian сам по себе делает работу эффективнее. Но так ли это? Если кто не знаком, Obsidian, это удобный редактор md-заметок (md, обычный текстовый формат файлов) с графом связей и навигацией по ссылкам, а не «второй мозг», как его иногда позиционируют. Ближе аналогия с картотекой Лумана, только в цифре. Если в двух словах. Тот же эффект можно получить от обычной папки с .md и без Obsidian. Полезны сами md-саммари, программа лишь добавляет удобства пользователю - автокомплит при наборе [[ (выпадает список заметок), кликабельные переходы, обратные ссылки (видишь, кто на эту заметку ссылается). Когда заметок много, ориентироваться через эти функции проще, чем искать файлы по рабочему столу. Использовать можно любого агента с доступом к папке (Cowork, Claude Code, Trae, Cursor). Современные агенты подключаются к vault (так Obsidian называет рабочую папку) через MCP (стандарт, по которому агент читает и пишет файлы у тебя на ПК). Дальше про то, как применяю. Для двух моих сфер, кода и юр. практики. Польза в одном - накопление контекста, который не помещается в голове. В работе с кодом 〰️Журнал архитектурных решений. Накидал черновик агенту, он оформил заметку и связал с предыдущими. В коде не написано, почему я перешёл на другую модель эмбеддинга или удалил реранкер. Заметки хранят именно эти причины. 〰️Промпт-библиотека. Рабочие промпты, чтобы не писать каждый раз с нуля. 〰️Журнал экспериментов. Что пробовал и не сработало (история с метриками реранкера в первой версии бенчмарка), чтобы не наступать на одни и те же грабли. 〰️ Идеи и планы. Не только сами идеи, но и причины, по которым их стоит реализовать. В новом чате указываю агенту нужные заметки, он сразу видит логику проекта, не предлагает отброшенные варианты. Экономит токены. Если не указать конкретные файлы, агент полезет читать весь проект. В юр. работе 〰️ Длинное дело на несколько лет или с большим количеством материалов. После каждого процессуального действия делаю заметку. Позиция, аргументы, выводы эксперта, свои мысли. 〰️ Связи. Вывод эксперта → возражение ответчика → мой контр-аргумент. Открываешь через полгода заметку про экспертизу, внизу видишь всё, что на неё опирается. 〰️ Та же логика «что» (материалы дела) и «почему» (моя тактика, этого в материалах нет, через полгода трудно вспомнить). 〰️ Подключаешь агента к папке проекта, он работает с твоими саммари, а не с тонной документов. Где роль Obsidian переоценена Видел популярный сценарий - скачиваешь судебную практику, подключаешь агента, получаешь аналитику. Попробовал, 50 дел, Cowork + Obsidian. Расход токенов уже на десятке дел ощутимый. Агент с каждым новым делом перечитывает ранее размеченные. И ладно токены, но в таких задачах Obsidian переоценен. Агент выполнит эти задачи и без него. Графы видит только пользователь, агенту нужны саммари, а не визуализация. Obsidian нужен «на длинной дистанции», когда надо вспомнить контекст задачи полугодовой давности, а не для аналитики здесь и сейчас. Оговорки ➖Безопасность. Vault лежит у тебя на ПК, ничего не уходит в облако. Положительный момент относительно тех же Notion и Evernote. ➖Граф не так полезен, как кажется. Помогает видеть изолированные заметки и хабы. Для поиска ответов бесполезен. Открывал несколько раз за всё время. ➖Web Clipper. Сохраняет текст статьи в md-заметку. На сайтах со сложной защитой может вытащить пустую страницу (например, К+). За год может получиться личная библиотека под свои интересы. ➖ Базовый Obsidian бесплатен. Платно только Sync (синхронизация устройств) и Publish (публикация vault как сайта). ➖Заметки, это обычные .md, откроются в любом редакторе и без Obsidian. Итог Obsidian не делает тебя продуктивнее сам по себе, это просто редактор заметок. Но если есть привычка вести заметки, экономит часы на «где это было / почему я сделал именно так» и токены на объяснение агенту контекста. Для юриста с длинными делами и вайбкодера с растущим проектом, рабочий инструмент.

Реранкер: оставить, заменить или выкинуть? После того как учёл ошибки в бенчмарке эмбеддингов, решил поменять модель эмбеддинга в боте и наконец-то дозалить новую судебную практику. Но столкнулся с тем, что заодно нужно определиться с реранкером: оставить старый, выбрать новый или вовсе убрать. Что сделал. На уже размеченных данных прошлого теста прогнал четыре реранкера по тем же 30 вопросам и семи эмбеддингам. Делать новую разметку не пришлось, поэтому всё заняло несколько часов. Реранкеры в тесте: mmarco-mMiniLMv2 - мой текущий, обучен на английском MS MARCO bge-reranker-v2-m3 - мультиязычный от BAAI, 568M параметров jina-reranker-v3 - листвайз-архитектура, 0.6B параметров mxbai-rerank-base-v2 - на базе Qwen-2.5, 0.5B параметров Плюс baseline без реранкера (raw). Главные выводы: ➖Не каждый реранкер подходит для русского юридического корпуса. Mxbai в моём корпусе значимо ухудшил результаты на большинстве эмбеддингов, английский mmarco на русском ожидаемо нейтрален. Работают только bge и jina. ➖ Эффект реранкера зависит от качества эмбеддинга. На сильных эмбеддингах (OpenAI, Voyage, USER2-base) приросты в пределах погрешности - на 30 вопросах их математически невозможно отличить от нуля. На слабых эмбеддингах эффект уже ощутимый и статистически значимый: Yandex (raw 0.630) → bge 0.755 (+12.5 пункта) Cohere (raw 0.700) → jina 0.793 (+9.3 пункта) OpenAI настолько хорошо ранжирует юридические дела сам, что реранкеру нечего улучшать. На слабом эмбеддинге пространство для улучшения есть, и реранкер реально вытягивает результат. ➖USER2-base + jina как локальная альтернатива OpenAI. USER2-base в raw даёт 0.773. С jina связка выходит 0.797. Для сравнения: OpenAI без реранкера - 0.809. Разница на этой выборке в пределах погрешности - нет смысла выбирать OpenAI вместо локальной связки. Решение для бота Поставлю USER2-base, если позволят ресурсы сервера, плюс jina-reranker-v3. Если jina по железу не пойдёт - оставлю bge. Mmarco убираю, пользы от него нет. Ограничения теста те же, что в прошлом посте. Часть выводов подтверждена статистически, часть - наблюдения в рамках выборки 30 вопросов.

Апелляция на собственный бенчмарк: как я искусственно раздул метрики реранкера Недавно я публиковал бенчмарк эмбеддинг-моделей для юридического RAG и делал в нём крайне убедительные выводы: про реранкер, про эмбеддинги, про гибриды. Как оказалось, часть этих выводов была неверной. На эту мысль меня подтолкнула Екатерина, отдельное ей спасибо. В методике моего расчета была брешь, которую я не заметил. Что переделал: разметил 2751 пару (вместо 635) на уровне сырой выдачи, до этапа реранкинга, добавил к тесту еще одну локальную модель - deepvk/USER2-base. Вопросов по-прежнему 30. Что получилось: 〰️Реранкер не даёт значимого прироста. Разница между выдачей "до" и "после" реранкера на моих данных в пределах погрешности, а для некоторых моделей эффект даже отрицательный (видно в таблице). То есть фактически прироста нет. Оговорка: вывод касается только конкретного реранкера, который у меня установлен. С другим реранкером результат может быть совсем иной. 〰️Вывод про гибрид двух эмбеддингов устоял, но стал скромнее. Эффект от объединения двух моделей на честной разметке уменьшился, но остался. Оговорка: это сработает только если найти «нормальный» реранкер, который хорошо сортирует результаты. Без него гибрид расширяет корзину кандидатов, но до пользователя нужные дела всё равно могут не дойти. А существует ли "нормальный" реранкер - я пока не знаю. 〰️ О рейтинге эмбеддингов. На старой разметке все модели после реранкера были статистически неотличимы. К тесту я добавил ещё одну модель, которую часто рекомендуют в юридическом сообществе нейросетей, — deepvk/USER2-base. Значения и рейтинг в таблице к посту. Из рейтинга выделяется топ-3, но в рамках теста разница между этими тремя моделями считается погрешностью (30 вопросов — это небольшая выборка для уверенных выводов). Так что на этой выборке их результаты можно считать равными. Главная находка - USER2-base. Локальная русская модель от deepvk, бесплатная, при этом по качеству не уступает OpenAI ($2.84 за индексацию моего корпуса) и Voyage ($0.63). Без API, без санкционных рисков. Полная версия поста с таблицами и детальным разбором.

💻 Запись вебинара с Иваном Кундилем - разбираем IP Agent изнутри Друзья, час пролетел незаметно - спасибо всем участникам! Приятного просмотра! В этом выпуске: ➡️Как появилась идея IP Agent и какую задачу он решает ➡️Демонстрация бота вживую на реальных кейсах ➡️Чем специализированный RAG-бот отличается от NotebookLM и Яндекс Нейроюрист ➡️Как юрист без технического образования создаёт работающий продукт (демонстрируем вайбкодинг на примере создания калькулятора госпошлины) ➡️Архитектура изнутри: RAG, эмбеддинги, реранкер, агентный поиск ➡️Тест 10 моделей: какие LLM справляются с юридическими задачами, а какие больше галлюцинируют ➡️Юрист vs IT-специалист - где юридические знания дают преимущество ➡️Агентный RAG: реальная польза или переоценённый хайп ➡️Сколько времени занял проект и что дальше Если у вас есть идеи, какую тему необходимо рассказать более детально - жду в комментариях!

Напоминаю, что сегодня 📍 (20 апреля в 19:00) в Яндекс Телемост вместе с Иваном Кундилем разберем IP Agent и рассмотрим следующие вопросы: ➡️ Что такое IP Agent и какие задачи закрывает ➡️Архитектура: RAG-пайплайн, эмбеддинги, реранкер, агентный поиск (как это работает в одном проекте) ➡️ Какие LLM лучше справляются с юридическими задачами, а какие сильно галлюцинируют — по результатам реальных тестов ➡️ Что даёт агентный RAG по сравнению с линейным пайплайном ➡️ Современные возможности LLM в праве и ответы на ваши вопросы 🎚 Участие бесплатное по ссылке

Провел онлайн-лекцию в Томском государственном университете для студентов программы «Специалист по цифровой трансформации юридической деятельности» Рассказал, как устроен процесс вайбкодинга, с чего начать, и на примере своего проекта показал архитектуру, стек и инструменты. По результатам получил 87 заполненных форм обратной связи. Студенты сделали 207 запросов к боту как на основе реальных, так и смоделированных ситуаций и оценили его работу по трём критериям: 🔵точность ссылок - 4,29 из 5, 🔵обоснованность вилки - 4,28 из 5, 🔵практическая полезность - 4,69 из 5. Важными оказались не только оценки студентов, но и их рекомендации по улучшению проекта: ➡️Увеличить количество дел в базе (всё никак руки не дойдут); ➡️Ввести режим краткого и развёрнутого ответа - полная версия многим кажется перегруженной; ➡️Улучшить формат ответа: выделить жирным ключевое, разбить на понятные блоки; ➡️ Улучшить логику уточняющих вопросов - бот теряет контекст судебной практики, на которую сам ссылается в первом ответе. Были и ошибки, бот иногда ссылается на дела, которые не относятся к ситуации, или даёт неточные расчёты. Это видно и по оценкам - точность ссылок получила самый низкий балл из трёх критериев. Есть над чем работать. Судя по объёму и стилю обратной связи, некоторые студенты проверяли ответы бота через другую нейросеть. Содержание ожидаемое - «бот ссылается на несуществующую ст. 1252.1 ГК РФ», «на несуществующий повышающий коэффициент в п. 2 ст. 1301 ГК РФ» и что «применение редакции 2026 года - анахронизм». Насколько мы знаем, это далеко не так😁 Вывод простой: ответы любой нейросети, включая мой бот, нужно проверять, прежде чем доверять "на слово". Но проверять нужно по источнику (текст закона, карточка дела), а не прогоном через другую LLM. Спасибо Татьяне Трубниковой и студентам НИ ТГУ за возможность рассказать о вайбкодинге как современном навыке юриста и поделиться опытом построения своего проекта.