tgindex

Логово Сола

описание

Личный блог @solkogan

3 531
подписчиков
Охват к подписчикам
8,7%
ERR
Реакции к просмотрам
0,51%
38 на 22 постов
Пересылки к просмотрам
0,90%
67
Постов в день
0,3
всего 22

Где отзываются чаще

доля реакций к просмотрам
  • 6 июл.Школы награждают за правильные ответы, а не за умение спрашивать, хотя в мире, где ИИ мгновенно выдает информацию, ценным навыком становится способность сформулировать оригинальный вопрос. (с хабра стащил, понравилось)2,10%
  • 24 июл.Языковая система мозга и механизмы абстрактного мышления работают независимо друг от друга, выяснили нейробиологи из Массачусетского технологического института. Люди с тяжёлыми речевыми нарушениями после инсульта справлялись с задачами на поиск правил и закономерностей не хуже здоровых участников. С помощью фМРТ учёные подтвердили, что языковые центры мозга не активируются во время логических рассуждений — за это отвечают другие системы, пишет портал Хайтек.1,69%
  • 27 июл.без подписи1,47%
  • 8 авг.Полезные проги в виде обычных Html файлов0,88%
  • 18 июл.без подписи0,79%
  • 14 авг.https://huggingface.co/unsloth/Qwen3.8-27B-GGUF0,74%
  • 17 июл.ВЫБОР LLM ДЛЯ ОСИНТ #процессы Выбор LLM для разведки - это всегда компромисс между точностью фактов, возможностью обрабатывать большие объёмы разнородных данных и доступными вычислительными ресурсами. Ниже я постарался собрать и поверхностно обозреть конкретные модели, которые прошли проверку на на тех задачах, которые я давал моделям в конкретных кейсах (когда было время на перепроверку) - от извлечения сущностей из утёкших баз до анализа видео с камер наблюдения. Безусловно, эта статья будет максимально субъективной и основываться только на личных впечатлениях, и если у вас есть свой опыт - с удовольствием обсудил бы это в комментариях. От каких критериев мы будем отталкиваться в выборе: 🔻 Контекстное окно - не менее 32 000 токенов; для работы с много килобайтными логами или досье желательно 128 000. 🔻 Мультимодальность - нужна, если в материалах есть изображения, скриншоты, записи разговоров или видео. 🔻 Точность структурирования - способность выдавать строгий JSON или таблицы без лишних слов, критично для автоматизации. 🔻 Уровень галлюцинаций - в разведке неприемлемо, когда модель додумывает факты. Проверялось на контрольных выборках с ручной разметкой. 🔻 Железо - работа без интернета, на локальном сервере или ноутбуке аналитика. 📑 Начнем нашу подборку с универсальных и тяжелых моделей для глубокого анализа текста. Ибо, когда нужно просеять гигабайты переписки, извлечь все упоминания имён, телефонов, криптокошельков и представить результат в структурированном виде и логическими выводами, нет альтернативы моделям уровня 70 миллиардов параметров. И две из них выделяются на фоне остальных. 💻 Llama 3.1 70B Instruct (128К контекст, только текст). На корпусе из 10 000 строк слитого чата модель извлекла 99% телефонных номеров и 97% уникальных имён, не сгенерировав ни одного несуществующего контакта. Встроенный function calling позволяет сразу передавать результаты в системы учета инцидентов. Минус — слабая поддержка языков, кроме английского. Для русского, арабского или китайского приходится настраивать постобработку. Работает быстро на двух RTX 3090/4090 в режиме квантования Q4_K_M (48 ГБ VRAM), либо на Mac Studio M2 Ultra со 192 ГБ объединённой памяти. 💻 Qwen2.5 72B Instruct (128К контекст, только текст). Если материалы содержат несколько языков одновременно, эта модель показывает лучшие результаты. На смешанных русско-украинско-английских досье точность извлечения фактов составила 96%, а галлюцинации — около 2%. Генерирует чистый JSON без обрамляющих фраз, что упрощает интеграцию с парсерами. Требует столько же памяти, что и Llama 3.1 🖼 Но в реальной работе мы же редко ограничиваемся только текстом. Скриншоты переписок, фото местности, кадры с камер - всё это требует нативного понимания визуальной информации. 💻 Llama 3.2 11B Vision Instruct (128К контекст, изображения). Оптимальный баланс между качеством и требованиями к железу. На тестовой выборке скриншотов из мессенджеров правильно распознала 94% адресов, номеров карт и паролей. Работает на видеокартах уровня RTX 3060 с 8-12 ГБ VRAM (квант Q4_K_M). Основной недостаток - не умеет обрабатывать звук и видео, но для статичных изображений я бы назвал это одним из основных инструментов. 💻 Qwen2-VL 7B Instruct (128К контекст, изображения и видео до 20 минут). Незаменима при анализе записей с камер наблюдения. Модель отслеживает временную динамику: фиксирует ключевые кадры, описывает последовательность событий, распознаёт номера машин и лица. В тесте на 10-минутном ролике митинга извлекла все лозунги с точностью 95%. Требует RTX 3060 12 ГБ. Из ограничений - на длинных роликах может пропускать мелкие детали. 💻 MiniCPM-V 2.6 (8B) (64К контекст, изображения и видео). Когда задачи скромнее — например, нужно быстро рассортировать сотни фотографий по наличию определённых объектов или документов. Работает даже на 8 ГБ VRAM, при этом корректно вырезает таблицы и области с текстом. Глубокие логические выводы от неё ожидать не стоит, но для полевой сортировки улик - идеально. 🎙 Продолжим анализом аудиоматериалов. Прямой обработки звука внутри LLM пока нет, но есть связка, которая может решить эту задачу. 💻 Whisper large-v3 Не совсем языковая модель в привычном смысле, а система распознавания речи. На чистых записях даёт менее 5% ошибок по словам для русского языка. Транскрипция затем подаётся в текстовую LLM для извлечения смысла. Работает на RTX 3060 (8-12 ГБ), либо медленно на CPU. 💻 Qwen-Audio-Chat (7B) Дополняет Whisper анализом интонаций, эмоций и звуков окружения. На русскоязычных звонках правильно определила угрожающий тон в 82% случаев. Ограничена длиной аудио до 30 секунд, поэтому для больших файлов используется каскад: сначала транскрипция, затем тональный анализ коротких фрагментов. Требует 12 ГБ VRAM. Ну и в конце этой подборки хочется отметить модель для полевой работы. У меня в качестве карманного компьютера вот уже несколько месяцев трясется в сумке микро ноутбук GPD microPC 2 на Intel i3-n300 с 16Гб оперативки. И несмотря на свои более чем скромные параметры llm-ка Phi-3.5-vision-instruct (4.2B) (128К контекст, изображения) чувствует себя достаточно бодро. Запускается без дискретной видеокарты, используя OpenVINO на интегрированной графике Intel Iris. Качество OCR сопоставимо с 7B-моделями, но для сложных многоходовых рассуждений не годится, а вот в полевых условиях быстро прочитать документ или проверить фото - самое то. Успехов в работе! :)0,54%
  • 30 июн.без подписи0,30%
  • 28 июн.https://localllm.sergeydolgov.ai/0,30%
  • 26 июл.Библиотека онлайн-инструментов в одной вкладке браузера BrowseryTools — набор из 136 инструментов для повседневных задач: обработка изображений, AI, файлы, медиа и видео, текст и языки, данные и конвертация, математика и финансы, продуктивность, разработка, дизайн, безопасность. Инструменты на все случаи жизни: от удаления фона и сжатия PDF до расшифровки аудио и генерации QR-кодов. От распознавания текста со сканов и до конвертации любых форматов. И что важно для тех, кто не готов отдавать свои данные на сторону и хранит жесткий диск под подушкой — обработка данных происходит локально в браузере: файлы не загружаются на сторонние серверы. Не всё работает идеально, зато всё в одном месте, без регистрации и без установки. А некоторые инструменты доступны и вовсе без интернета, что особенно актуально в наши непростые времена. #сервисы #нейросети0,28%
  • 17 июл.27-миллиардная нейросеть впервые запустилась прямо на смартфоне Стартап PrismML представил Bonsai 27B — первую модель такого размера, которая помещается в память телефона. Благодаря новому способу сжатия её удалось уменьшить с десятков гигабайт до 3,9 ГБ, сохранив большую часть возможностей оригинала. 🟠 Версия 1-bit Bonsai 27B весит всего 3,9 ГБ и работает на iPhone 17 Pro 🟠 Ternary Bonsai 27B занимает 5,9 ГБ и запускается на обычном ноутбуке 🟠 Сохраняет до 95% качества исходной модели 🟠 Понимает изображения, документы и скриншоты 🟠 Контекст — 262 тысячи токенов, скорость до 87 токенов/с на iPhone 🟠 Веса опубликованы по лицензии Apache 2.0 Главная новость здесь не столько в размере модели, сколько в том, что мощный локальный ИИ становится реальностью для смартфонов. Bonsai 27B рассчитана на агентные сценарии с сотнями последовательных действий, а все вычисления происходят прямо на устройстве. Это означает нулевую стоимость каждого шага после загрузки модели и то, что личные файлы, документы и содержимое экрана не покидают телефон. #prismml #bonsai27b 👉🏻ИИ-Новости | Нейросети | Модели (самые свежие обновления нейронок) Шайтан-Машины в MAX | во ВКонтакте0,21%
  • 29 июн.А Вот список0,15%