Градиентное погружение
описание
Обсуждаем новости, рассказываем про ML с кодом и колабом, выигрываем соревы 🏆 Контакты: @Cene655, @Cucu_LaPraline
4 240
подписчиков
Охват к подписчикам
180,8%
ERR
Реакции к просмотрам
0,34%
515 на 20 постов
Пересылки к просмотрам
1,10%
1 694
Постов в день
0,0
всего 20
Где отзываются чаще
доля реакций к просмотрам- 6 окт. 2023 г.🏅А кто сегодня молодец и взял Trending paper на Hugging Face, обогнав Google DeepMind и Carnegie Mellon? Правильный ответ: статья про нашу модель Kandinsky, которую мы выложили на arxiv. ⚡А среди отметивших статью Julien Chaumond (CTO Hugging Face) и Patrick von Platten (Team lead Diffusers)! Со вторым мы активно сотрудничаем по внедрению модели в их самый крупный фреймворк генеративных моделей diffusers (18.2k⭐ на GitHub). Ссылка на hf P.S. Trending paper — лучшая статья дня в одном из крупнейших мировых комьюнити исследователей и ML разработок Hugging Face. @complete_ai1,21%
- 7 авг. 2023 г.Fonetika 👉Библиотека позволяет представить варианты написания одного слова как последовательность букв и цифр, может измерять расстояние между фонемами. корован -> 3090208 караван -> 3090208 К0р0ван -> 3090208 километр -> 30708049 кoрован -> 3090208 (первая 'o' - латиница) 🔥Кейс - проверка никнейма на запрещенные слова @data_morning Github0,95%
- 8 авг. 2023 г.Офигенно! Документирование чуть ли не построчно :3 This is a collection of simple PyTorch implementations of neural networks and related algorithms. These implementations are documented with explanations, and the website renders these as side-by-side formatted notes. We believe these would help you understand these algorithms better. https://nn.labml.ai/?_gl=1*1l3fv1n*_ga*NDc0MzgxMjA0LjE2OTE1MDI4ODU.*_ga_PDCL9PHMHT*MTY5MTUwMjg4NC4xLjEuMTY5MTUwMjkxMi4wLjAuMA..0,74%
- 8 авг. 2023 г.Классический мл больше не будет прежним, или как Яндекс сами запускают вместо градиентного бустинга в каждый дом млщика –трансформер 😮 Наверняка многие экспериментировали при анализе табличных данных с помощью трансформера, а потом ходили в непонятках, почему же все таки CatBoost срабатывает лучше, так вот, теперь это в прошлом. Появился TabR (retrieval для табличных данных), который на бенчмарках бьет град бустинг (логично, иначе статьи бы не было) 🤨 Итак, поверхностно весь секрет в том, что ребята не просто натравливают retrieval, а [энкодят –> на каждую фичу подбирают ближайшего соседа по симилярити –> конкатят с исходным энкодингом –> делают предикт] (см вложения) все, расходимся, чуваки по-умному заюзали идею Кончено, там очень много деталий в ресерче, про которые хотелось бы упомянуть. (Во вложениях таблица с каждым пунктом, и что он дал на eval) А) В value модуль аттеншена добавили таргет labels B) Имперически доказали, что тут расстояние симилярити надо измерять L2 расстоянием, и отказались от query матрицы соответственно C) вместо KNN для ближайших соседей взяли DNNR, который содержит поправочный член, которые по сути является производной D) применили cross attention и убрали скейлинг на размерность матрицы K в формуле внимания Метрики на бенче GBDT во вложениях 🖥 код0,66%
- 14 сент. 2023 г.Longformer-tiny для русского языка Друг скрестил Longformer и BERT-tiny, получив крошечную модель с контекстом в 16к токенов. Детали танцев с бубном и обучения есть на хабре. А картинку нарисовала моя сестра ☺️ Хабр, Huggingface0,58%
- 12 авг. 2023 г.Умеете обучать модели и поднимать API, но не понимаете, что происходит за пределами этих процессов? Никто не знал о GPT, пока она была просто ML-моделью без публично доступного API и продакшена, отмасштабированного на миллионы пользователей, теперь известного всем как ChatGPT. Любой, даже самый минимальный жизнеспособный продукт при таких масштабах будет содержать как ML-компоненты, так и микросервисы, базы данных, подсистемы поиска, логирования, аналитики и многого другого. Научиться проектировать такую архитектуру можно на курсе System Design от Валерия Бабушкина, Vice President, Data Science в Blockchainꓸcom. Здесь вы поработаете над реальными проектами сервиса такси, приложения для знакомств и другими системами, а также познакомитесь с типичной структурой дизайн-собеседований в Big Tech. Всего за 4 недели вы научитесь собирать требования, оценивать нагрузку, выбирать подходящие СУБД, масштабировать системы и повышать их надежность и отзывчивость, а также выделять и последовательно проектировать подсистемы для хранения данных, поиска и аналитики как своими силами, так и с помощью готовых продуктов. Новый поток стартует 14 августа! Ждём вас! [Зарегистрироваться]0,50%
- 28 авг. 2023 г.Релиз новой версии AutoChar! Версия 0.9 стучится в ваши двери с новыми функциями, исправлениями ошибок и обновлённым интерфейсом. Спасибо большому сообществу за сообщения о багах и предложенные решения! https://civitai.com/models/95923 https://github.com/alexv0iceh/AutoChar ### Новые функции: • Добавлена полная поддержка Dynamic Prompts! Наслаждайтесь полностью автоматическим улучшением всех ваших рандомизированных генераций • Добавлен SD Upscale по умолчанию вместо базового Image2Image. Значительно более высокая детализация и резкость + выбор вашего любимого апскейлера • Lower LoRA: новая мера для предотвращения выгорания лиц при использовании сильных или нескольких LoRA. Включено по умолчанию • Только одно лицо: инпеинт только самого большого лица при генерации, больше никаких неожиданных ужасов на подмышках и груди, также помогает при работе с толпами на заднем плане. Включено по умолчанию • Теперь только первая и последняя генерации каждого цикла будут по умолчанию сохраняться в выходную папку Txt2img. Все остальные шаги будут сохраняться в папке Img2img ### Исправления ошибок и т.д: • Исправлена критическая ошибка OpenCV. Добавлена автоматическая проверка наличия последней версии • Исправлена ошибка с тем, что LoRA не передается на шаг Inpaint. • Обновлена версия YuNet для улучшения распознавания лиц • Переработан и улучшен пользовательский интерфейс • Опции Inpaint лица и глаз включены по умолчанию ### Грядущая версия 1.0: • Релиз в виде полноценного расширения • Полная поддержка Img2Img • Интеграция ControlNet для всех шагов алгоритма • Больше параметров для опытных пользователей0,40%
- 3 февр. 2025 г.Инженер LLM (Оптимизация и RL Alignment) Стартап в области безопасности ИИ Чем предстоит заниматься: Дообучение и Оценка Sota llm, аттаки на blackbox модели Улучшение RL для аттак на модели, настройки моделей (PPO, RLHF, стабильность обучения). Бенчмаркинг и оценка качества моделей (ELO-метрики, alignment). Оптимизация инференса (vLLM, SGLang, TRT). Требования: Опыт работы с LLM (архитектуры, RL, alignment). Знание PyTorch/JAX. Реальная практика с RL методами (DPO, RLHF — плюс). Опыт с системами инференса (vLLM, kuber, docker). Публикации в NeurIPS/ICML/ICLR и др. — сильный плюс. Преимущество: Экспертиза в байесовской оптимизации, эволюционных алгоритмах, гиперпараметрическом поиске, автоматической оптимизации промптов. Условия: Зарплата: 80K–130K usd + опционы. Релокация в Париж🥐, полная занятость. Работа с передовым стеком (AI research, model alignment). Отклик: https://forms.gle/z45WwdBTRHrd8inM90,34%
- 23 сент. 2023 г.Сморите что нашел 👉DragDiffusion - модель, способная редактировать изображения на основе точек, заданных юзером. Есть примеры использования, руководство по настройке и запуску модели. @data_morning github примеры0,28%
- 12 июл. 2023 г.Сегодня будут колабы с лорой на канди2.2)0,27%
- 15 окт. 2023 г.🧹Scrapper Инструмент для парсинга страниц с JS. Работает в докере, можно обращаться по апи, сложнее детектируется как бот, может парсить в режиме просмотра (только текст), может использовать прокси и многое другое. @data_morning Github0,24%
- 6 окт. 2023 г.Всем привет, мы строили строили и наконец построили! Первая супер-библиотека по spelling corruption SAGE. Работа была не простой, вместе с ребятами из команды AGI NLP- мои герои снова: @alenusch, @qwertysobaka, @go_bobert. мы сделали оч крутой инструмент. Он позволяет атаковать тексты при помощи добавления опечаток, перестановок и пр., а также делать обратное - фиксить их. Интересно? Го читать на хабр! https://habr.com/ru/companies/sberdevices/articles/763932/ Наша библиотека SAGE: https://github.com/ai-forever/sage AI-service в Клауде: https://cloud.ru/ru/datahub/generative-spell-checking0,24%