Local Ai

💬 Orchestris - бесплатный кроссплатформенный клиент для моделей и API с открытым исходным кодом, а также бесплатный сервер для самостоятельного размещения, рассчитанный на 8 пользователей. Orchestris состоит из двух частей: 1) Клиент - Клиент — это быстрая нативная программа, доступная на всех платформах, включая веб. По сути, она мало чем отличается от других чат-клиентов, но при подключении к серверу вам автоматически предоставляется доступ ко всем настроенным для вас моделям, в том числе с открытым или закрытым весом. При подключении к серверу она поддерживает поиск и позволяет создавать API-ключи для ваших агентов. Клиент также поддерживает прямое подключение к моделям через API, подключение к серверу не требуется. - Версии клиента для Apple App Store и Google Play были отправлены на одобрение в прошлую пятницу, так что, надеюсь, они скоро станут доступны. На данный момент доступны настольные версии, а сервер CE включает в себя веб-клиент. 2) Сервер По сути, это очень быстрый прокси-сервер, написанный на языке Rust. Однако это не просто прокси-сервер: он позволяет организациям настраивать доступ к моделям для пользователей, отслеживать использование, контролировать расходы и работать с агентами. 🔗 https://github.com/Orchestris-Inc/orchestris (Обсуждение) #Orchestris #AiChat #AiServer #LocalAi #AiLocal

📖 Интересный пост про Apple Silicon Inference 🔗 https://www.reddit.com/r/LocalLLaMA/comments/1vphr8u/sota_apple_silicon_inference_august_15_2026/ #AppleSilicon #vllmmetal #vllm #mlxlm #MTP #DFlash #MLX #oMLX #MTPLX #LocalAi #AiLocal

🤖 Zero — опенсорсный терминальный агент на замену Claude Code Работает локально, прямо в терминале. Подключаешь любую модель: OpenAI, Anthropic, Gemini, DeepSeek, OpenRouter или локальную через Ollama. 💻 Агент анализирует репозиторий, редактирует файлы, выполняет команды и управляет браузером. Опасные действия требуют подтверждения и выполняются в песочнице. История сессий хранится локально. Поддерживает MCP, плагины и кастомные скиллы. 🔗 https://github.com/gitlawb/zero #Zero #AiAgent #AgentAi #LocalAi #AiLocal

ℹ Модель: Nemotron 3.5 Lightning — модель для ИИ-агентов NVIDIA выпустила открытую модель на 30 млрд параметров, из которых активно работают только 3 млрд. Благодаря этому генерация текста идёт в четыре раза быстрее, чем у моделей похожего размера. В бенчмарке PinchBench модель показала точность 86% и выполнила 10 000 задач на 35% быстрее Qwen3.6 35B при сопоставимой точности. Модель можно дообучить на своих данных и инструментах, она достаточно компактна для запуска на DGX Spark. Вместе с моделью NVIDIA открыла библиотеку NeMo Switchyard — она распределяет задачи агента между разными моделями. Сложные рассуждения можно отдать продвинутым моделям, а массовое выполнение — быстрой Lightning. NVIDIA опубликовала веса, данные и рецепты обучения. В тестах самой NVIDIA новинка уступила Qwen3.6 и Gemma 4. Недавно представленная Muse Glimmer, которая идёт примерно на уровне Qwen, тоже выглядит сильнее. Зато козырь Lightning это скорость: на большой очереди типовых задач она справилась с работой на 30% быстрее Qwen при сопоставимом качестве. Веса модели занимают около 20 ГБ. В OpenCode модель сейчас доступна бесплатно. 🔗 https://github.com/NVIDIA-NeMo/Switchyard 🔗 https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 #Nemotron35Lightning #Nemotron35 #Nemotron #AiModel #ModelAi #LocalAi #AiLocal

ℹ Модель: Pestle-27B-Ternary медицинского назначения! Pestle-27B-Ternary — это компактная модель 27B медицинского назначения и общего применения для локального логического вывода. В этом релизе частные медицинские системы контроля качества, работы с биомедицинскими доказательствами, поиска фармацевтической информации, кодирования и общей поддержки объединены в одну работающую модель GGUF. (Базовая модель Qwen/Qwen3.6-27B) Основные возможности: - Полная модель класса 27B в одном 8,48 ГБ GGUF. - Высокая эффективность в области медицинских знаний, биомедицинского контроля качества и поиска фармацевтической информации. - Работает локально с Mortar на Apple Silicon, NVIDIA CUDA и с резервным процессором. - Генерация текста, шаблоны чатов с поддержкой инструментов и опциональный визуальный ввод. - Лицензия Apache 2.0. 🔗 https://huggingface.co/Doses-AI/Pestle-27B-Ternary-GGUF (Обсуждение) #Pestle27BTernary #Qwen3627B #AiMedical #MedicalAi #AiModel #ModelAi #LocalAi #AiLocal

💡 Qwen3.8-27B теперь работает в ~ 3 раза быстрее на Apple Silicon с mlx-dspark mlx-dspark - это MLX-порт составителей спекулятивного декодирования DSpark от DeepSeek (выпуск DeepSpec), а также DFlash от z-lab с одним циклом проверки без потерь. Подробнее и Обсуждение Репозиторий: github.com/ARahim3/mlx-dspark (для Gemma-4, Qwen3, Muse-Glimmer, Ornith-1.0, Qwen3.6, Qwen3.8, Nemotron и Bonsai ) ✔️ Meta's Muse Glimmer 30B теперь работает в ~ 3,3 раза быстрее на Mac с mlx-dspark ⬇️ Скачать для MacOS: mlx-dspark-0.3.0.dmg #Qwen3827B #Qwen38 #MLX #DSpark #mlxdspark #MacOS #AiModel #ModelAi #LocalAi #AiLocal

ℹ Модель: Qwen3.8 27B и heretic 💡 Qwen3.8 27B — новая самая мощная модель для локального запуска. Сильно улучшили работу с инструментами и визуальное мышление. По некоторым бенчмаркам, особенно в части агентности, сравнима с Claude Opus 4.6. В одном из тестов на агентное программирование результат вырос более чем втрое по сравнению с Qwen3.6-27B. По совокупности тестов новинка оказалась сильнее даже предыдущей облачной Qwen3.7-Plus. В отдельных задачах по программированию она показывает результаты выше Opus 4.6, хотя всё ещё уступает некогда флагману в сложных рассуждениях и работе с терминалом. 🔗 https://huggingface.co/Qwen/Qwen3.8-27B ➡️ Веса на Hugging Face. (Обсуждение) Облегчённая версия от Unsloth занимает около 17 ГБ: её можно запустить на Mac с Apple Silicon или видеокарте с 24 ГБ памяти. ⬇️ Кванты Unsloth: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF (Обсуждение) Base model: https://huggingface.co/mlx-community/Qwen3.8-27B-8bit MTP head 4-bit: https://huggingface.co/mlx-community/Qwen3.8-27B-MTP-4bit MTP head 8-bit: https://huggingface.co/mlx-community/Qwen3.8-27B-MTP-8bit 🙂 Версия без цензуры: Qwen3.8 27B heretic 🔗 https://huggingface.co/trohrbaugh/Qwen3.8-27B-heretic-ara (Обсуждение) #Qwen3827B #Qwen38 #heretic #uncensored #БезЦензуры #AiModel #ModelAi #LocalAi #AiLocal

Статья: Сколько VRAM нужно для Llama 70B и DeepSeek локально https://digital-razor.ru/media/articles/hardware/vram-llama-70b-deepseek-local/

ℹ Модель: MinMax Music 3 💽 MinMax выпустили открытый генератор музыки Music 3. 🔗 https://huggingface.co/MiniMaxAI/MiniMax-Music3 Создает песни до пяти минут, поддерживает русский и запускается локально даже на домашнем железе. Полная модель помещается в GPU с 24 ГБ VRAM, но запустится даже с 8 ГБ. ➡️ Можно попробовать бесплатно на Hugging Face. https://huggingface.co/spaces/MiniMaxAI/MiniMax-Music3 🎶 Демо: https://minimax-ai.github.io/music3-demo/ (Обсуждение) 📖 Пост: Запустил MiniMax-Music3 в качестве инструмента в Open-WebUI (RTX 3090, один графический процессор) #MinMaxMusic3 #MinMax #Music3 #AiSong #SongAi #AiModel #ModelAi #LocalAi #AiLocal

Статья: NVIDIA представили Nemotron 3.5 Lightning, быструю локальную модель https://habr.com/ru/news/1069528/

📊 Проанализировали DeepSeek V4 0731 и сравнили его с популярными квантами на 8 × RTX 5090 Исходя из этого анализа, лучшим по качеству для DeepSeek на 128Гб. оборудовании является AD-IQ2_M (104 ГБ) с 83,6% лучших результатов! От https://atomic.chat (Статья и Обсуждение) #DeepSeekV40731 #DeepSeekV4 #DSV4 #atomicChat #LocalAi #AiLocal

⚡️ Muse Glimmer 30B - Локальный запуск в браузере с пользовательскими ядрами WebGPU со скоростью ~25 токенов в секунду на M4 Max (та же скорость, что и у llama.cpp) Создана для автономной работы на потребительском оборудовании: многоэтапное логическое мышление, надежное использование инструментов, мультимодальное понимание и восстановление после сбоев — и все это в одной модели с объемом памяти 30 млрд нейронов, которая полностью работает на вашем компьютере. 🔗 https://huggingface.co/spaces/webml-community/muse-glimmer-webgpu-kernels (Обсуждение) #MuseGlimmer30B #MuseGlimmer #Muse #Glimmer #WebGPU #LocalAi #AiLocal

📺 Unsloth Desktop - Первое настольное приложение для запуска и обучения моделей искусственного интеллекта. С открытым исходным кодом. Бесплатное. 100% локальное. Это первое настольное приложение, которое позволяет запускать и обучать модели локально. С открытым исходным кодом. Доступно на Mac, Windows и Linux - Поддерживает MLX, модели изображений / видео diffusion, аудио модели и GGUF - Вы можете запустить MiniMax-H3, Muse Glimmer, soon Qwen 3.8 и т. Д - Подключите Claude Code и Codex к локальным LLM - Точность на 50% выше благодаря вызовам инструментов самовосстановления и изолированному выполнению кода - Поддерживает настройки ЦП и нескольких графических процессоров в NVIDIA, AMD, Intel и Mac - Обучайте модели в 2 раза быстрее при использовании на 70% меньше видеопамяти - Включает частный веб-поиск, глубокие исследования, RAG, MCP и экспорт (NVFP4, GGUF) - Используйте OpenAI-совместимый API Unsloth с OpenAI и антропными облачными моделями - Безопасное удаленное развертывание LLM и доступ к ним из любого места через Cloudflare HTTPS - Мы не собираем никакой телеметрии или данных. Unsloth Desktop теперь доступен на unsloth.ai и GitHub. GitHub: https://github.com/unslothai/unsloth Блог и руководство: https://unsloth.ai/docs/desktop 🔗 https://unsloth.ai (Обсуждение) #UnslothDesktop #unslothAi #Unsloth #Windows #MacOS #Linux #SoftAi #AiSoft #LocalAi #AiLocal