The ExtremeCode Times

Короче, модели до 9B параметров зажатые в любой Q4_* лучше в принципе обходить стороной, они пздц как сильно тупеют. Q8 на их фоне смотрится как гигамозг. Скажем спасибо, моей G0VNO методике оценок моделей. P.S. Тесты еще до сих пор гоняю 🫠 P.P.S. Всякие файнтюны квена, типа омникодера это плацебо. Мб для агентов он получше будет выполнять тул-колинг, но это не исчключает того факта, что сама модель крайне-тупая, и еще сильнее всех страдает при квантизации в 4-е бита.

Типичный Qwen, как эту помойку вообще можно локально использовать? 😄

Мда ёпта, 12 с копейками часов на 4B модельку и 6 млн слитых токенов на судейку. В бенче ровно 100 вопросов. В ходе предварительных тестов понял, что вообще нет никакого смысла гонять по базовым алгоритмическим вопросам. С этими задачами даже 4B модель зажатая до одного бита прекрасно справится, а если миксовать сложные и простые вопросы, то просто размоем результаты. В общем, зафигачил пока датасет с хардкорными задачками уровня мидл-сеньор по стеку JS/Nodejs/Express/React/Mongodb/Postgresql/Redis. И что вы мне сделаете? Я вообще-то G0VNO изобрел, на какой стек мозгов хватило, тот и гоняю. Помимо саммари, еще складирую все решения судейки отдельно, что б можно было посмотреть че там происходит. Конкретно у Qwen3.5 4B жОские проблемы со следованием инструкций, ну и естественно ей не хватает параметров P.S. По шкале вайб скор, модель должна хотя бы 60% в среднем набрать, в таком случае она с большей частью задач справилась, хоть и с небольшими, но терпимыми, косяками

Навайбкодено 😄 Осталось подождать 5 тысяч лет и потратить миллиард денег на прогоны всех тестов.

Ёпта, кажется моя методика оценки "G0VNO" квантованных моделей реально работает (но это не точно, пока только предварительные результаты без массового прогона). Чувствую себя поехавшим датасаентистом. Мне бля даже интересно стало, а какого хрена раньше до этого никто не додумался. Обычно дилер модельки фигачит в ридми результаты модели, которых она набирает в FP16 на сраных публичных бенчмарках. А вот то, насколько она деграднула после сжатия — как будто бы и насрать всем, а на самом деле результаты могут ПИЗДЕЦ КАК СИЛЬНО отличаться. Замер перплексии сам по себе хорош только для предварительной оценки, но не показывает реальной раскладки на настоящих задачах. Ща сижу думаю, как не разориться на токенах, думаю после предварительного прогона перплексии брать только 3 самых лучших модели, а остальных отсекать из-за тупорылости.

👉 Новое видео на канале: https://www.youtube.com/watch?v=y3EgOOfkir8 P.S. Ну и если я какой-то текст дочитываю до конца, то никогда не поленюсь поставить лайк и в комменте написать что-то типа: "Братан, хорош, давай, давай, вперёд! Контент в кайф, можно ещё? Вообще красавчик! Можно вот этого вот почаще?"

Аррряяя, ИИ убыточен и вообще пузырь. @@@ Выручка мелкомягких с клауда, срет вверх, как никогда раньше, чисто на ИИ. P.S. Скажу страшное, но вот компании, аля Amazon, годами не показывали прибыли, но при этом имели шизанутейшие обьемы выручки. Около десяти лет им понадобилось, чтобы понюхать впервые чистую прибыль. Чет как то это не помешало им это все вести операционную деятельность, да и инвесторы не переставали инвестировать меньше. Короче, думайте.

Всё ребята, всё. Джуны больше никому нужны. Зачем нанимать естественный интеллект, когда искусственный идиот делает все то же самое, но еще при этом и не выгорает. Работодатели теперь охотятся за спецами-фундаменталистами, способными писать эффективные алгоритмы, чисто двигая магнитиком по жесткому диску, имея при этом минимум 100 лет опыта. Конкурировать в этой среде за теплое местечко не просто, особенно в карьерном росте. Поэтому тебе позарез нужные любые преимущества. Например, можно закончить магистратуру. А поступить онлайн можно в Томский государственный университет, у них как раз есть множество направлений, связанных с АйТи. Ты можешь получить полноценное университетское образование, вкатиться в сообщество экспертов и единомышленников, да и формат позволяет совмещать обучение с основной работой. Преподавать тебе будут действующие эксперты и сотрудники топовых айти компаний. Короче, переходи по ссылке в описании, чтобы ознакомиться детальнее: http://clck.ru/3UyxMX Реклама. ФГАОУВО НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ, ИНН 7018012970

Рабочее название методологии GPU & 0-vibe Validation of Next-token Omega-quants G — GPU-hardware (Тест декодинга и префилла на потребительском железе) 0 — 0-vibe (Насколько модель мертва изнутри и способна следовать инструкциям) V — Validation (Валидация через LLM as Judge) N — Next-token (Перплексия и угадывание токенов) O — Omega-quant (Сравнение омежек с альфачом)

Короче, рассказываю почему производство видоса про сраный локальный нейрослоп затянулось. Изначально была крайне тупорылая задумка — вот у меня есть пачка видеокарт, давайте запускать на них ИИ, хихи-хаха. Какого-то практического опыта у меня естественно не было (да как походу блин и у 95% других ютуберов, которые снимают про это всякую шляпу и продолжают это делать бездарно, это не упрек, просто факт). Естественно, когда я начал разбираться с тем, как вообще это сделать, возникали вопросы. И чем глубже я погружался в тему, тем больше вопросиков возникало, некоторые из них даже могли показаться крайне тупорылыми. Но меня это реально волновало. Один из десятков таких вопросов — а как ваще оценивать модели относительно друг друга. Вот есть пачка файлов одной модели по разному квантованных, как вообще мне понять какая между ними разница? В итоге это все переросло в разработку собственной "гаражной" методологии оценки моделей по определенным ключевым параметрам. Да, конечно, она не сравнится с методами от навучных чуваков, которые придумывают их сидя на зарплатке, но это на порядок лучше чем "гыыы, давайте посмотрим на то, как 4B модель не сможет сделать дашборд на HTML". Ну и это задел на будущее, т.к. уже будет простая и устоявшаяся метода для оценок новых моделей. В общем, терпим и ждем.

ахахаха, спасибо пайпалу, за невероятные усилия по обслуживанию моего замороженного счета

Шел 3814-ый день погружения в локальный нейрослоп. Одебилел окончательно, начал строить домики из видеокарт, до самих бенчмарков пока не добрался. Эксперты из каментов, стоит ли помимо перплексии делать простой тест на задачках из своего датасета в формате "llm as a judge"? Ну типа, я думаю нахрена на это время тратить, если разница в качестве между одной и той же квантованной моделью будет не такая сильная. Вот между Q8 и Q4 есть видимая разница. А вот между различными версиями Q4 хз как проверять. Короче, сложна. UPD: В основании BC-250, про нее отдельный видос Слева RTX 2060 Справа RTX 3070 Сверху GTX 1050 На заднем фоне: Снизу CMP 90HX Сверху RTX 5070 Ti Компик имеет 32 гига DDR5 оперативки, которые я купил за 12 тысяч рублей. Зажопил лишнюю десятку на 64 гиг, так как в прошлом компе было 64 гиг DDR4 и я не знал чем ее забить 👽

Знаете, постоянно наблюдаю клоунов, которые вываливают как готовый контент - нейрослоп, а после того как им в каментах накидывают хейта, ОНИ НАЧИНАЮТСЯ РВАТЬСЯ. Типа "ой бля, ну ладно, ну это эксперимент был, буду делать раньше как вы хотите, по старому блять((99(". Чел, от тебя ждут, что ты будешь делать как раньше, лол. Если тебя спаслили на нейрослопе, то признайся. Чё ты жопой то крутишь?

Из-за того что я красноглазик, я не высыпаюсь. Особенно если на ночь гоняю литкод. Могу до 3-ёх ночи в чертогах разума байтики двигать вместо того чтобы плющить кукурузку. Фитнес-часы показывают удручающий уровень глубокого сна. Естественно на следующий день я просыпаюсь как вафля. Пробовал хавать мелатанин - нерабочее фуфлище. И тут я узнал Deep Pressure Stimulation, это когда одеялко на тебя правильно давит, что ты отключаешься с полупинка. Это если чё не псевдонаучная дичь уровня "правильно какать надо закинув ноги за шею" (исследования Ekholm 2020, Frontiers Psychiatry 2024). Попробовал утяжелённое одеяло Beauty Sleep (см. фото). И ляяяяяя, сначала подумал, что свет отключили, а оказалось я уже сплю. Айтишники, хотите спать? Есть два веса: 6 кг и 9 кг — подбирается под предпочтения и телосложение. В нем 11 слоев с микро-стеклянными гранулами, поэтому вес распределен равномерно, когда гранулы выстроились в рядочек и обнимают тебя своими маленькими микростеклянными ручками. В этом году Beauty Sleep празднует юбилей — им целых 10 лет! Бренд за такой внушительный срок зарекомендовал себя. А к юбилею бренд решил нас радовать, мой промокод ЭКСТРИМ будет давать на сайте самую большую скидку 15% на весь ассортимент.

А ChatGPT вообще оскорбился с десятков остроумных прозвищ

Короче, закинул свой сценарий в искусственного идиота, чтобы тот откритиковал и прожарил его. Все, пздц, придется вырезать 40% всего текста с тупорылыми шутейками(((99

Ага, конечно, запуститься то может и запустится, а вот стабильность работы не гарантирована 👽 Честно говоря, в ахуе с этого устоявшегося мифа о стабильности линупса на десктопе. Десктопный линупс и стабильность это антонимы.

В последнее время, в этих ваших интернетах, только и разговоров о том, что пузырь, раздутый ИИ, вот-вот лопнет, осталось совсем чуть-чуть и все сложится как карточный домик. В этом видео я вскрою неудобные нюансы, которые обломают надежды миллионов хомячков на схлопывание целого сектора АйТи. Используя собственную ЖЕЛЕЗНУЮ фин. модель. Так же взглянем на все это через призму "Иллюзии понимания" и хитрых аналитических приемов от одного вумного Ливанского деда. > Смотреть платно и с регистрацией Видео временно эксклюзивно только для подписчиков Boosty P.S. Предвосхищая вопросы, нет, не все видео теперь будут "временно эксклюзивными", только коротенькие в старом формате. Огроменные видосы, вроде того, что сейчас пилится про локальных нейроогрызков будут выходить все также на YouTube. Просто их производство занимает примерно в 24-32 раза больше времени.

Короче, у нас за более чем десятилетнюю карьеру клоунов в интернете сохранилось примерно сотня сценариев с ютуба, а так же больше тысячи рекламных постов в телеге. Эксперты в каментах, ставлю вам амбициозную задачу — спрогнозировать, че будет, если мы возьмем…

Короче, у нас за более чем десятилетнюю карьеру клоунов в интернете сохранилось примерно сотня сценариев с ютуба, а так же больше тысячи рекламных постов в телеге. Эксперты в каментах, ставлю вам амбициозную задачу — спрогнозировать, че будет, если мы возьмем какую-нибудь тупую модельку и сделаем на ее основе цифровой слепок сознания ехтримсоде. Ведь всегда приятно поболтать с кем-то таким же умным как ты. Че как лучше к решению задачки подойти, какую модельку брать за базовую, как подготовить данные (тупо простыню текста скидывать или мутить чето типа [инструкция -> вывод])? Я заколебался писать рекламу руками, хочу чтобы за меня делал это нейроехтримкод. А обычные модели не могут в достаточной степени подражать нашему стилю писанины.