Ninix LT

https://youtu.be/pZCggogEeeU?si=hp0OLjX5QY_p3jgL Всем смотреть!

⚙️МЕХАНИЧЕСКИЕ УЗЫ⚙️ №8 Странный сон【Чёткий план】| Сюжетный Летсплей 🔥 Премьера 17 июля в 15:00 по МСК ✨ Lotus Team | #серия

https://www.twitch.tv/ninix_s

хмммммм

Devlog #4 🤓 NICE GUYS! I did it! 😎 What was done: 1. Recorded almost 1200 audio clips (for syllables, under syllables and full word spells) —————————————————————————————————————————————— | Syllables: e, fi, las, len, lu, mi, ne, ra, rin, tha, to, va | Under syllables: e_lu_ne, fi_ra, mi_ra, tha_las, to_rin, va_len | Full word Spells: Elune Mira (e_lu_ne_mi_ra), Fira Thalas (fi_ra_tha_las), Torin Valen (to_rin_va_len) —————————————————————————————————————————————— 2. The structure of "CTC" has been improved, since before half of the full spell worked, the "second word from the spell itself" was lost Before: My AI model often heard pieces of spells (syllables), but the spells broke val seq_acc ≈ 66% — to what extent does a model without magic grammar correctly produce syllables spell_acc ≈ 29% — how correctly and correctly the entire system "model + spell grammar decoder" pronounces the spell (CTC) After: My AI model + decoder almost always collects entire spells val seq_acc = 83% — to what extent does a model without magic grammar correctly produce syllables spell_acc = 99.2% — how correctly and correctly the entire system "model + spell grammar decoder" pronounces the spell (CTC) 3. There are also errors that: - the system is slow because it does not clear unnecessary past syllables, but I will fix this with a special system “branch for spells and syllables” - if I say something not related to spells, then the AI model can sometimes think that I am saying some kind of spell and trigger it, but I will fix this with a new "branch" system 4. I want to achieve 90%-99% results for the entire system (my AI model), not just spells (later!!!) 5. Regarding spells with 5 syllables, at the moment my AI model recognizes “4 syllables” well, sometimes it gets confused by 5, but soon I’ll finish training my model and it will be very good Devlog #4 🤓 (ru version) Найс ребята! Я это сделал! 😎 Что было сделано: 1. Записано почти 1200 аудиоклипов (слоги, под-слоги и полные звучание самих заклинаний) —————————————————————————————————————————————— | Syllables: e, fi, las, len, lu, mi, ne, ra, rin, tha, to, va | Under syllables: e_lu_ne, fi_ra, mi_ra, tha_las, to_rin, va_len | Full word Spells: Elune Mira (e_lu_ne_mi_ra), Fira Thalas (fi_ra_tha_las), Torin Valen (to_rin_va_len) —————————————————————————————————————————————— 2. Улучшил структуру "СТС", так как до этого у меня срабатывало первая половина "первое слово от самого заклинания" заклинаний, "второе слово из самого заклинания" тупо терялось ДО: Моя ИИ модель часто слышала фрагменты (слоги) заклинаний, но заклинания ломались, так как слышали только первую часть самого заклинания Статистика "ДО": val seq_acc ≈ 66% — насколько моя ИИ модель правильно выдаёт слоги без магической грамматики spell_acc ≈ 29% — насколько правильно и корректно произносит заклинания моя ИИ модель + система дешифратора грамматики заклинания (CTC) ПОСЛЕ: Моя ИИ модель + декодер почти всегда собирает заклинания целиком (99.2%) стало!!! Статистка "ПОСЛЕ": val seq_acc = 83% — насколько моя ИИ модель правильно выдаёт слоги без магической грамматики spell_acc = 99.2% — насколько правильно и корректно произносит заклинания моя ИИ модель + система дешифратора грамматики заклинания (CTC) 3. Также есть баги, которые: - Система тормозит, так как не очищает ненужные прошлые слоги, но исправлю я новой специальной системой — "ветки для заклинаний и слогов" - Если я говорю что-то не связанное с заклинаниями, то моя ИИ модель иногда думает о том, что я говорю какое-то заклинание и активировать его "заклинание", но я это исправлю новой системой "веток" 4. Я хочу добиться 90%-99% результата всей системы (моей ИИ модели), а не только срабатываний самих заклинаний (скоро) (83% -> 90%-99%) 5. По поводу заклинаний из 5 слогов, на данный момент моя ИИ модель хорошо распознаёт "4 слога", на 5 иногда теряется, но скоро я доучу свою модель и будет чики пуки

Devlog #3 😤 KWS vs CTC Today I'd like to talk about these two approaches to syllable recognition. In short: KWS is an approach where an AI model recognizes pre-defined sound fragments (syllables) CTC is an approach where an AI model can recognize an entire sequence of syllables from a continuous audio stream. Actually, I used KWS mainly to understand how the pipeline works: Voice detection -> recording -> processing -> recognizing a specific syllable/"sound fragment" During testing, it became clear that it recognizes "syllables," but storing the first syllable in memory and then waiting for the next signal to receive the second syllable to form a sequence is simply not feasible. And since having a sequence of syllables is exactly what I need, CTC will help me with that =) 👻 Devlog #3 😤 (ru version) KWS vs CTC Сегодня я бы хотел поговорить про эти два типа подхода для распознания слогов, если кратко: KWS — это подход, при котором ИИ модель распознаёт уже заранее известные звуковые фрагменты (слоги) CTC — это подход, при котором ИИ модель может распознавать уже целую последовательность слогов из непрерывного аудиопотока Вообще KWS я использовал как раз для того, чтобы понять как работает: Детект голоса -> запись -> обработка -> распознание данного слога "звукового фрагмента" На тестах было видно и понятно, что "Слоги" оно распознаёт, но вот сохранять первый слог в память, а потом ждать следующий сигнал для получения второго слога, чтобы получилась некая последовательность слогов он не мог, а мне как раз очень важно, чтобы была последовательность слогов и в этом мне поможет CTC =) 👻

Devlog #1 🤔 Training my custom AI model for voice detection 📞

Watch ninix_s with me on Twitch! https://www.twitch.tv/ninix_s?sr=a

Серия снята, на монтаже wow

Скоро, скоро серия wow