АЛГОтрейдинг | ALKO трейдинг | CRYPDE | HFT

Когда мне это сказали первый раз - я такой да-ну-нахуй. А сейчас похоже что так оно и будет. Крипто-биржи превращаются в трейдинговые платформы на Real World Assets (RWA). То есть, все началось с крипты, а сейчас она нахуй никому не упала, потому что никто не трейдит и не задает движуху (ну кроме битка и топ-10 монеток). И биржи начали листить акции, а там движ задается из USA/EU, и он есть всегда, и юзеры потекли туда. В каком-то смысле криптобиржи приучили зумеров торговать, а потом откроют им дверь в покупку акций. Потому что до этого сделать ставку на акцию было ну прям геморно.

В коментах задали вопрос "это про btc или любое говно тоже", и я обещал ответить развернутее. Основная проблема фильтрации toxic flow заключается в следующем: - предположим на okx hk (он уже не в hk ну да ладно) возникает трейд buy, который пробивает стакана на 5 bps. - из-за этого происходит ТРИ параллельных процесса, которые по сути одно и тоже, но причины разные. процесс 1: Маркет-мейкеры которые стояли на okx - у них сработал fill sell, и они теперь бегут во все стороны хеджироваться. Кто-то на binance, кто-то на bybit. У большинства (не у всех, но у большинства) хеджирование это тупо market taker. То есть эти маркет-мейкеры берут и тейкают binance & bybit почти синхронно (binance через 18 ms, bybit через 15 ms). процесс 2: Маркет-мейкеры которые стояли на binance и смотрели на okx как на reference/fair/true price - понимают что okx поехал, значит ордера на binance надо переставлять тоже. Маркет-мейкеры которые стояли на bybit и смотрели на okx - тоже самое. Причем блин в такое же время: ммы binance'a поймут что пора снимать ордера через 18 ms, ммы bibit'a - черех 15 ms. процесс 3: toxic-flow арбитражники (и я среди них) - поймут что okx поехал и поэтому binance+bybit тоже поедет из-за причин 1+2. И я пытаюсь тейкнуть отставание на binance & bybit. Если обощить все эти процессы, то в один и тот же момент в binance и один и от же момент в bybit летит: - поток market taker от тех кто хеджируется - поток cancel orders от ммов - поток taker ioc от lead-lag арбитражников (это не тема этого поста, но takerов будет больше и они победят, поэтому надо слать N cancel чтобы уровнять вероятности) Вот такой он toxic flow. Но знаете где ключевая пройобка в этой схеме? Влияние не равномерное! - Нельзя сказать, что из-за того что okx поехал на 5 bps - то сейчас поедет bybit на 5 bps, и binance поедет тоже на 5 bps. Не поможет даже высчитать среднее влияние: типа при пробое okx на 5 bps - binance едет на 4 bps, а bybit на 10 bps в среднем. Не поможет даже посчитать хвост распределения, потому что хвост найдется тупо всегда. - влияние не равномерное потому что распределеление самих арбитражников не равномерное: не будет такого что одинаковое количество побежит на bybit, одинаковое на binance. Конечно taker ioc все исправляет и уравнивает, но для него нужно чтобы у всех были бесконечные даньги. = все это сильно усложняет модель: нельзя запомнить "пробой X -> влияние Y", потому что хер этот Y правильно посчитаешь. #trueprice #toxicflow

Еще немного расскажу про toxic flow и почему это жесть, и почему в итоге получается hawkes на стероидах. Есть два источника toxic flow - это tier1 биржи и tier2 биржи. Ниже упрощенные примеры. Механика toxic flow между tier1: - стоят себе маркет-мейкеры на okx в стакане. Вдруг прибежал пользователь и тейкнул маркет-ордером buy по стакану - и пробил его, цена поехала вверх. - у маркет-мейкеров в этот момент сработао SELL (они продали) - часть маркет-мейкеров побежали на binance чтобы откупиться (сделать buy), часть побежали на bybit. - в итоге после трейда на okx через 20 ms поедет binance, через 15 ms поедет bybit. - если кто-то в этот момент был маркет-мейкером на bybit и хеджировался на binance - то он получил fill на bybit, а за 5 ms до этого от него уже ушел binance тоже, хотя он этого не заметил. Это и есть toxic flow tier1. = ключевая особенность в том, что buy на одной бирже порождает buy на всех остальных. По минимально возможным latency. Механика toxic flow который исходит с tier2: - возьмем для примера биржу mexc (я бы не назвал ее tier2, ну да ладно) - она копирует стакан с bybit (по большей части), и делает это не супер эффективно - короче, в какой-то момент цена на binance подростает вверх резко, а mexc еще не успевает переставиться: потому что он смотрит на bybit. bybit поменяется через 32 ms, а потом mexc еще через 32. То есть у него отставание 64 ms. - и возникает lead-lag арбитраж: на mexc можно сделать buy, а на binance sell. - но, большинство арбитражников которые работают в связке с tier2 - туповатые: они кидают одновременно mexc buy + binance sell, а кто-то mexc buy + bybit sell. Одновременно. - то есть из-за того что отстал mexc - все увидели вилки mexc против всего остального. Кто-то против binance, кто-то против okx, кто-то против bybit. = в итоге появляется другой механизм toxic'a: mexc ВВЕРХ, а все остальное ВНИЗ по почти минимальным latency. Toxic от tier2 сложный. - Во-первых, сильно другой механизм возникновения: сначала tier1 механизм, а если не успели и уже перекосило - tier2 механизм. И это касается всех бирж: бывает так что все начинается с tier1-toxic, а потом возникает cross - и tier2 toxic. - Во-вторых, его тяжело детектить, потому что там нет четкой latency - она размазана: у кого-то есть быстрые линки, у кого-то нет. - В-третьих, его влияние огромное, в 2-3 больше событий чем от tier1. #toxicflow

Я в одном шаге чтобы отказаться от trueprice и фильтрации toxic flow полностью (но именно для maker'a). Та ну нахуй, 2+ года пилить trueprice и телеметрию, чтобы придумать сильно более простой механизм. Это больно принять: нужно чтобы моделька была адово сложная! Шо я зря мудохался? Объясню чуть проще: - механизм trueprice заставляет вас реагировать на опасные события с других бирж (всякие резкие палки) - второй механизм price tolerance говорит "если все поехало только на 1 bps" - то терпи и нихера не делай - третий механизм DCME (dynamic cross matching) говорит "не хеджируйся, не надо платить taker fee и проскальзывание" - реконструкции маркет-даты и race connections заставляют видеть маркет-дату быстрее и точнее. И комбо этих механизмов дают сильно больший PNL и отодвигают остроту trueprice. Правильная execution-архитектура снижает ценность prediction. Не верю, стопудов бажина где-то... #trueprice #toxicflow

Продолжаем про реконструкцию цены BBO & trades Я не помню писал я про это или нет, поиск по каналу ничего не дал, значит считаем что не писал. Есть три типа реконструкции цены: прямая, обратная и откусывание. --- 1. Прямая: до нее я додумался года три назад: если прилетает трейд у которого trade timestamp больше чем bbo timestamp который мы видели - то мы смело накладываем этот трейд и корректируем bbo; например, у нас было t1 = ask 101 bid 100 t2 = trade sell 99 то в этот момент t2 мы понимаем что bid 100 схавали - значит ask 101 bid 99 (или даже 98 в зависимости от аггресивности) --- 2. Обратная: а вот эта хуйня не так очевидна. t1 = ask 101 bid 100 t2 = trade sell 102 в момент t2 трейд sell 102 ВЫШЕ ask 100. А как такое может быть? Таким грешает тупо все биржи, потому что у них bbo выдается снапшотами. То есть между t1 и t2 реально уже был другой стакан. В этом случае обратная реконструкция приведет как минимум к ask 103 (или еще выше) и bid 102 (или еще ниже). Понимаете в чем жесть? Без трейда вы будете думать что стакан ask 101 bid 100, а трейд фейковый. Но на самом деле уже ask 103+, а bid 102-. Вот насколько точнее вы увидите цену из-за реконструкций. --- 3. Откусывание (nibbling): это спорный момент и не всегда такое можно реализовать, но вот пример: t1 = ask 100, size 10 t2 = trade buy 100 size 5 t2 = trade buy 100 size 4 t2 = trade buy 100 size 1 t2 = trade buy 101 size 6 ... В этом случве в момент t2 первые три трейда откусывают и полностью съедают ask 100, реконструкция приведет к ask 101 или больше. --- Цена которую выдает биржа - это гипотеза, а не факт. Привыкайте :) Ставьте лайки если хотите больше такой жести. #datastream #microstructure

Без реконструкции стакана по BBO & trades нихера не работает :) Я вот тут писал https://t.me/alko_trading/1604 что реконструкция все херит, но правда оказалась жесче: 1. Трейды действительно летят как попало и в каком попало порядке, и чтобы фильтровать toxic flow - их нельзя подмешивать в один поток с bbo. 2. Но если использовать какую-то биржу для hedger'a - то нужно видеть цену как можно точнее, и тогда надо подмешивать. 3. Пришлось пилить два режима работы datastream: с мержем всего в один поток ради hedger'a, и без мержа ради trueprice & toxic. Та блять, бесконечная дурка рефакторинга. #trueprice #toxicflow #datastream

ору

Наиболее близкий алгоритм trueprice который у меня получился - это Hawkes. И узнал я об этом после того как я допилил свой велосипед (в HFT все всегда концепт-велосипед на костылях и палках в канаве говна) В каком-то смысле мой trueprice это частный случай хавкеса, применимый к моим latency. В чем разница: хавкес говорит что вот есть событие на такой-то бирже (цена подросла и пофиг как: на трейдах или нет) - и это приведет к таким последствиями через 1 ms, через 2 ms, ... через N ms. Хавкес не отличает причину почему именно так. Мой тру прайс работает на трейдах (есть и другие события, но трейды - это 95% знания): случится buy trade на okx - это приведет к таким-то последствиям через fixed latency (именно моя latency которая у меня есть). Я конечно мог бы анализировать горизонт типа через 1 ms, 2 ms, N ms и получил бы чистый хавкес, но мне оно нах не надо. Если кто-то хочет заморочится в заумную литературу - добро пожаловать https://arxiv.org/abs/1301.1135 и https://arxiv.org/pdf/1301.1135v1 Кстати, по ссылке https://arxiv.org/abs/1301.1135v1 сказано что статья опубликована в 2013 году, но на самом деле правильная дата 27 Nov 2024 https://arxiv.org/pdf/1301.1135v1 - так что hawkes не настолько древняя хуйня. И я как раз тоже начал пилить похожий алгоритм в конце 2024. #trueprice

Звон стаканов (на а как еще автор канала алко трейдинг мог назвать пост?) Моя система хранения и анализа маркет даты всегда работала только с верхушкой стакана (bbo, best ask, best bid) и потоком трейдов. Но был задел на будущее: собирать весь стакан или его первые N уровней: протокол передачи данных это позволял. Но, оказалось что применительно к моей стратегии hft arb-mm это не имеет никакого смысла. И я сознательно отказался от сбора всего стакана и упростил протоколы. Проблемы три: Latency. Если bbo можно получать везде realtime или около-realtime, то весь стакан - нихуя. Почти все биржи дают задержку 10 .. 100 ms. А это вечность. Пропуски данных (дискретность). Осень часто стакан меняется батчами, то есть реально внутри было изменения, но ты видишь только результат. Book shock. Трейды позволяют прощупать стакан лучше самого стакана. Трейды realtime, и они как бы отражают как стакан прикалывается, и таким образом можно понять настоящую ликвидность которая не удирает в моменте, а это сильно точнее чем видеть всю ликвидность, которая сваливает при первом шоке. #datastream

Вопрос в чат который стал постом: В стат арб в крипте в целом очень интересная тема. Из-за особенностей (вероятнее всего, умственных) почему-то так сложилось, что BTC - главный индекс всего рынка. Из-за этого, все топы часто следуют за ним почти тик в тик. Просто корреляция может достигать до 0.9 на <5min окне. Это происходит не только из-за умственных способностей большинства трейдеров (хотя это тоже), а потому что для большинства монет есть пары GOVNO/USDT, GOVNO/BTC и BTC/USDT. И поэтому когда BTC двигается - возникает арбитражный треугольник даже в пределах этой биржи: BTC > USDT > GOVNO > BTC (или он же USDT > GOVNO > BTC > USDT что та же самая цепочка). Поэтому получается что BTC будет двигать все GOVNO и будет коеф корреляции близкий к единице. Уберите пары GOVNO/BTC - и корелляции не будет - но и GOVNO cходит на говно (то есть не будет дергаться вообще, а создателям GOVNO такой замес не интересен - вот все и привязываются к битку) 💩💩💩 #datastream #microstructure

Сегодня okx переедал из alibla-bla-bla HK в aws tokyo - и алилуя, маркет-дата стала поступать стабильнее! Upd: но дольше на 1 мс ахаха) #datastream

В фильтрации toxic flow есть один такой скользкий момент, который мне очень не нравится по своей сути - это непрерывная калибровка параметров. Ее можно делать по-разному: раз в день, постоянно через EMA, и т.д. Но сути это не меняет: нужно постоянно обучаться…

Памагити, спамеры заебали в край. Я поставил настройку запретить ссылки - но все равно твари лезут как-то.

github EU прилег отдохнуть

В фильтрации toxic flow есть один такой скользкий момент, который мне очень не нравится по своей сути - это непрерывная калибровка параметров. Ее можно делать по-разному: раз в день, постоянно через EMA, и т.д. Но сути это не меняет: нужно постоянно обучаться-переобучататься "шо будет с моим hedger-ом если на бирже X случится серия трейдов на такой-то объем и такую-то высоту". К сожалению, там схема не линейная: например, пробой на htx на 1 BTC ничего не поменяет на binance, а на 10 BTC он поменяет в среднем на 2 bps. Но это в среднем, будут ситуации когда не поменяет ничего, а будут когда поменяет на 10 bps - все зависит от того, в какой момент этот пробой случится относительно состояния всего рынка в целом. Это спорно и скользко, потому что надо постоянно анализировать десятки тысяч комбинаций и понимать устойчива эта закономерность или нет, стоит на нее реагировать или нет, и если стоит - то как именно. Именно этот момент мне не сильно нравится - потому что это калибровка параметров, и она содержит элемент угадайки, хотя эта угадайка и построена на рыночной микроструктуре, все равно это статистический предикт. #toxicflow #microstructure

«То есть Citadel охотилась за фондом situational awareness, а Корею в процессе поджарили в микроволновке» «Citadel уничтожили целую страну, просто чтобы получить чуть более выгодный вход в ИИ-акции. Невероятное дерьмо» «Булиш»

Топ-5 канал по "алготрейдинг" у всій Телезі