Software | ML | DL prep interview

https://yk4r2.github.io/problems.html Материалы по подготовке к задачкам в фонды от легендарного Compilation Еггор, он же Модель для сборки

https://silviasapora.github.io/blog/ml-interviews.html https://t.me/j_links/8458 про подготовку в фронтир компании

https://interviewing.io Кто хочется помокаться в maang'и — милости прошу на сайт и с собой +-200 баксов за интервью и фидбек

Если часто слышишь про кернелы, но не успеваешь разобраться, что это такое и почему это быстрее, чем нативный торч код/torch.compile, то тебе читать вот это: https://siboehm.com/articles/22/CUDA-MMM https://cudaforfun.substack.com/p/outperforming-cublas-on-h100-a-worklog Если время есть, то вот такой вариант по боту кернелов: обложиться слопусом + посмотреть/переписать вдумчиво https://triton-lang.org/main/getting-started/tutorials/index.html + какие-нибудь куда пазлы, если ты хочешь плюсы дрочить, но я смысла не вижу. Это даст понимание зачем вообще чето писать + вещи типа флешатеншена станут очевидны + ты станешь бигболс mle

https://djdumpling.github.io/2026/01/31/frontier_training.html вообще херня какая-то, но мб как сборник частушек перед сном прочитать че бы и нет

У каждого во время подготовки к интервью возникает потребность разобраться в реализации какой-то детали, например, как конкретно работает автоград в PyTorch, что отвечает за нужное тебе телодвижение, и т.д. В таких ситуациях очень выручает: https://deepwiki.com Не смотря на мой скепсис к подобным инструментам очень круто справляется, не галюнит и ищет то, что тебе нужно. Must have всем рекомендую

https://henryhmko.github.io/posts/tpu/tpu.html all about TPU

https://tridao.me/blog/ Блог любимого чингачкука, который подарил нам флеш атеншен, мамбу, хуямбу

https://www.sergeynikolenko.ru/en/blog/variational-autoencoders-vaes-generative-ai-i Ваешки

— Мама, у нас литкод дома? — Да. — Литкод дома: https://neetcode.io/practice?tab=coreSkills Тот же литкод, только не для дрочева алгосов, а практической подготовки к собесам. Есть и мать его систем дизайн, и два указателя, и задачи по мльке. Из минусов — много чего по подписке и все довольно верхнеуровнево, так что в перспективе там ловить нечего.

Кто хочет подтянуть методы оптимизации и сделать это с кайфом, то Даня Меркулов — ваш бро. Хз сколько часов провел, слушая его фоном. И на практике пригодится, и при изучении чего-то нового. Ютуб Телега

Я подумал, а зачем рассказывать конкретно про FSDP, если можно рассказать про принципы, опираясь на которые можно делать любых монстров, которые в голову взбредут. Вся распределенка сводится к тому, что мы отправили пул данных с карты на карту, сделали какую-то операцию, и, отправили эти данные куда-то дальше. И так за счет постоянного общения между картами выигрываем в памяти ( банально можем позволить запихать себе бОльшую модель ). А уже как общаться карты будут уже на ваше усмотрение и ситуацию. Можно и модель поделить по нескольким слоям на несколько карт ( Pipeline parallelism ), можно поделить веса каждого слоя на GPU и потом соединять выходы ( Tensor parallelism ), можно данные распараллелить по куче моделей и потом градиенты объединять ( Data parallelism ). Более подробно про все виды коммуникаций описано здесь: https://jcst.ict.ac.cn/en/supplement/2ef3ad63-a8e9-446d-895c-bb5694ec531e Более подробно про виды параллелизма описано здесь: https://main-horse.github.io/posts/visualizing-6d/#6d---pipeline-parallel Подергать руками: https://docs.pytorch.org/tutorials/beginner/dist_overview.html Послушать в виде лекций: https://github.com/mryab/efficient-dl-systems/tree/main/week04_data_parallel На картинке сверху визуализация что и как называется с точки зрения коммуникации ( общепризнанная норма )

неиронично распределенку себе могут позволить раз два и обчелся

https://apxml.com/courses Материалы по всему околомльному на английском языке, написанные и не слишком сложным, но и не слишком простым языком. Построение каждого текста 12 из 10. Если плохо с английским, то Ctrl+C/Ctrl+V в deepl и поехали. При этом подходит как для чайников, так и для проженных самоваров.

https://arxiv.org/abs/1910.02054 Если занимаетесь диплернингом ( разработкой моделей ) на мидла/сина обязательно знать и уметь работать, хотя спрашивают далеко не везде. ( спросят в компаниях, где есть на это ресурсы: сбердевайсы, яндекс, титькоф, авито ) По факту все уже написано, вызывается через deepspeed, который уже обернут accelerate.

Сделал здесь комментарии. Думаю тут и опытом поделиться людям было бы прикольно, и какие-то замечания мне дать: вести тут все в формате Just Links, без комментариев; кидать все, что вижу; или наоборот более избирательным быть. Если мысли какие-то в эту сторону есть, то поделитесь, пожалуйста. Спасибо.

vllm serve энжоеры, и по вашу душу пришли: https://www.aleksagordic.com/blog/vllm Разбор как работает вллм, если вдруг не знали ( работа с памятью, асинк менеджер запросов, continues batching, использование префиксов и бла бла бла.. ) ( на инференс, наверное, спросят + в курилке можно блестнуть знаниями )))

а че канал по рукам пошел? откуда столько людей навалило. почему на основе тишь да гладь

https://github.com/lucidrains Вот вроде и все знают, но и не писать тоже тумач. ебанутый азиат (вроде из меты), который руками пишет имплементации всего на свете. Для подготовки к собесам на позицию мидл+ разбирать мастхев. Хотя, в рф ничего сложнее написать трансформер руками не просят. Но мало ли вам повезет.