Yandex for ML

🪧 Строим логистику пути в ML Привет всем, меня зовут Фархад Сабилов, я руковожу группой ML игровых и коммуникационных механик в Яндекс Плюс AdTech. Ещё во время учёбы в университете я устроился на первую фултайм-работу: начал помощником логиста и за три года стал руководителем сразу в трёх компаниях холдинга. В какой-то момент мне захотелось сменить карьерный трек. Несколько лет я искал себя, попробовал открыть свой бизнес, начал изучать бэкенд и, пока учился, стал всё чаще встречать рекламу курсов по ML. И тут началось... 🅿️ Я всегда любил оптимизацию через математические расчёты В ML меня как раз привлекла возможность улучшать процессы и делать их быстрее. Я решил попробовать себя в этом направлении и начал с пятимесячного курса Яндекса и МФТИ на Coursera. После года собеседований, сбора обратной связи и закрытия пробелов в знаниях я устроился джуном в крупный финансовый бигтех и со временем вырос до мидла. А следующим шагом стал Яндекс: в 2024 году я откликнулся на вакансию ML-инженера в команде Яндекс Плюс AdTech. Это ребята, которые занимаются программой лояльности «Свои Плюсы». Когда я пришёл в команду, в ней был период активного роста — основные направления уже были выстроены, но некоторые вещи ещё только формировались. Поэтому первым делом я стал заниматься оптимизацией выдачи промокодов в Подарках и Заданиях: делал так, чтобы она была одновременно релевантной для пользователя и повышала наши бизнесовые метрики. 🅿️ Сперва нужно было упорядочить датасеты Это логи с обезличенной информацией о взаимодействии пользователей с разными продуктами Яндекса. Мы берём статистику, делим людей на группы в зависимости от их поведения (например, сколько они читают Яндекс Книги или пользуются ли Самокатами) — и строим ML-модели. Работаем мы с ETL и внутренним визуальным графическим редактором «Нирвана». Раньше информация в нём превращалась в нагромождение блоков, а при частом копировании в базу закрадывались ошибки. Я решил создать общую структурированную базу для всей команды, которая ежедневно обновляется, ложится в одну папку, а дальше мы уже обычным YQL-запросом считываем из неё данные. Так мы экономим время и обучаем модели быстрее. А ещё теперь, когда кто-то из коллег вводит новые фичи для своей модели и они дают положительный результат, он отправляет их на ревью и кладёт в общий кеш фич, чтобы любой мог ими воспользоваться. 🅿️ Дальше я решил несколько задач: ⚪️ Изначально модель ранжирования промокодов для Своих Плюсов оптимизировала выдачу на взятие конкретного промокода пользователем. Но нам как сервису важнее не взятие, а применение. Так что я переобучил модель, и теперь она выдаёт выше то, чем воспользуются с большей вероятностью. В итоге метрики применения выросли на 5–7% ⚪️ Пригодились и знания в бэкенде: через полгода после прихода в Яндекс я написал «ручку» API. Это сервис, через который смежные команды запрашивают данные и получают их в ранжированном виде ⚪️ Затем я сделал uplift-модель. Она рассчитывает, на сколько вырастет целевая переменная, если дать пользователю промокод. Сложность в том, что нельзя одновременно выдать и не выдать промокод, чтобы оценить его реальный эффект. Мы восемь месяцев занимались анализом, A/B-тестами, разбирались в бизнесовых метриках — и в итоге улучшили показатели 🔳 После третьего проекта я стал сеньором, а в 2026 году моего тимлида повысили и я пришёл ему на смену. В новой должности я пытаюсь помочь ребятам расти, выстроить карьерный трек на будущее, решить, что мы хотим прокачивать. Кстати, советами для тех, кто хочет развиваться в ML, я поделился в блоге о работе в Яндексе. Удачи! Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔎 Открываем претрейн Alice AI Search Быстрый ответ Алисы AI — это самый массовый генеративный продукт Яндекса и первая точка контакта с Алисой для пользователей Поиска. Даже в час пиковой нагрузки он должен появляться за секунды. Поэтому мы, команда Alice AI Search, решили адаптировать весь пайплайн: от собственного претрейна с кастомной архитектурой до online RL на поведенческих сигналах аудитории. Alice AI Search Pretrain — наша компактная языковая модель, которую мы обучили на 15 трлн токенов и чьи параметры мы впервые выложили в опенсорс: веса Alice AI-T5-35B-A0.6B Base уже доступны на Hugging Face. Под капотом у неё гибридная архитектура Encoder-Decoder + MoE. 🔳 На Хабре мы разобрали весь пайплайн обучения — от отбора контекста до RLHF на пользовательских сигналах: ⚪️ Как BERT-подобный экстрактор на 80 млн параметров через Cross-Entropy RL сократил число входных токенов и поднял пропускную способность на 40% без потери качества ⚪️ Почему пришлось перейти с aux-based-балансировки на aux-free-роутинг из DeepSeek-V3, когда на масштабе начал коллапсировать роутинг в энкодере ⚪️ Как переход на online RL с GSPO поверх кастомного VeRL-роллаута ускорил цикл эксперимента и поднял winrate новой модели выше 70% ⚪️ Как реворд-модель на онлайн-сигналах пользователей повлияла на число сессий на пользователя Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

📕 Выкатываем AliceAI-Foundation-80B-A3B-Base в опенсорс, занимаемся ML-разработкой без написания кода и (внезапно) пишем рантайм. Об этом и не только — в новом ML-дайджесте 🚕 Куда сходить 🔴 6 октября — Архитектурный клуб Яндекс 360 онлайн. Открытое сообщество для архитекторов и инженеров, которые строят высоконагруженные системы. На этот раз разберём архитектуру AI-агента над корпоративными данными: от оркестратора и инструментов до памяти и наблюдаемости 🔴 28 октября — Data Dojo в Москве. Додзё в мире данных: вместо меча владеем ML-моделями, а наш путь — решение задач. Соберёмся сообществом data-самураев, обсудим новости индустрии и поделимся опытом из практики 🔴 26 ноября — nexthop в Москве и онлайн. Ежегодное событие для сетевых инженеров, архитекторов, разработчиков и всех, кто любит сети. Ключевые темы этого года: LAN architecture, data center network design, routing protocols development и многое другое 🌎 Что случилось 🔴 Яндекс представил Sona. Это генеративная нейросеть, которая по действиям пользователя определяет, что ему порекомендовать и в каком порядке. В A/B-тесте музыкальных рекомендаций на умных колонках с Алисой Sona заменила систему из десятков алгоритмов 🔴 Выкатили в опенсорс AliceAI-Foundation-80B-A3B-Base. Модель прошла полный цикл обучения в Яндексе с нуля: мы не использовали веса сторонних открытых моделей. На многих задачах она обходит более крупные DeepSeek-V4-Flash-Base и Nemotron-3-Super 🔴 Объявили лауреатов Yandex ML Prize 2026. Премией наградили преподавателей и руководителей образовательных программ в области AI. В своей работе они совмещают фундаментальную подготовку с прикладными ML-задачами 📖 Что почитать 🔴 Занимаемся ML-разработкой без написания кода. Руслан Кулиев, разработчик в службе клиентского ML в Яндекс Лавке, поделился техниками по работе с агентом, которые помогут интегрировать AI в процесс R&D 🔴 RuntimeNodes: как мы, эмэльщики, стали писать рантайм. Рассказали на примере LLM-ответов в поисковой выдаче Яндекса, как мы научились работать с бизнес-логикой как с ML-артефактом, зачем нам понадобился ещё один DSL и что нам дало представление вычислений в виде графа 📺 Что посмотреть 🔴 Записи докладов с deep tech night. На конференции эксперты мирового уровня рассказали о нетривиальных задачах в работе: от Physical AI до продуктовой агентской разработки. Смотрите на ютубе в треках Hard и Experiment 🔴 Выступления с Practical ML Conf 2026. Обсудили практическое применение ML и поделились хардовыми кейсами и решениями, которые влияют на бизнес и продукт. Записи трансляций по залам смотрите на ютубе: «Данные», «Сеть» и «Код» Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

💻 Как заниматься ML-разработкой без написания кода 👋 Всем привет, это Руслан Кулиев, разработчик в службе клиентского ML в Яндекс Лавке. Последние полгода я развивал наши трансформерные технологии на базе Argus и локальную среду для DL-экспериментов. За это время из более чем 100 тысяч строк финального кода я не написал ни одной: разработка и эксперименты были целиком AI-first. 👷 В карточках я поделился некоторыми советами по работе с агентом, которые сформулировал за эти полгода. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🧑‍🏫 Data Dojo: встреча ML-сообщества в Москве 🔳 28 октября мы соберёмся на Data Dojo — митапе для тех, кому интересно машинное обучение. Здесь вас ждут прикладные доклады от экспертов, нетворкинг, мастер-классы, мерч и многое другое.  На ивенте начинающие ML-специалисты смогут попасть в тусовку, познакомиться с трендами индустрии и получить карьерную консультацию. А опытные инженеры — найти единомышленников и завести новые знакомства. 🎙 В программе 5 докладов про ML на практике: ⚪️ Артём Федоров, разработчик команды ускорения инференса LLM: «Автоматический подбор модели под ограничения»  ⚪️ Даниил Горнин, разработчик бэкенда, Яндекс Лавка: «AI-изация коммерции» ⚪️ Иван Ершов, руководитель команды LLM-агентов Алисы AI: «AI-агенты» ⚪️ Даниил Смирнов, руководитель ИИ-разработки Яндекс 360: «Вашим API теперь пользуется агент: как проектировать MCP» ⚪️ Анис Хамуш, руководитель отдела ML Свои Плюсы: «Управление кешбэками в банке с помощью ML» Как участвовать: 1️⃣ Подайте заявку до 14 октября, приложив резюме 2️⃣ Дождитесь результатов отбора 21–22 октября 3️⃣ Приходите на встречу 28 октября, если получите приглашение 🆖 Подробности и регистрация Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🎉 Practical ML Conf 2026 завершилась, но впечатлений хватит на весь год 🔳 Последние новости с конференции: спикеры выступили, Yandex ML Prize вручили, подарки раздали, дискуссии провели. Получилось очень здорово: участники знакомились с сервисами Яндекса, пробовали новое, нетворкали и делились инсайтами. Спасибо всем, кто был с нами: конфу в Москве посетили 870 участников, а онлайн-трансляция собрала около 2000 зрителей и 12 тысяч просмотров. Вы лучшие 📪 📺 Записи трансляций на ютубе: ⚪️ Зал «Данные»  ⚪️ Онлайн-зал «Сеть»  ⚪️ Зал «Код»  📷 И ищите себя и друзей на фото. Записи докладов по отдельности мы уже потихоньку выкладываем на платформы. Следите за постами в канале! Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🙂 Открываем AliceAI-Foundation-80B-A3B-Base 👋 Всем привет, на связи служба качества претрейна Alice AI. Мы опубликовали веса нашей новой модели AliceAI‑Foundation-80B‑A3B‑Base под лицензией Apache 2.0. Её создание — ещё один шаг к нашей единой рассуждающей модели (ЕРМ), на базе которой будут развиваться агентские возможности Алисы AI. 🆖 Путь к результату претрейна был долог и тернист. Например, предсказанные по scaling laws гиперпараметры обучения оказались неоптимальными из-за низкой корреляции loss-а на отложенной выборке с качеством на целевых метриках. После пересчёта гиперпараметров по scaling laws обучение «взорвалось»: MoE‑активации начали расти, а затем резко подскочил loss.  Пришлось разбираться, ошиблись ли мы с прогнозом или новые гиперпараметры выявили проблему в процессе обучения. Рецепт аугментаций, который помогал при инициализации из опенсорс‑моделей, надо было переработать для более длинного претрейна. А обучения сложным рассуждениям оказалось недостаточно для агентских навыков: когда мы добавили взаимодействия с инструментами уже в претрейн, это улучшило агентские бенчмарки в посттрейне. ↔️ За итоговыми скорами стоит много экспериментов, и нам хочется рассказать о них подробно. Поэтому вместе с весами мы публикуем большой технический отчёт на Хабре: от пайплайнов подготовки данных и протоколов оценки до стабилизации обучения и scaling laws. В статье мы разобрали: ⚪️ Как Z-loss на выходных активациях MoE остановил взрыв loss без потери качества и просадки скорости  ⚪️ Почему точность ранжирования моделей по loss на случайном датасете оказалась всего 42 % (и как удалось поднять её до 94 %) ⚪️ Чем Kimi Delta Attention в связке с Attention Residuals лучше Gated DeltaNet из Qwen3-Next на бенчмарках ⚪️ Как мы вдвое сократили время шага оптимизатора, когда переходили на Muon Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔳 Делимся записями с deep tech night  5 сентября прошла масштабная конференция Яндекса о технологических вызовах, с которыми сталкиваются разработчики и инженеры в эпоху AI. Здесь эксперты мирового уровня рассказали о нетривиальных задачах в работе: от Physical AI до продуктовой агентской разработки. 📺 Записи докладов экспертов уже доступны на лендинге конференции. А вот некоторые из выступлений, которые мы особенно рекомендуем посмотреть: ⚪️Алексей Гусаков, CTO Бизнес-группы Поисковых сервисов и ИИ в Яндексе: «От классического ML к генеративным моделям: незаметная революция в RecSys»  ⚪️Сергей Мельник, руководитель сервиса Автономного транспорта и роботов в Яндексе: «Physical AI: от симуляции к реальным дорогам»  ⚪️Егор Филимонов, лидер команды по ускорению инференса на NPU в SGLang: «Влияние трендов развития нейросетей на архитектуру NPU и инференс-фреймворки»  ⚪️Иван Сапожков, руководитель группы базовой ML-инфраструктуры в Яндексе: «Инфраструктура RL-обучения»  ⚪️Александр Сафронов, руководитель отдела ML и AI в Яндекс Фантех: «Волна по запросу в Люмене» Ещё доклады можно посмотреть на ютубе: 🅿️ Hard 🅿️ Experiment 🛄 Спасибо, что были с нами! Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔗 Подружили LLM и VLM, выложили Alice AI Search Pretrain в опенсорс и собрали прикладной туториал из статей ICML 2026. Всё это и многое другое — в новом ML-дайджесте 🚕 Куда сходить ⚪️ 19 сентября — Practical ML Conf 2026. Подключайтесь к трансляции на сайте: конференция вот-вот начнётся. В программе собрали доклады про экономически эффективный инференс LLM, Agentic Vision и многое другое. Подписывайтесь на канал конференции, чтобы быть в курсе новостей. ⚪️ 24 сентября — Yandex Scale 2026. Конференция для разработчиков, тимлидов и создателей продуктов, на которой мы расскажем о новых технологиях и анонсах Yandex Cloud. В программе — более 30 выступлений в пяти треках, 15 воркшопов и более 60 экспертов. ⚪️ 1 ноября — Yandex Cup 2026. Международный чемпионат Яндекса по программированию с призовым фондом 9 млн рублей. Принять участие смогут разработчики любого уровня, от юниоров до опытных специалистов. 🌎 Что случилось ⚪️ Яндекс выложил Alice AI Search Pretrain в открытый доступ. Это компактная языковая модель, которую мы обучили с нуля и используем в основе быстрых AI-ответов в Поиске. Под капотом — гибридная архитектура с Encoder-Decoder и MoE. ⚪️ Алиса AI теперь сама выбирает LLM под нужную задачу. Рассказали, как она это делает, и объяснили, почему модель — это ещё не весь продукт, что такое харнесс и как мы с помощью бенчмарков проверяем его влияние на качество ответов. 📖 Что почитать ⚪️ Как из базовой LLM получить работающий продукт. Собрали туториал из статей с ICML 2026: что делать, если у вас уже есть сильная модель от фронтирной лабы и теперь хочется получить из неё агента под свои задачи. ⚪️ «Всю область не объять, всех статей не прочитать». Владимир Платонов, руководитель службы ML-разработки Алисы, рассказал, какие особенности есть у машинного обучения в разных сервисах Яндекса, и поделился советами для молодых ML-специалистов. ⚪️ Ассистент предлагает, менеджер подтверждает. Рассказали, как AI-агент помогает собирать предложения для промо в Лавке, какую рутину он забирает на себя и чем упрощает жизнь категорийным менеджерам. ⚪️ Собираем AI-агентов для Лавки на платформе с готовыми инструментами. Разобрали, как она устроена, за что отвечает каждый слой, как проходит запрос и какими фичами можно воспользоваться из коробки. ⚪️ Омнимодель для Алисы AI. Рассказали, как нам удалось подружить VLM и LLM, что изменила MoE‑архитектура, почему омнипретрейн пришлось собирать с конца и почему один вид RL переезжает на большую модель легко, а другой рассыпается прямо на глазах. 📺 Что посмотреть ⚪️ Нерешённые задачи. 30-минутная история о разработчиках Яндекса, которые каждый день берутся за задачи без готовых решений. Герои из команд Автономного транспорта, Алисы, Yandex Infrastructure и Yandex Cloud расскажут об экспериментах, ошибках и моментах, когда неудача становилась шагом к большому открытию. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🧿 Омнимодель для Алисы AI: как мы подружили VLM и LLM Всем привет, меня зовут Алексей Григорьев, я представляю большую команду разработки омнимодели Яндекса. Ещё недавно ответы Алисы на текстовые запросы и вопросы по изображениям заметно различались по стилю. Под капотом и правда жили две отдельные генеративные модели: текстовая LLM и визуальная VLM, а между ними — стена из непрозрачного роутинга, отличающихся форматов ответов и вёрстки. 🧠 Почти год мы сводили их в одно целое — омнимодель, которая бесшовно воспринимает и текст, и изображения. Мотивация была простой: омни позволяет упростить продуктовую логику до одного чата вместо зоопарка сервисов, масштабироваться по данным, компьюту и размеру модели, а также добиться синергии качества за счёт раннего провязывания модальностей. Кроме того, у совместно обученной модели появляются эмерджентные свойства — навыки, которых не было ни у текстовой, ни у визуальной модели по отдельности. Путь к омнимодели был непростым, но поучительным: нужно было целиком переосмыслить претрейн, завести визуальную модальность во все стадии обучения, по отдельности свести каждый шаг алайнмента... 🔛 Но игра стоила свеч: визуальная половина Алисы переняла у текстовой проактивность, манеру и стиль общения, а текстовая перестала отнекиваться, что «не умеет работать с картинками». Теперь на руках мы имеем сильно упрощённую инфраструктуру, выровненный характер модели и следующий уверенный шаг к мультимодальности. 🔳 А на Хабре вместе с моим коллегой Данилой Кашиным мы рассказали про остальные технические грабли и вызовы, с которыми команда столкнулась в процессе. В статье мы разобрали: ⚪️ Почему за два года до этого та же затея разваливалась и что тут изменила MoE-архитектура ⚪️ Как научить разные команды воспроизводить одно и то же обучение ⚪️ Почему один вид RL переезжает на большую модель легко, а другой рассыпается прямо на глазах Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML