Yandex for ML

📎 Найти баланс между ресёрчем и инженерией Всем привет, это Никита Корягин, ML-инженер в команде алайнмента Alice AI. До того как устроиться в Яндекс, я довольно много занимался ресёрчем: экспериментировал с моделями, писал статьи, публиковался на конференциях. Такой формат мне всё ещё очень близок, но в какой-то момент я захотел получать больше практической отдачи от работы: увидеть, как идея доезжает до реальной модели и начинает влиять на пользовательский опыт. 🅿️ Поэтому я решил попробовать Weekend Offer ML Из нескольких вариантов я выбрал команду алайнмента Alice AI. Мне было интереснее заниматься тем, что происходит с моделью уже после базового обучения: как научить её лучше рассуждать, отвечать на сложные запросы и в целом делать её полезнее для пользователя. 🅿️ Сейчас я в основном занимаюсь посттрейном reasoning-моделей Работаю с reward-сигналами, думаю над тем, как лучше оценивать сложные ответы и как использовать эту оценку для обучения. Это особенно важно для non-verifiable-задач, где нет простого способа автоматически проверить правильность ответа — например, когда модель должна хорошо объяснить, сравнить варианты или помочь с открытым вопросом. На практике от качества такой оценки напрямую зависит, чему именно модель научится в процессе post-training и станет ли её ответ полезнее. Представим ситуацию: пользователь просит модель помочь выбрать место, куда поехать в отпуск. В одном ответе — полотно текста про все страны в мире, в другом — пара уточнений и конкретный вариант под них. Мы награждаем модель за второе, и она учится рассуждать так, чтобы её ответы реально помогали пользователю. 🅿️ Граница между ресёрчем и инженерией стала гораздо менее чёткой Можно взять идею из свежей статьи, быстро проверить её на своих задачах, понять, где она ломается, переделать и довольно быстро увидеть эффект уже на реальной модели. Для меня это как раз хороший баланс между ресёрчем, которым я занимался раньше, и практической работой, которую я хотел найти. Но есть и различия. В исследовании часто приходится долго разбираться с одной красивой гипотезой. В продуктовой работе приходится сильнее думать о цене эксперимента — например, что именно мы хотим проверить, какой минимальный эксперимент даст ответ и насколько результат вообще масштабируется. 🔳 Кстати, с 11 по 12 сентября пройдёт новый Weekend Offer ML. Коллеги ищут ML- и DL-инженеров с опытом от двух лет в доменных областях NLP, CV, RecSys и Classic ML. Регистрируйтесь до 4 сентября 23:59, пройдите две технические секции и ловите офер, если всё будет успешно. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🍫 Как мы читаем даты изготовления с фотографий На связи Роман Шинкаренко, я разработчик в службе AI-сервисов Лавки. В новом посте рубрики «Обучено Яндекс Лавкой» расскажу, как мы обрабатываем жалобы пользователей на качество товара в доставке. В процессе обсудим, как нам в этом помогает AI-агент и как мы научили его отвечать честно. 🅿️ Поддержка заводит тикет с тегом и фотографиями Сотрудник техподдержки открывает фото, ищет на упаковке дату изготовления, сверяет товар с паспортом качества и выбирает причину брака из таблицы. Затем он проставляет уровень последствий и определяет, кто виноват: склад, поставщик или курьер. 🅿️ Затем тикет разбирает агент Внутри — граф из 27 нод: маршрутизация по тегу поддержки, отдельные ветки под ОФЯГ (овощи, фрукты, ягоды, грибы) и неОФЯГ, VLM, OCR, классификация, проверка на массовость дефекта, простановка полей и переход тикета. Но когда мы тестировали модель, самым тяжёлым узлом в этом графе оказалась на первый взгляд простая задача — прочитать дату изготовления с фотографии. 🅿️ Когда модель не могла ответить точно, она додумывала VLM всегда читает дату с картинки, даже если она смазана, стёрлась с плёнки или обрезалась кадром. Модель не ответит «непонятно» или «я не могу разобрать», а дорисует недостающие цифры сама. Ответ будет правдоподобный и в правильном формате, а отличить его от настоящего невозможно: 2025-07-12 выглядит ровно как 2025-01-12. Причину видно на бенчмарках: если убрать у текста языковую структуру и подать строки из случайных букв, точность распознавания падает примерно с 90 до 20%. Большая часть чтения была угадыванием по языковой статистике. Модель работает автокорректором: видит ayreadl — уверенно выдаёт already. Формат даты с цифрами ломает этот механизм. В дате 12.05.25 шесть почти равновероятных чисел. Ни одна не предсказывается из соседних, опереться не на что, и ошибку нечем поймать. В слове «молоко» опечатку исправит контекст, а неверная цифра остаётся валидной датой. Цена высокая: от даты зависят расчёт срока годности, поиск виновного и порог массовости. 🅿️ Как мы это вылечили Стали задавать каждой модели только тот вопрос, на который она отвечает честно: есть число или нет. VLM находит среди фото нужный товар по описанию из тикета и решает, видна ли на кадре читаемая дата. Извлекать значение ей запрещено прямо в промпте: наличие даты — грубый признак, он переживает сжатие картинки, а сами цифры — нет. Значение достаёт классический инструмент OCR из OCR Tools. Он не пытается понять, что написано, вместо этого он разбирает картинку на символы, и додумывать ему нечего. Фото с датой уходят в два разных движка распознавания, и цифры мы принимаем, только если оба вернули одно и то же. 🔛 А дальше четыре варианта: ⚪️ Дата найдена ⚪️ Даты на фото нет ⚪️ Движки прочитали по-разному ⚪️ Дата видна, но не читается Последние три — разные причины, и агент реагирует на каждую по-своему. 🅿️ Чего удалось достичь Половина фотографий в тикетах вообще не содержит даты: клиент снимает сам товар, а не маркировку. На таких кадрах модель тоже часто выдумывала значения. Гейт снимает их до распознавания, и с этой задачей VLM справляется отлично: recall 0,99. Найти нужный товар по описанию и оценить, есть ли на кадре дата, ей вполне по силам, так что и выдумывать оказывается нечего. Per-ticket accuracy выросла с 84 до 95%. 84% — это OCR Tools без гейта, 95% — с ним; считаем по тикету целиком, а не по отдельному фото. А сложные случаи агент не додумывает, а отдаёт оператору. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

⭐️ Продолжаем рассказывать про спикеров 19 сентября встретимся на Practical ML Conf — хардовой конференции по практическому применению ML в бизнесе. В программе будет буквально всё: доклады и keynotes, дискуссии, много нетворкинга и отдельная зона с сервисами Яндекса, где можно участвовать в активностях, узнавать про технологии и получать подарки. Продолжаем знакомить вас со спикерами конференции. В прошлый раз рассказали про экспертов Яндекса, сегодня — про инженеров из бигтехов: ⚪️ Дмитрий Веснин, старший ML-разработчик Авито. Объяснит, как развивали item-энкодер в своей модели: заменили DCN трансформерной архитектурой, стабилизировали обучение и оптимизировали производительность. ⚪️ Никита Ермолаев, руководитель команды инфраструктуры обучения Text LLM в GigaChat, SberDevices. Расскажет, как масштабировали инфраструктуру Online RL для своих MoE-моделей и с какими реальными проблемами столкнулись. ⚪️ Станислав Илюшин, старший инженер Huawei. Поговорит о диффузионном драфтинге в спекулятивном декодинге: DFlash и DSpark — от модели до вывода в продакшен. ⚪️ Александр Мисевич, руководитель Group Of Efficient Runtime & Inference в AI Platform & Copilot, Т-Банк. Поделится, как команда строит инфраструктуру для массового инференса LLM в компании, а также внутренними процессами, которые позволяют быстрее выводить LLM в продакшен. ⚪️ Антон Разжигаев, старший научный сотрудник FusionBrain Института AIRI, руководитель группы «Интерпретируемый ИИ». Расскажет про Ouroboros — действующего экспериментального агента, который обошёл Codex, Claude Code и Cursor. 🔛 Программа пополняется, актуальный список докладов смотрите на сайте. 🔳 А ещё лучше — регистрируйтесь на Practical ML Conf и подписывайтесь на канал конференции, тогда вы точно будете в курсе всех апдейтов и активностей. Встретимся офлайн в Москве или онлайн из любой точки мира! Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🥹 Как добавить в умную колонку новые команды и ничего не сломать Чтобы начать взаимодействовать с умной колонкой, не обязательно говорить активационное слово «Алиса». Вместо этого можно использовать быстрые команды — короткие фразы, с помощью которых можно управлять музыкой, громкостью или умным домом. Например, чтобы переключить трек, достаточно сказать «дальше», а чтобы убавить звук — «тише». Такие команды делают жизнь проще и пользователям, и системе: запросы через слово «Алиса» требуют обращения к модели распознавания речи ASR, которой необходимы серверные вычислительные ресурсы из-за её размера. Модель быстрых команд, напротив, устроена компактнее и работает прямо на устройстве. Правда, у этой медали есть обратная сторона: проблема масштабирования. Модель ограничена вычислительными ресурсами самой колонки — её CPU и оперативной памятью. Со временем у нас появилась задача: добавить новые фразы «лайк» и «дизлайк» для управления треками, а также «включи блютус» и «выключи блютус». Но как сделать это так, чтобы ничего не сломать, не уронить качество на существующих командах и не увеличить потребление ресурсов на устройстве слишком сильно? 🅿️ Как можно решить эту задачу Мы решили присмотреться к идее Parameter-Efficient Fine-Tuning. Обычно это семейство методов используют для тюнинга больших моделей под специфический домен, когда данных мало, а бюджет на вычисления сильно ограничен. Но в своём классическом виде те же адаптеры или популярный LoRA вмешиваются во внутренние активации слоёв. Из-за этого их пришлось бы натаскивать сразу на две задачи: учить новые команды и параллельно следить, чтобы модель не забыла старые. Но выход есть — можно запустить две параллельные ветки вычислений: ⚪️ Первая остаётся полностью замороженной. Она сохраняет старые активации и логиты старых фраз, гарантируя прежнее качество ⚪️ Вторая получает новые обучаемые веса и натаскивается исключительно на новые команды Однако здесь возникает другой нюанс: нужно уменьшать размерности ветки новых команд, чтобы не сильно растить нагрузку на память и CPU. Если переборщить со сжатием, модель просто не сможет вытащить из урезанных активаций ничего полезного. 🅿️ Нужно было найти компромисс Решение получилось следующее: с определённого слоя оригинальной модели мы отводим параллельную ветку, забираем туда активации замороженного слоя, а внутри считаем небольшой добавочный вектор, который конкатенируем на каждом последующем шаге. 🅿️ В итоге: ⚪️ Новые слои имеют прямой доступ к активациям старой модели ⚪️ Модель учится распознавать новые команды и не тратит ёмкость на удержание старого контекста ⚪️ Мы полностью контролируем размерность новых слоёв и подгоняем её под лимиты железа 🔳 А в статье на Хабре мы рассказали: ⚪️ Откуда мы берём данные для обучения ⚪️ Почему нам не подошли существующие подходы PEFT и continual learning ⚪️ Каких результатов удалось достичь в цифрах Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

📕 Делимся главными статьями ICRA 2026, генерируем и редактируем картинки в одной модели и внедряем AI в Лавку. Всё это и многое другое — в новом дайджесте Yandex for ML 🚕 Куда сходить ⚪️ 5 сентября — deep tech night. Уже поделились первыми спикерами и их докладами: обсудим переход к генеративным моделям в RecSys, Physical AI, инфраструктуру RL-обучения, современную архитектуру NPU и другие вызовы IT-индустрии в эпоху AI ⚪️ 9 сентября — Data Dojo в Санкт-Петербурге. Приглашаем дата-самураев, которые уже владеют основами ML и хотят двигаться дальше. Здесь мы обсудим тренды, разберём реальные задачи из соревнований и поделимся прикладными кейсами ⚪️ 12–13 сентября — Weekend Offer ML. Это формат быстрого найма для ML-специалистов. Приглашаем за выходные пройти все этапы собеседований, познакомиться с командами и затем получить офер, если всё пройдёт хорошо ⚪️ 19 сентября — Practical ML Conf 2026. Хардовая конференция для экспертов и практиков. В программе: экономически эффективный инференс LLM, Agentic Vision, query-based-модель в автономном транспорте и end-to-end генеративная модель рекомендаций в Музыке 📖 Что почитать ⚪️ Alice AI ART 2.0: генерируем и редактируем. Рассказываем, как мы объединили генерацию по тексту и редактирование по картинке в одной модели, что пришлось изменить в архитектуре и как наше решение смотрится на фоне аналогов ⚪️ Главные итоги ICRA 2026. Команда Автономного транспорта Яндекса сделала обзор ключевых статей ICRA — одной из крупнейших конференций по робототехнике. Среди тем из разбора: Reinforcement Learning, генерация редких edge-кейсов, предсказание траекторий автономного транспорта и другие ⚪️ Как дела у AI в Лавке. Рассказываем о задачах службы AI-сервисов Яндекс Лавки и делимся итогами за прошедшие полгода: как мы построили инфраструктуру для агентов и при чём тут космолёты Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔎 Как мы объединили фичи картиночной Алисы На связи команда генеративных моделей в компьютерном зрении Поисковых сервисов и ИИ. Вместе с коллегами мы делаем мультимодального ассистента «Алиса AI». У модели Alice AI ART, которая отвечает за визуальную генерацию, есть два базовых сценария: ⚪️ Text-to-Image (T2I) — генерация фото по текстовому описанию ⚪️ Image-to-Image (I2I) — редактирование по картинке с инструкцией Всё это время эти сценарии жили как два разных стека: свои базовые модели, данные, метрики и своя отдельная боль в разработке и поддержке. Поэтому мы решили объединить их в одну модель, которая одинаково хорошо умеет и в T2I, и в I2I. 🅿️ Как мы проводили обучение 🔛 I2I-задача редактирования требует от модели понимания референса: входное изображение всегда содержит конкретный объект, который нужно сохранить, трансформировать или дополнить. Чтобы корректно применить инструкцию (например, «замени фон»), модель должна научиться точно кодировать визуальное содержимое и удерживать детали при генерации. Навык «читать картинку» напрямую улучшает и общее визуальное восприятие модели. 🔛 T2I-задача содержит промпты для генерации с нуля, и они, в свою очередь, подтягивают релевантность (соответствие картинки и текста). Так происходит, потому что они, как правило, детальнее editing-инструкций и описывают всё, что должно быть на изображении. Модель, которую обучили воспроизводить такие развёрнутые описания, вырабатывает более глубокое понимание языка и его связи с визуальными элементами. А ещё через T2I у модели проще расширить понимание концептов: любой именованный или безымянный объект, персонаж, свойство или стиль, с которым можно сопоставить визуальное воплощение. Ключевая особенность обучения uni-модели — общий для обеих задач претрейн. T2I- и I2I-данные перемешаны, чтобы визуальный и текстовый прайоры были едиными. 🅿️ Как мы провели показательный эксперимент Взяли набор концептов, которые отсутствовали в наших данных для редактирования, но которые ранее собирались для T2I. Затем смешали данные и провели совместное обучение, а после проверили, что станет с I2I. Результат оказался такой, на какой мы и надеялись: концепты, выученные из T2I, становятся доступны в редактировании по инструкции. Специфические запросы начинают работать без необходимости повторять работу по сбору узких срезов данных. Так знания из генерации переносятся в режим редактирования: даже если модель уже что-то знала о концепте, его качество в editing улучшается. 📖 А в статье на Хабре мы рассказали: ⚪️ На каких метриках мы измеряем качество моделей ⚪️ Что изменилось в самой модели ⚪️ Что планируем реализовать в будущем Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🍫 AI’изация Лавки: что мы построили и куда идём дальше Привет! Меня зовут Алёна Зайцева, я руковожу службой AI-сервисов Яндекс Лавки. Ниже расскажу, чем мы занимаемся и что удалось сделать за прошедшее полугодие, а в следующих постах рубрики «Обучено Яндекс Лавкой» мои ребята подробнее расскажут о строительстве платформы, «космолётов» и конкретных агентов. 🅿️ Над чем мы работаем Наша задача — системно перестраивать бизнес Лавки вокруг AI-first-подхода. Мы находим рутину, которую можно переложить с людей, строим агентные системы и замеряем эффект в FTE-gain. Это показатель, который отображает, сколько новых «виртуальных сотрудников» мы создаём для бизнеса каждым проектом. 🅿️ За прошедшее полугодие мы: ⚪️ Построили платформу, на которой живёт 40+ агентов. Получилась инфраструктура с интерфейсами, LLM-роутингом, тулами, оркестрацией и observability. Классического агента теперь можно довести от идеи до продакшена за пару дней ⚪️ Внедрили несколько десятков агентов и добавили свыше 100 виртуальных сотрудников Лавки. К примеру, мы запустили агента, который расследует пропавшие посылки, ассистента для мониторинга Лавок и курьерского фрода, а также AI-дежурного ⚪️ Много экспериментировали с архитектурами и подходами и получили опыт end-to-end-разработки AI-агентов: общались с бизнесом, искали точки оптимизации, обучали и внедряли ассистентов 🚀 А дальше — космолёты Агенты, которые заточены под отдельные процессы, зачастую упираются в потолок: оптимизируешь один кусочек, а вокруг него всё ещё остаётся много ручной работы. Следующий шаг — построить единую AI-систему на всю бизнес-функцию целиком с общим контекстом, единой точкой входа задач и AI-ядром. Такую схему мы называем космолётом: AI анализирует метрики, ставит задачи и исполняет их, а человек контролирует результат. Этот принцип мы уже пробуем в операционном управлении дарксторами, а в будущем планируем запустить пилоты в коммерции, маркетинге и на других задачах. 🔳 В следующих постах рубрики подробнее расскажем про свои проекты и заглянем под капот наших космолётов. Оставайтесь на связи! Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

📖 Обзор статей с ICRA 2026 С 1 по 5 июня в Вене прошла International Conference on Robotics and Automation (ICRA). Это главная международная конференция по робототехнике и автономным системам, и в этом году среди участников были ребята из команды Автономного транспорта Яндекса: Егор Волков, разработчик модели планирования движения, и Максим Спорышев, руководитель службы поведения и предсказания движения. 🔽 Собрали для вас самые крутые работы с конференции 🏆 Выбор жюри ⚪️ SymSkill: Symbol and Skill Co-Invention for Data-Efficient and Reactive Long-Horizon Manipulation. Интересный не ML-подход к манипуляционным задачам с большим горизонтом планирования ⚪️ OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction. Новый способ ретаргетинга для обучения роботов-гуманоидов на человеческих демонстрациях, который сохраняет пространственные отношения с объектами ⚪️ Do You Know Where Your Camera Is? View-Invariant Policy Learning with Camera Conditioning. Необычный кондишенинг на положения камер в VLA-моделях — тех, что переводят картинку и инструкцию в действия робота ⚪️ FindAnything: Open-Vocabulary and Object-Centric Mapping for Robot Exploration in Any Environment. Здесь речь идёт об exploration и mapping над пространством объектов. Робот ищет произвольный объект в неизвестной локации и по пути строит карту всего, что нашёл 🚙 Статьи об автономном транспорте ⚪️ Diffusion-guided Generalizable Enhancer for Urban Scene Reconstruction. Это работа от Waabi AI. Основная идея — взять диффузионные модели как генеративный prior и на нём дотянуть 3D-реконструкцию до устойчивости к экстраполяции ⚪️ AttBEV: Enhancing Multi-Modal 3D Object Detection with CBAM Attention in BEVFusion for Autonomous Driving. Attention BEV — развитие идеи BEV Fusion, то есть всё того же представления сцены сверху, но с прибавкой по метрикам на nuScenes, одном из основных бенчмарков в автономном транспорте ⚪️ TreeIRL: Safe Urban Driving with Tree Search and Inverse Reinforcement Learning. Авторы совместили два мира: алгоритмический и ML-планировщик. В качестве генератора траекторий-кандидатов используется Monte Carlo tree search, а для выбора лучшего кандидата — ML-модель. И это решение, которое уже в проде. Они действительно ездят на этой технологии по Лас-Вегасу ⚪️ Learning to Annotate Delayed and False AEB events: a Practical System for Extreme Class Imbalance and Asymmetric Label Noise. Решение задачи автоматической аннотации событий для системы автономного экстренного торможения — Automated Emergency Braking ⚪️ VL-DPO: Vision-Language-Guided Finetuning for Preference-Aligned Autonomous Driving. Авторы дообучают модель предсказания траекторий с помощью VLM. Сама VLM тут вспомогательный модуль, который выбирает лучшую траекторию из сгенерированных. Дальше этот преференс используется для формирования таргета в DPO-loss при обучении основной модели 🔳 Ещё больше интересных статей об автономном транспорте ищите на Хабре. Там мы также рассказали, какие воркшопы и доклады были на конференции, и поделились наблюдениями, которые мы оттуда увезли. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔥 Делимся первыми спикерами на deep tech night В карточках рассказываем, кто и на какие темы будет выступать на конференции 5 сентября. А чтобы получить доступ к эфиру, задать вопросы экспертам в прямом эфире и первыми посмотреть запись после события, зарегистрируйтесь на сайте. 🔳 Подробности о докладах и форма регистрации Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

⚡️ Data Dojo возвращается — встреча ML-комьюнити в Питере 9 сентября в Санкт-Петербурге соберём тех, кто уже владеет основами ML и хочет двигаться дальше. Data Dojo — это живое общение с единомышленниками, разбор реальных кейсов от экспертов Яндекса и погружение в то, что происходит в ML прямо сейчас. Если вы начинающий ML-специалист — это шанс войти в тусовку, познакомиться с трендами индустрии и получить карьерную консультацию. Если уже опытнее — возможность для нетворкинга. Что в программе: ⚪️ Антон Клочков, руководитель группы ML-разработки Фотоинпута, расскажет, как они выкатили фичу, а потом откатывали её год ⚪️ Маргарита Мишустина, руководитель группы ранжирования Рекламы, покажет техническую эволюцию аукциона дизайнов, как оптимально группировать объявления для демонстрации пользователям и при чём тут химера ⚪️ Сергей Фиронов, ведущий разработчик службы поведения и предсказания департамента Автономного транспорта, разберёт задачи с соревнования Yandex ML Challenge Как участвовать: 1️⃣ Подайте заявку до 26 августа, приложив резюме 2️⃣ Дождитесь результатов отбора 2–3 сентября 3️⃣ Приходите на встречу 9 сентября, если получите приглашение ↔️ Участие бесплатное. Проезд и проживание за свой счёт. Трансляции не будет — только офлайн. Data Dojo — не разовая акция. Мы строим сообщество: сильное, открытое и любопытное. Здесь у каждого есть шанс стать лучше — и сделать лучше других. 🔳 Регистрация и подробности 🛄 Ждём вас! Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML