Sberloga in Data

Hugging Face × alphaXiv запустили крутой челлендж В качестве задачи разработчикам и исследователям предлагают взять любую интересующую научную работу и попытаться воспроизвести ее ключевые результаты с помощью агентов. Цель проекта – создать публичную базу проверок научных работ, чтобы сделать их более прозрачными и воспроизводимыми. Особенно учитывая, что около 70% работ в ИИ не воспроизводятся. Из приятного: организаторы предлагают GPU-кредиты на 4000$ + отдельные призы от OpenResearch. А сам челлендж закончится 2 августа, так что не упустите возможность поучаствовать.

LLM Evaluation как задача Causal Inference #1 Первая заметка серии, посвященной современным методам оценки качества систем искусственного интеллекта. Когда мы создаем сложные системы на основе LLM, нам приходится принимать много решений - о данных, способах дообучения моделей, архитектурах, контексте, инструментах и проч. Измеряем качество работы нашего пайплайна и улучшаем его. В статье Causal Methods for LLM Development and Evaluation предлагается использовать Causal Inference для оценки влияния наших решений на качество системы. Утверждения вроде "семантический чанкинг улучшает качество ответов RAG" - причинно-следственные. Т.е. мы утверждаем, что: 1) есть улучшение качества RAG 2) причина этого улучшения - смена схемы разбиения на чанки 3) имеющиеся данные позволяют подтвердить существование влияния и оценить его величину. Например, разработчики часто оценивают систему на основании логов (истории запросов). Но логи в общем случае не являются результатом рандомизированного эксперимента, а зависят от конфигурации системы, обратной связи от людей и ИИ, политик развертывания и т.д., подвержены выборочному смещению, дрейфу распределений и шуму в метках. Во время разработки составные части системы (модели, пользователи и выполняемые задачи) подстраиваются друг под друга (коадаптируются). Это увеличивает разрыв между прошлыми наблюдениями и тем, что мы увидим в проде. Непонятно, что повлияло на метрики - наши доработки, конфаундеры или просто шум оценки. Например, если система маршрутизации запросов отправляет более сложные вопросы дорогой модели, а простые - дешевой модели, наивный анализ логов может привести нас к выводу, что дорогая модель работает хуже, потому что в ее ответах больше ошибок. В causal Inference подходе мы учтем сложность запроса как конфаундер и уберем смещение матчингом или взвешиванием. Causal Inference предоставляет матаппарат и фреймворк для оценки эффекта, позволяет адресно работать с источниками дисперсии в оценке, более эффективно использовать имеющиеся данные, обеспечивает устойчивость и статистическую достоверность результата. Два ключевых момента в причинно-следственном анализе: идентифицируемость identifiability и оцениваемость estimability, проще говоря - позволяют ли наши данные и наши предположения о процессе генерации выявить и надежно оценить причинно-следственную связь. В статье разбираются типичные компоненты LLM-пайплайнов - претрейн, алайнмент, роутинг, RAG, мультиагентные системы и так далее. Приведены примеры подходов, которые могут сработать, и направления для дальнейших исследований. Фундаментальная проблема причинно-следственного вывода - невозможность наблюдать две версии системы одновременно (с воздействием и без него). LLM пайплайн - редкий случай, когда это почти возможно: один и тот же запрос прогоняется через две версии системы. Проблема не исчезает полностью (недетерминизм генерации, поведение пользователей), но возможность параллельного прогона пайплайна здорово упрощает офлайн-оценку. Строго и методично применяя доступные нам техники Causal Inference, можно построить эффективную и практичную систему оценки. Этим мы и займемся в следующих постах серии. Ваш @Reliable ML #reliable_ml #causal_inference #llm_evaluation

И ни слова про науку, мда

#зоопарк_из_слоновой_кости #научрук Сегодня начнем разговор о том, как грамотно выбрать научного руководителя... и не облажаться https://telegra.ph/Vybiraem-nauchnogo-rukovoditelya-ili-kak-ne-rabotat-na-mudakov-chast-1-vklyuchayushchaya-Ochen-Vazhnoe-Liricheskoe-Otstuplenie-N-06-09

Добро пожаловать в Sberloga in Data, Bjoern Siegbert Напиши пару слов о себе 👍

Всем привет! После Data Fest 2026 у нас осталась настоящая гора полезного контента 🤓 Мы подготовили записи выступлений🎥, собрали презентации 📄 и разместили это всё по трекам на ODS.ai, а также в нашей группе VK Видео. 🚀Отдаём вам первую порцию материалов, на текущий момент доступны: ▫️ Data и ML в Retail от X5 Tech ▫️ Data Fusion от ВТБ ▫️ GenAI от Сбера ▫️ LeanAI от Лемана Тех ▫️ ML in Marketplace от AvitoTech ▫️ Practical ML от Яндекса ▫️ Data Strategy ▫️ ML in Advertising ▫️ ML in DBMS ▫️ ML in Funtech ▫️ ML in Manufacturing ▫️ Open Career ▫️ Reliable ML Внутри — много сильных выступлений, практических кейсов и идей, которые точно пригодятся тем, кто работает с данными, ML и AI. В ближайшее время будем публиковать новые порции треков, а пока — контента уже хватит, чтобы устроить себе отличный марафон! Приятного просмотра 🫶

GigaChat Audio и GigaAM Multilingual: новые Open Source модели с поддержкой длинного контекста и языков СНГ 🔥 Полноценные audio-native LLM — пока редкость в опенсорсе, а почти весь прогресс в Speech AI сфокусирован на английском языке и коротких аудио. Качество существующих открытых моделей резко деградирует на low-resource языках и длинных контекстах Мы решили исправить обе проблемы и выкладываем в открытый доступ сразу две большие работы: расширенную версию GigaAM и новую GigaChat Audio с поддержкой длинных контекстов. Ценность обеих моделей и предложенных методов уже подтвердило научное сообщество — наши статьи приняли на главную мировую конференцию по речевым технологиям Interspeech 2026 GigaAM Multilingual Расширение нашей SOTA-модели распознавания речи на казахский, киргизский, узбекский и английский 🔘 Self-supervised Audio Encoder (240M / 600M) — предобучен на 2M часов речи на 70+ языках с фокусом на СНГ. Адаптируется к новым языкам быстрее и дешевле, чем Whisper и Omnilingual: на грузинском и башкирском дообучились с одного Common Voice до Word Error Rate ~4% — против 11%+ у Whisper Encoder 🔘 Multilingual CTC ASR (240M / 600M) — дообучены на 50k часов мультидоменной речи (ru/en/uz/ky/kk). Превосходят Whisper, Seamless и Omnilingual; даже компактная 240M обгоняет Whisper Large v3 и Omnilingual 1B при кратно меньшем размере (средний WER 12.2% против 14%+) 📖 arXiv 🤗 ai-sage/GigaAM-Multilingual 👩‍💻 salute-developers/GigaAM GigaChat Audio Audio-native LLM на базе GigaAM Multilingual и GigaChat3.1-10B-A1.8B. Поддерживает multi-turn диалог, классификацию аудио, перевод и распознавание речи, и temporal grounding — локализацию событий во времени, описание интервала аудио и суммаризацию с временными метками 🔘 Сильнее всего — в понимании времени: на записях 20–60 минут Intersection-over-Union локализации событий 48.3 против ~0 у Voxtral, Phi-4 и Qwen3-Omni. Держит контекст до 2 часов аудио 🔘 Отлично понимает русский: RuBQ-Audio 60.0 (против 43.7 у Qwen3-Omni), распознавание эмоций Dusha 90%+ 🔘 Представляем датасет TimeGround-1M — для обучения LLM привязке событий ко времени 📖 arXiv 🤗 ai-sage/GigaChat3.1-Audio-10B-A1.8B 🤗 ai-sage/TimeGround-1M Попробовать в проде Еще более мощные модели того же семейства доступны в наших сервисах: 🔘Обновленный GigaChat-Max-Audio — пользуйтесь на giga.chat и @gigachat_bot 🔘Распознавание на 5 языках — добавляйте в свои группы @smartspeech_sber_bot для распознавания голосовых Что дальше Проекту GigaAM уже третий год, и мы не перестаем его развивать: за последний квартал добавили таймстемпы для слов, конвертацию и запуск в Triton Inference Server, код дообучения под ваш домен и язык. Теперь выпустили в open-source и модель GigaChat-Audio, и уже обучаем следующий релиз. Следите за нашими обновлениями!

Ура, доклады с Датафеста! Секция ReliableML Датафеста доступна на сайте ods.ai https://ods.ai/tracks/df26-reliable-ml Секция DataStrategy с докладом Ирины тоже доступна https://ods.ai/tracks/df26-data-strategy Ваш @Reliable ML #reliable_ml #datafest #дождались

Вакансия: C++/Python Embedded Developer (Computer Vision, Edge AI) О проекте: Разработка высокопроизводительного ПО. Релокация в Абу-Даби, работа в офисе. Уровень middle+ / senior. Зарплата: от $10 000 на руки. Стек и задачи: · C++17, Python, Linux, Git, CMake, GStreamer; · Оптимизация пайплайнов обработки видео в реальном времени (CPU/GPU/CUDA); · Интеграция нейросетей (PyTorch → TensorRT/ONNX) на Edge-платформах (Jetson, Rockchip); · Калибровка камер, геометрия изображения, фильтры Калмана; · Реализация CV-алгоритмов (детекция, трекинг, сегментация, оптический поток, морфология); · Профилирование, диагностика, отказоустойчивость, телеметрия. Требования: · Глубокое знание C++ (многопоточность, синхронизация, сети) и Python; · Опыт с OpenCV, PyTorch, YOLO (fine-tuning), TensorRT/CUDA; · Понимание геометрического CV (PnP, гомография, калибровка); · Опыт разработки под ARM Linux, оптимизация для Edge-устройств; · Навыки работы с датасетами, метриками качества и валидацией моделей. Условия: · Полная занятость, релокация (Абу-Даби); · Вилка от $10 000/мес (на руки). Контакт для связи: @UkraintsevDS

#зоопарк_одобряет #дорогая_редакция Могут ли LLM решать задачи о растворимости? Подбор растворителя - рутина, с которой химик сталкивается постоянно: от органического синтеза до разработки лекарственных форм. Считать растворимость умеют и физические модели, и ML, но и то и другое требует специальных навыков. Химики из Института общей и неорганической химии #РАН (Москва) @chemrussia сделали SoluBench — открытый бенчмарк из 9806 вопросов. Собран он на экспериментальных данных из BigSolDB 2.0 и MixtureSolDB — двух баз растворимости (в чистых растворителях и в бинарных смесях соответственно), которые та же группа собрала и опубликовала ранее. Всего было сделано четыре задачи по нарастающей сложности: - выбрать лучший из двух растворителей - выбрать лучший из нескольких - предсказать, вырастет или упадёт растворимость при добавлении второго растворителя - сравнить два разных соединения в одном растворителе Протестировано больше 20 моделей, открытых и проприетарных. Лучший результат у Gemini 3 Flash — 90.6%, 66.2% и 86.4% на первых трёх задачах. Ограничения тоже видны: точность резко падает для крупных молекул (>500 Да) с длинными SMILES, тяжелее всего даются полярные апротонные растворители (в первую очередь ДМСО и ДМФА), а четвёртая задача требует включённого режима пошаговых рассуждений (reasoning). Для честного сравнения авторы обучили LightGBM на экспериментальных данных по схеме, где тестируемое соединение никогда не встречалось при обучении. На трёх задачах из четырёх LLM не уступают, а иногда и превосходят специально обученную модель, не имея доступа к обучающим данным. То есть обобщённые химические знания в них действительно закодированы — по крайней мере, на качественном уровне. Статья вышла в Journal of Chemical Information and Modeling (IF=6.4), данные и код открыты, так что проверить бенчмарк может любой желающий.