Mashkka про Data Science

Тренды из мира бенчмарков на ICML 2026 [2/2] SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale Ребята из Nebius расширили свой SWE-rebench на новые языки: сфокусировались на масштабируемости и пригодности для сбора RL-лёрна. Две ключевые части пайплайна: сборка окружения под каждый репозиторий и отбор задач для тестов. Окружение собирают собственным интерактивным агентом. Он читает README или конфиги репозиториев, пробует ставить зависимости и запускать тесты, а потом чинится по логам ошибок. Завершить цикл удалось только для 20% проектов. Для отбора задач весь набор тестов несколько раз прогоняли на версии до фикса (тесты падают) и после патча-решения (проходят). Оставили только те, где хотя бы один тест уверенно перешёл из fail в pass. Кроме этого, ребята разобрали траектории фронтир-моделей на 300 задачах. По фейлам составили таксономию типичных проблем, связанных с заданиями. Например, когда тесты цепляют посторонние модули или ждут имён, которых нет в постановке. Потом моделью протегировали все задания, чтобы можно было самостоятельно фильтровать более грязные таски. В итоге пайплайн, оценивая точность, оставил от стартового набора в 30 млн пул-реквестов только 32 тысячи задач. Зато помогает собрать окружение полностью автоматически. CoDA-Bench: Can Code Agents Handle Data-Intensive Tasks? Агентский бенч пытается закрыть навык на связку двух умений: найти нужные данные и проанализировать их. Для этого: 1. Отобрали файлы из датасетов Kaggle и построили графы их встречаемости в одном ноутбуке. Из этого сформировали «сообщества» и сложили их вместе. Так модели пришлось искать нужный файл не просто так, а среди связанных или близких. 2. От Kaggle ноутбуков перешли в ячейки, где подсчитывались конкретные числа. По этим ячейкам синтезировали вопрос. 3. Итеративно усложняли задачи так, чтобы топовые модели плохо справлялись. Поверх проверяли их работу экспертами-людьми. В итоге собрали 1000 задач и почти 1000 файлов. Лучшая связка Codex + GPT5.5 выбивает 60,5%. Отдельно проверили, что если сразу подсунуть нужный файл, то справляемость с задачей вырастает на 20+%. То есть, бенч по-настоящему задействует оба навыка: и поиск релевантного файла, и манипуляции с ним. MVI-Bench: Robustness to Misleading Visual Inputs in LVLMs Бенчмарк на устойчивость VLM к визуальным иллюзиям. Среди изображений для проверки — жёлтые зонтики, стоят так, что выглядит картошкой фри, фигурки с многозеркальными отражениями, муляжи печений вперемешку с настоящими. Всего оценивали 6 классов: окклюзию, понимание материалов, намеренную визуальную похожесть объектов, разницу между настоящими объектами и их 2D-изображениями, зеркала, иллюзии. Чтобы оценить именно устойчивость и понимание визуальных иллюзий в отрыве от сложности самого задания, бенч сформировали парами. Например, одна и та же сцена с обманкой и без неё или картинки с одинаковым вопросом и одинаковым правильным ответом. 600+ заданий в перекрытии проверили люди. Бенч получился довольно контрастным, с огромной разницей между нейросетевыми и человеческими оценками. Qwen2.5-VL (72B) — 57%, GPT-5 Chat — 64%, человек — 98% Implicit Intelligence — Evaluating Agents on What Users Don't Say Этот бенчмарк помогает отследить, выполняют ли нейросети требования, которые пользователь считает очевидными и не проговаривает явно. Пример с постера: «я иду спать, выключи свет». Вместо того, чтобы просто выключить свет во всем доме, надо посмотреть на состояние среды (одна спальня занята кем-то, в календаре есть movie night) и оставить свет включенным в медиа-комнате и в занятой спальне. Всего в бенч вошли 200+ сценариев на 300+ реальных действиях из Apple Shortcuts. Мир описан одним YAML-файлом и симулируется моделью. Агенту не прописывают явным образом правила мира, он должен читать контекст и понимать, что именно нужно сделать. Лучший результат показал Claude Opus 4.6 — 53,2%. Интересно, что extended thinking оказался неоднозначным улучшением: Claude помогает, а GPT, скорее, портит. Исследовала для вас бенчмарки ❣ Ирина Барская #YaICML2026 Душный NLP

🐾По следам вебинара Решаем задачу регрессии методами ML на Python На открытом вебинаре в OTUS рассказала про то, как устроена линейная регрессия и как ее обучать методом градиентного спуска (да-да, именно тем самым методом оптимизации, который по сути лежит в основе всех AI моделей сегодня). Заглянули регрессии под капот и научились применять ее на практике. @mashkka_ds 👀Запись 🖊Слайды 💻Практика 💡Полезные материалы по теме 📍Что почитать летом для изучения ML #ml #datascience #айтикурсы

Как защищать агентные ИИ-системы Разберём на AI Agent Security Week За 5 дней разберем, как защищать персональные и корпоративные данные, безопасно выдавать агентам доступ к инструментам и инфраструктуре, предотвращать утечки информации и устранять уязвимости. Что вы узнаете на интенсиве: ❓чем безопасность с помощью ИИ отличается от безопасности самих ИИ-систем ❓где находятся главные уязвимости ИИ-агентов ❓как работают prompt-инъекции ❓какие принципы и подходы лежат в основе защиты агентных ИИ-систем ❓с какими проблемами сталкивались разработчики разных ИИ-моделей ➡️ Регистрация до 27 июля ⬅️ Будет много кейсов и практики. Присоединяйтесь!

🐾По следам вебинара Lora и RAG: как адаптировать LLM под свои задачи и данные На открытом вебинаре в Otus разобрали методы работы с современными LLM такие как RAG и LORA. Обсудили концепции и, как понять, что выбрать именно вам для ваших задач. @mashkka_ds 👀Запись 🌐Слайды 📚Шпаргалка RAG vs LORA ✒️Bonus: практика RAG @mashkka_ds #llm #ai

Харнесс будущего. Какой он? Ответим на этот вопрос в формате стрима. Для этого я позвал очень интересных гостей: Александр Абрамов, автор канала Dealer.ai. Тимур Хахалев, автор канала Тимур Хахалев про AI Coding. Павел Рыков, автор канала Pavel Zloi. У нас с Пашей недавно был стрим "Что же такое harness?". Если ещё не посмотрели – welcome. На стриме обсудим, как текущие задачи, которые решаем с помощью AI-агентов, так и то, во что превратится harness в будущем. Какие изменения и вызовы ждут нас впереди. Дата и время проведения стрима: пятница, 17 июля, 16:00 (GMT+3) Место проведения: мой YouTube-канал Ссылка для добавления в календарь p.s.: вопросы на стрим – пишите в комментарии. p.p.s.: делитесь найденными на превью пасхалками :)

#justaboutme Июльские выходы в свет in the dark Июль выдался насыщенным на тусовки - как давно я не была на вечеринках и как мне не хватало этого огня. А еще отсняли очередное видео. Скоро премьера. Правда релиз запланирован для предыдущего видео с байком, а это выйдет уже в августе. ❕#justaboutme — воскресная рубрика, в которой я делюсь яркими событиями из своей жизни, не связанными с DS и ИТ, подобно тому, как я это делаю в соцсетях (например, в инсте или VK). @mashkka_ds #communitymoscow #летовгороде

Друзья, нас в канале уже больше 5000! Это новый рубеж для меня! Спасибо всем, кто читает этот канал - вы вдохновляете меня продолжать и писать интересные и полезные посты!

#пятничныемемасы подсмотрены тут

💬 Статьи на топовые конференции пишут только большие учёные из крутых университетов 💬 Кто сказал? Развеиваем миф В больших компаниях мы постоянно создаём сильные прикладные решения на основе агентов и RAG-системы, обучаем ИИ-модели, собираем датасеты и придумываем новые бенчмарки. Результаты действительно крутые — международного уровня! Но часто дальше поста на Хабре они не идут. А ведь это вполне можно превратить в научную статью, достойную лучших конференций по AI. Главное — знать как! В новой серии постов расскажем пошаговый рецепт: от обзора конференций до гайдов написания статей по этапам. Сегодня отвечаем на самый важный вопрос: о чём вообще писать? Основой для статьи могут стать самые разные наработки: 🤩 новая комбинация известных методов 🤩 новый датасет или бенчмарк 🤩 исследование устойчивости и поведения моделей и агентов в нишевых условиях — например, при общении на чувствительные темы 🤩 SoTA-результат на известном бенчмарке с понятным и воспроизводимым методом или нестандартной комбинацией уже имеющихся методов 🤩 хорошо задокументированная система с демонстрацией работы Тему выбрали! Про следующий шаг расскажем уже через неделю. Будете ждать? ❤️ — конечно буду 🔥 — хочу сразу всё... ✔️ Подписывайтесь на Sber AI в МАКС

💵 GigaChat 3.5 Ultra: меньше, быстрее, сильнее Сегодня мы выкладываем в open source GigaChat 3.5 Ultra — новую 432B-модель под MIT-лицензией. Это первый в open source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров, — с собственным рецептом обучения, который мы собирали больше чем в 1500 экспериментах. Модель выросла в коде, математике, агентных сценариях и на аренах — и при этом стала на 40% меньше, чем GigaChat 3.1 Ultra. Что внутри: 🔘Собственная гибридная архитектура MLA + GatedDeltaNet с придуманной нами уникальной стабилизирующей обвязкой, без которой такой гибрид на этом масштабе просто не обучается; 🔘Gated Attention — модель может локально приглушать слишком сильный сигнал из attention-слоя; 🔘GatedNorm — нормализация с явным гейтом для управления масштабом сигнала между признаками. Модернизация этого слоя позволила нам стабильно обучать модели с большим количеством параметров. 🔘Линейный слой требует в 4 раза меньше KV-кеша на токен, в ту же память позволяет поместить в 2,14 раза больше контекста, throughput под нагрузкой растет на +20%; 🔘Две MTP-головы и ускорение генерации до 2,2 раза; 🔘FP8 на всех этапах обучения без потери качества относительно bf16 — свои Triton- и CUDA-ядра; 🔘Новый этап online RL после SFT и DPO. Результаты: 🔘GigaChat-3.5-Ultra-Base обходит DeepSeek V3.2 Exp Base и DeepSeek V4 Flash Base в среднем по нашему набору general-, math- и code-бенчмарков (полные таблицы — в статье); 🔘GigaChat-3.5-Ultra-Instant сравним с DeepSeek V3.2 по среднему скору, будучи в полтора раза меньше; 🔘По LLM-судье MiniMax-M2.7 средний win-rate против GigaChat 3.1 Ultra — 75,9%, а против GPT-5 — 68.7%. Весь стек — данные (своя LLM-фильтрация Common Crawl, 600+ языков программирования в коде), архитектура, рецепт обучения, инфраструктура — сделан нами end-to-end. 🤖 Подробности, включая детали реализации гейтов и рецепт стабилизации, — в статье на Habr. ➡️HuggingFace | GitVerse