Kali Novskaya

У меня на этой неделе был юбилей — два года в компании. Было 100500 сокращений и реоргов, перестала считать. Пришла в LLama, сейчас я в Meta SuperIntelligence Labs занимаюсь рисерч-агентами. По статистике, два года — это рубеж 50%: половина людей в компании меньше этого срока, а половина больше. Многие приходят и уходят быстро, и чем выше левел, тем выше вероятность отвалиться в первый год. Но если не уволился за первые два года — считай есть шанс протянуть подольше, так как дальше хвост распределения растягивается медленно. #карьера #не_про_nlp Ну, еще покурим!😈

Илья мб и грубовато написал, но в целом весь ML опен сорс держится на людях, которые бесплатно трудятся и берут на себя такие огромные риски. Если каждый ресурс будет кошмарить авторов датасетов, никаких открытых LLM не будет. Удивительно это видеть от Хабра. Американское же прецедентное право в этом смысле очень явно выразилось: это Fair use.

Вот такую писюльку получил 5 минут назад. Нахуй Хабр. Не пишите туда, не читайте его. Датасет я не закрою, пока они не соизволят написать нормальное письмо. После этого сделаю приватным, если кому-то будет нужен - пишите в личку. А лучше скачайте сейчас.

🌸Harness Engineering for Recursive Self-improvement🌸 #nlp #про_nlp Отличный обзор на все текущие работы о self-improving scaffolds 🟣https://lilianweng.github.io/posts/2026-07-04-harness/

Пятница! Нужен мемотред #шитпост

🌸AI Can Learn Scientific Taste🌸 #nlp #про_nlp Как отличить хорошую научную идеи от средней? Часто говорят об интуиции или вкусе, которые годами вырабатывают ученые. А можно ли его передать LLM? 🌸TL;DR Интересная статья из списка для чтения: "AI Can Learn Scientific Taste". Авторы предлагают эксперимент на большом объеме публикаций: можно ли попробовать обучить LLM "вкусу" к импактным идеям без формального определения. Проблема сформулирована как 2 способности: 🟣judgement capability — способность ранжировать пары идей — и объяснять, почему 🟣ideation capability — способность генерировать внятные новые научные идеи. Чтобы сравнивать идеи между собой, авторы используют количество цитирований как прокси-метрику — у какой статьи цитирований больше, та и лучше. В рамках экспериментов получены 🟣Модель Scientific Judge — SciJudge на базе GRPO на цитированиях 🟣Полиси-модель Scientific Thinker, которая учится генерировать научные идеи, используя сигнал от SciJudge и обновляя политику на базе comparison-based GRPO Scientific Judge вполне убедительно побеждает в качестве попарного ранжирования статей в сравнении с другими моделями — вин-рейт в районе 70% Scientific Thinker качественно экспериментально не оценен, но по консенсусу GPT-5.2, GLM-5 и Gemini 3 Pro новизна идей существенная. Обе модели представлены в формате 4B и 30B, и даже есть некоторое подобие Scaling laws. 🌸Данные 700,000 пар статей из arXiv (заголовки и абстракты) Пары составлены таким образом, чтобы попарно сравнивались статьи одного времени выхода и области, чтобы избежать разницы в росте цитат во времени. Помимо Computer Science для обучения, часть данных для оценки качества включает математику, физику и биологию (bioRxiv) — и на этих парах улучшение точности ранжирования тоже сохранилось. Есть отложенная часть выборки "из будущего": с датой публикации после предобучения базовых моделей. На них качество работы пока что сохранилось. 🌸Может ли это работать? Может, но в ограниченном количестве случаев. Какое-то рациональное зерно в попарном сравнении идей одного года и домена может быть вполне полезно, чтобы выучить некоторые паттерны оценки научных идей: насколько идея хорошо масштабируется, есть ли у нее кросс-дисциплинарный потенциал, есть ли новизна и т.д. Однако, сама метрика цитирований остается слишком шумной, чтобы опираться на нее как есть. В тому же, саму по себе новизну таким образом определить невозможно, так как у нас есть временная утечка — базовая LLM (Qwen3), конечно, уже имела оцениваемые пары статей в претрейне. Для меня нет, в общем-то, самого главного эксперимента, который бы показывал результат: end2end улучшение прогресса какого-то агента, использующего такую модель в экспериментах. "Вкус" к науке остается неопределим, и использовать такие модели стоит с оговорками и уточненным пониманием, чему же мы учим модель на самом деле. Есть гораздо более объективно формализуемые части научных экспериментов. 🟣Paper: https://arxiv.org/abs/2603.14473 🟣Github: https://github.com/tongjingqi/AI-Can-Learn-Scientific-Taste 🟣Модели: https://huggingface.co/OpenMOSS-Team/SciThinker-30B https://huggingface.co/OpenMOSS-Team/SciJudge-30B

🌸Без Claude: подборка OSS агентных и кодинг-моделей 🌸 #nlp #про_nlp В последнее время буквально каждую неделю был большой OSS релиз, и все примерно на одну тему: разворачиваем кодинг и агентные модели без Anthropic/OpenAI. 🌸Cohere North mini 🔥 Хорошая модель с сильными способностями к кодингу, можно инференсить FP8 на одной H100, инференс оптимизирован. Пока что (на этой неделе) гордое звание европейской SOTA для моделей такого же размера. Qwen 3.6 лучше по основным метрикам, но экспортный контроль их не всем разрешает. MoE 30B-A3B, лицензия Apache 2.0 🟣https://cohere.com/blog/north-mini-code 🌸Poolside Laguna XS.2 Конкурент Cohere North mini, модель так же хороша на кодинг-бенчмарках. Разница в метриках в пределах погрешности. MoE 33B-A3B, Apache 2.0 🟣https://huggingface.co/poolside/Laguna-XS.2 🟣https://poolside.ai/blog/introducing-laguna-xs2-m1 🌸Семейство Gemma 4 Diffusion Gemma — Мультимодальная модель с дискретным диффузионным декодированием вместо авторегрессивного, что дает значительный прирост скорости инференса. MoE 26B-A4B, Apache 2.0. 🟣https://huggingface.co/google/diffusiongemma-26B-A4B-it 🟣https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/ Gemma 4 — Основная модель семейства с сильными общими способностями, выходит в двух вариантах (MoE 26B-A4B и Dense 31B). Хороший баланс качества и размера — Dense 31B влезает на одну GPU. MoE 26B-A4B, Dense 31B 🟣https://huggingface.co/google/gemma-4-31B-it Function Gemma — версия для tool calling: структурированный вывод вызовов функций, парсинг аргументов, поддержка параллельных и вложенных вызовов. MoE 26B-A4B, Apache 2.0 🟣https://blog.google/innovation-and-ai/technology/developers-tools/functiongemma/ 🌸Qwen 3.6 Фокус на агентном кодинге: лучше работает с фронтендом, рассуждает на уровне репозитория, умеет сохранять thinking-контекст между сообщениями. MoE 35B-A3B и Dense 27B, мультимодальная (vision), Apache 2.0. 🟣https://huggingface.co/Qwen/Qwen3.6-35B-A3B 🌸Mellum 12B Самая маленькая модель из списка, заточенная под кодинг: code generation, editing, debugging, tool use и агентные сценарии. MoE 12B (2.5B активных), 128K контекст, есть Instruct и Thinking варианты, Apache 2.0 — можно крутить на одной потребительской GPU. 🟣https://huggingface.co/blog/JetBrains/mellum2-launch 🌸Kimi K 2.6 Флагман Moonshot AI: MoE ~1T (32B активных), 262K контекст. Ключевая фича — Agent Swarm: модель сама декомпозирует задачу на до 300 параллельных суб-агентов. SWE-bench Pro 58.6%, Terminal-Bench 66.7%. Modified MIT. 🟣https://huggingface.co/moonshotai/Kimi-K2.6 🌸DeepSeek 4 Pro Самая крупная OSS модель: MoE 1.6T (49B активных), контекст 1M токенов, MIT. Лидер на кодинг-бенчмарках (SWE-bench Verified 80.6%, LiveCodeBench 93.5%, Codeforces рейтинг 3206). Только текст. 🟣https://ollama.com/library/deepseek-v4-pro 🌸GLM 5 MoE 745B (44B активных), 202K контекст. Мультимодальная, хороша на кодинге и агентных задачах (AutoGLM). Лицензия MIT. 🟣https://z.ai/blog/glm-5 🌸Minimax M3 Нативно мультимодальная модель (текст + изображения + видео), MoE ~428B (23B активных), 1M контекст. Основной конкурент Qwen для кодинга. Лицензия не пермиссивная. 🟣https://huggingface.co/MiniMaxAI/MiniMax-M3 🌸IBM Granite 4.1 Семейство enterprise-моделей для кодинга и RAG от IBM. Фокус на лицензионную чистоту данных и trustworthiness. Мне понравился техрепорт про стадии пре- и мидтренинга. Apache 2.0. 🟣https://huggingface.co/blog/ibm-granite/granite-4-1 🌸Mistral family Magistral — reasoning-модель, обучена чистым RL, мультиязычная, прозрачный chain-of-thought. Small 24B (open-source) и Medium (closed). Devstral — кодинг-модель для агентных задач, оптимизирована для Vibe CLI. Codestral — специализированная модель для code generation, 80+ языков. 🟣https://mistral.ai/news/mistral-small-4/ 🌸Community Finetunes: Файнтюны на Qwen3.6 и Gemma 4 с "uncensored" мышлением — для тех, кому нужна модель без ограничений на генерацию. 🟣Qwen 3.6 🟣Gemma 4

На неделе выступила в качестве спикера в зазеркальном лондонском аналоге ФКН НИУ ВШЭ: LSE - London School of Economics, Department of Statistics. Поговорили про проблемы ИИ-рецензирования ИИ-статей, и что делать дальше. Даже напечатали меня. 👌