gonzo-обзоры ML статей

В крупной айти компании работает программист. Рядом на мониторе постоянно запущен оцифрованный мозг мухи и наблюдает, как он пишет код. Стоит программисту куда-нибудь отойти — муха занимает его место и вполне успешно дописывает программу. Начальство это замечает и в итоге увольняет программиста: зачем платить человеку, если муха справляется. Через некоторое время ему звонят: — Иваныч, возвращайся, нам опять программист нужен. — А муха куда делась? — Муха уже тимлидом стала, нам опять программист нужен.

Мемы про муху не прекращаются. Извинити.

Дистилляция в байтовые модели открывает новые законы скейлинга. Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models Kalyani Marathe, Artidoro Pagnoni, Tomasz Limisiewicz, Margaret Li, Mike Lewis, Luke Zettlemoyer, Srinivasan Iyer Paper: https://arxiv.org/abs/2609.12303 Review: https://arxiviq.substack.com/p/breaking-the-token-ceiling-distilling Code: N/A Model: N/A ЧТО сделали: Авторы провели масштабное теоретическое и эмпирическое исследование овертрейнинга dense-трансформеров с архитектурой decoder-only на стыке двух осей: парадигмы токенизации (BPE-токены против сырых байтов UTF-8) и функции потерь (supervised cross-entropy против дистилляции знаний). Чтобы переносить знания от крупных моделей-учителей с BPE-словарями без вычислительно неподъёмных многопроходных авторегрессионных вычислений, исследователи разработали два метода однопроходной конвертации логитов: приближённую условную маргинализацию Marginalize-It и точный метод End-Of-Token, расширяющий байтовый словарь структурным разделителем конца токена <eot>. Обучив сетку 1B-моделей на объёме до 1 триллиона байт с учителем Llama 3-8B, авторы вывели степенные законы скейлинга, связывающие тренировочные FLOPs, валидационный лосс в битах на байт (BPB) и точность на восьми бенчмарках. ПОЧЕМУ это важно: Общепринятые подходы к токенизации опираются на эвристики вроде Byte Pair Encoding (BPE), которые создают узкие места в репрезентации данных, раздувают словарь, страдают от артефактов на границах слов и требуют колоссальных объёмов памяти для сохранения логитов при офлайн-дистилляции. Байтовые архитектуры традиционно уступали токенным при малых вычислительных бюджетах из-за удлинения последовательностей. Однако эта работа доказывает, что байтовые модели демонстрируют значительно более крутую траекторию скейлинга и заметно более высокий асимптотический потолок качества. Точно дистиллированные байтовые модели превосходят токенные аналоги по средней точности на задачах на величину до 4%, догоняют их по качеству всего на 1/6 объёма обучающих данных и сокращают затраты дискового пространства на хранение логитов учителя примерно в пять раз за счёт отказа от усечения top-k. Для практиков: Долгое время считалось, что учить языковые модели напрямую на сырых символах или байтах вычислительно неэффективно по сравнению с BPE-токенизацией. Данная работа опровергает этот тезис для режимов длительного обучения с большим бюджетом вычислений. При переносе знаний из 8B-учителя в компактные 1B-модели токенные ученики быстро упираются в плато, где дальнейшие вычисления дают околонулевой прирост. Байтовые модели стартуют медленнее, так как тратят ресурсы на сборку слов из байтов, но сохраняют устойчивый прогресс на длинной дистанции. Добавление простого разделителя <eot> позволяет переводить распределение учителя в байтовые последовательности за один проход, обеспечивая то же качество при экономии 84% обучающих данных и 80% места на диске под логиты. Если ваша цель — выжать максимум качества из компактной модели для инференса на устройствах при наличии мощностей для долгого обучения, дистилляция напрямую в байтовую архитектуру позволяет преодолеть фундаментальные ограничения стандартных токенизаторов. Дистиллировать в байты тут: https://t.me/gonzo_ML_podcasts/4805

Очень прикольная работа, продолжает другую работу этих же авторов, где проблема отслеживания состояния внутри трансформеров (которое только уползает вверх и ограничено глубиной сети) только обозначалась. Здесь же она решается довольно элегантным образом, используя свойство аддитивности residual stream. Если подмешивать в более ранние слои репрезентации с более поздних, то проблема снимается. Никакого дообучения вообще. Recirculation Michael C. Mozer, Shoaib Ahmed Siddiqui, Danny Sawyer, Sunny Sanyal, Rosanne Liu Paper: https://arxiv.org/abs/2608.17981 Review: https://arxiviq.substack.com/p/recirculation Code: N/A Model: N/A ЧТО сделали: Авторы предложили рециркуляцию (recirculation) — метод модификации прямого прохода, превращающий стандартные feedforward-трансформеры в динамические системы на инференсе. Подход подмешивает нормированную часть скрытых активаций из глубоких слоёв обратно в ранние слои на последующих шагах генерации, не меняя при этом предобученные веса. ПОЧЕМУ это важно: Обычные feedforward-трансформеры не способны произвольно отслеживать состояние на длинных последовательностях, поскольку передача контекста принципиально ограничена глубиной сети. Рециркуляция предлагает вычислительно дешёвый механизм без необходимости дообучения, который опирается на линейное выравнивание residual stream для поддержания устойчивых скрытых состояний. Это даёт заметное снижение перплексии и прирост качества на прикладных задачах (например, относительный рост на 21% на GSM8k). Для практиков: Современные LLM часто теряют контекст диалога или меняющийся смысл понятий, так как вычисляют представления строго по слоям снизу вверх. Вместо дорогостоящего изменения архитектуры или файнтюнинга авторы показывают, что в готовых моделях уже заложено нужное внутреннее выравнивание представлений. Подмешивая небольшую долю глубоких репрезентаций в ранние слои по ходу чтения текста, можно существенно повысить стабильность контекста, цепочки рассуждений и точность следования инструкциям на инференсе, вообще не трогая параметры модели. Рециркулировать тут: https://t.me/gonzo_ML_podcasts/4804

Про важность хороших бейзлайнов и качественную сантехнику. Sliding-Window Beats Linear Attention Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina Cameron, Emy Gervais Paper: https://arxiv.org/abs/2608.28444v1 Review: https://arxiviq.substack.com/p/sliding-window-beats-linear-attention ЧТО сделали: Авторы поставили под сомнение популярную практику дистилляции стандартных квадратичных LLM в линейные декодеры и гибридные state-space модели. Проведя систематический бенчмарк на семействах моделей от 1.3B до 70B параметров, исследователи показали: обычный механизм Sliding Window Attention с начальными attention sinks, обозначаемый как SWA(w, s), вообще без дообучения не уступает сложным пост-обученным линейным архитектурам на стандартных downstream-задачах, а в длинном контексте и задачах на рассуждение с разгромом их побеждает. ПОЧЕМУ это важно: Последние пару лет индустрия вливала огромные ресурсы в дистилляцию полносвязных трансформеров в линейные альтернативы вроде LoLCATs и Liger-GLA, стремясь побороть линейный рост KV-кэша. Эта статья вскрывает фундаментальную методологическую ошибку предшественников: линейные методы сравнивали с некорректным бейзлайном — скользящим окном без синк-токенов, которое неизбежно деградирует. Если же взять корректный бейзлайн — локальное окно всего с четырьмя статическими токенами в начале, — многостадийная дистилляция, LoRA-адаптеры и кастомные аппаратные кернелы оказываются попросту лишними. Для практиков: Обслуживание современных моделей обходится дорого: каждый новый токен диалога раздувает KV-кэш, сжирая видеопамять GPU и замедляя генерацию. Чтобы с этим справиться, инженеры городили замысловатые схемы дистилляции, упаковывая историю контекста в скрытое состояние фиксированного размера. Как выяснилось, элементарный трюк без обучения — закрепить первые 4 токена в роли «якоря» и поддерживать небольшое скользящее окно недавних токенов — даёт сравнимое или даже более высокое качество на бенчмарках, декодирует токены быстрее, расходует меньше памяти и в 2–10 раз превосходит дистиллированные линейные модели при поиске фактов в длинном контексте. Не нужно городить дорогие пайплайны дообучения ради экономии памяти на инференсе: стандартные кернелы внимания с локальным окном и attention sinks обеспечивают превосходную Парето-эффективность прямо из коробки. Прокачивать слив тут: https://t.me/gonzo_ML_podcasts/4803

В стане концептуальных моделей (самая известная, наверное, была LCM) пополнения, скейлим модели и делаем их более end-to-end. Хороший результат, практически вдвое более быстрое обучение по сравнению с LLM бейзлайном (OLMo). NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction Jiaqi Cao, Chiyu Chen, Shuang Cheng, Xu Cheng, Beiya Dai, Yufan Feng, Kewen Ge, Ruijun Ge, Jiayi Huang, Yang Jiao, Dahua Lin, Zhouhan Lin, Yifan Liu, Yuliang Liu, Biqing Qi, Mowen Ruan, Junzhe Shen, Yunchong Song, Hao Sun, Zhongbo Tian, Yixuan Wang, Rubin Wei, Jiaxin Xiong, Kangyu Yang, Qian Yao, Qi Zhang, Bowen Zhou (The Intern-NCP Team) Paper: https://arxiv.org/abs/2609.10715 Review: https://arxiviq.substack.com/p/ncp-archpreview-technical-report Code: https://github.com/InternLM/lmdeploy, https://github.com/LUMIA-Group/ncp_olmo_eval Model: https://huggingface.co/collections/ArchSpace-Collection/ncp-archpreview ЧТО сделали: Авторы представили NCP-ArchPreview — модель с латентным пространством на 8.94B параметров, предобученную на 5.73T токенов датасета Dolma-3. Архитектура модифицирует стандартный авторегрессионный процесс: между 16-слойным энкодером токенов и 16-слойным декодером токенов внедрён промежуточный 8-слойный модуль концептов (Concept Module). Вместо оптимизации исключительно под предсказание следующего токена, система объединяет скрытые состояния токенов в спаны, квантует их в дискретный кодбук с помощью Product Quantization и обучает модель end-to-end параллельно предсказывать будущие концепты и генерировать токены, связывая уровни динамическими иерархическими residual connections. ПОЧЕМУ это важно: Классические авторегрессионные языковые модели страдают от «близорукости» локальной оптимизации: семантическое планирование на уровне фраз возникает лишь как побочный эффект минимизации пословной кросс-энтропии. Превращая дискретные латентные репрезентации в полноценные таргеты обучения, NCP-ArchPreview достигает финального лосса бейзлайна OLMo-3-7B, расходуя лишь 51.3% вычислительных ресурсов (ускорение сходимости в 1.95× и выигрыш по Парето-эффективности вычислений в 1.74×). Кроме того, дискретное пространство концептов открывает возможность эффективного файнтюнинга через интерфейс кодбука размером всего 17M параметров и повышает долю принятых токенов в speculative decoding за счёт явной контекстной траектории. Для практиков: Современные LLM генерируют текст слово за словом — примерно как человек, который начинает говорить, совершенно не продумав фразу заранее. Такой прямолинейный подход требует триллионов токенов, чтобы сеть выучила абстрактные идеи и логические структуры. В этой работе модель учат параллельно планировать высокоуровневые концепты на несколько слов вперёд и выводить токены последовательно. В результате сеть обучается почти в два раза быстрее, увереннее справляется с математикой и задачами на рассуждение, а также получает модульный словарь идей, который можно адаптировать под специализированные домены без риска забывания базовых знаний или использовать для ускорения генерации практически без оверхеда по памяти. Обучать концепты тут: https://t.me/gonzo_ML_podcasts/4802