Sinекура

А что вы думаете об истории с запретом Claude Fable? Напомню, что в прошлую пятницу администрация Трампа наложила export controls на Mythos и Fable (ну то есть Fable, Mythos и так никто не релизил). Формально это значит, что Fable можно пользоваться только гражданам США, ну а фактически (разумеется, все это понимали) значит, что нельзя никому, потому что гражданство проверить невозможно. Поводом стал какой-то непонятный jailbreak, который сам по себе ничего не значит и никак не отличает Fable от всех остальных моделей (не существует LLM, устойчивых к такого рода jailbreaks). Вот подробный разбор от как всегда великолепного Zvi Mowshowitz, не устаю рекомендовать его блог. Моё личное мнение — конкретно эта ситуация выглядит как недоразумение + атака конкретно на Anthropic, с которым у некоторых конкретных людей в администрации Трампа довольно конкретный конфликт. Напомню историю про supply chain risk designation со стороны Department of War, которая тогда вроде бы закончилась хорошо для Anthropic, но все понимают, что определённый класс людей не может принять поражение и ничего не забывает. Но безотносительно конкретной администрации: не знак ли это нашего скорого будущего?.. Тут уж не знаю, что и думать. Как минимум, это серьёзное изменение окна Овертона: раньше правительство США не то чтобы не могло себе такого позволить (оно и не такое может), но не пыталось никак контролировать AI-индустрию, тем более по государственным границам. Даже в плохом смысле слова не пыталось, не реагируя на запросы со стороны AI safety. Как кто-то написал в ответ на эту новость (не вспомню уже где видел), welcome to the permanent underclass... #ai #news

Пост готов, извольте кушать! Здесь, как всегда, только краткое саммари, а читать во всех подробностях надо тут: Recoverable but not stationary: линейные структуры в весах и активациях У нас с моим давним другом и соавтором Ириной Пионтковской недавно вышла статья “Recoverable but Not Stationary: Local Linear Structures in Weights and Activations“ [...] Она про геометрию того, что происходит с нейросетью, когда мы её дообучаем, — и про то, почему так много разных способов “редактировать” уже обученную модель оказываются по сути линейными. [...] Линейное дообучение. Чтобы подкрутить поведение обученной модели, часто достаточно сдвинуть веса или активации вдоль одного линейного направления — так устроены task vectors, model soups, TIES, LoRA, а в пространстве активаций — activation steering, function vectors, representation engineering, ReFT. А недавние "neural thickets" и вовсе показывают, что вокруг предобученной модели плотно растут полезные направления, которые находит даже случайный поиск. Какая линейная структура реально есть в обученной сети, где она живёт и как далеко по ней можно двигаться? Восстановление после забывания. Чтобы получить честный "правильный ответ", мы устроили специальный цикл: обучаем сеть на смеси задач, доучиваем на одной (остальные забываются), а потом несколькими шагами градиента восстанавливаем. Сдвиг этого восстановления и есть цель, с которой мы сравниваем кандидатов на "правильное подпространство" — локальное подпространство задачи, префикс траектории и крыловский базис. Теория. Мы объясняем, почему случайный поиск вообще что-то находит в пространстве на миллиард весов: проекция случайного возмущения на полезное направление не зависит от размерности, а best-of-N усиливает её, почти не задевая соседние задачи — польза концентрируется, вред размазывается. Здесь есть прямо теоремы, хоть и простенькие. Что показывают эксперименты: три масштаба. На синтетическом трансформере подпространство задачи действительно "уезжает" по ходу восстановления. На LoRA-адаптерах — главный количественный результат, точно подтверждающий теорию. На больших LLM картина более мутная, зато связь с активациями работает красиво. Более широкая проверка. Мы сделали и более крупный независимый стресс-тест (кстати, во многом силами AI-агентов). И всё устояло: геометрия восстановления воспроизводится, префикс остаётся особым низкоразмерным объектом, и мы даже новый результат увидели, о том, что префикс — это вообще не крыловское подпространство. Как всё это складывается вместе. Попробую теперь собрать общую картину. Наш итоговый вывод получается в каком-то смысле отрицательным. Неверно, что нет никакой линейной структуры — она есть! Но нет и единого глобального вектора задачи (task vector). Оказалось, что обученные задачи дают локальную низкоразмерную структуру, которая сильно зависит от того, где и как смотреть. [...] Объединяющая мысль простая: линейная структура в обученных сетях реальна, но локальна — она движется по мере обучения, зависит от масштаба и выглядит по-разному в весах и в активациях. [...] Куда дальше? Здесь много разных направлений, и мы, конечно, продолжаем. Упомяну, например, один глубокий вопрос, который эта работа ставит, но не решает: почему вообще полностью обученные чекпойнты содержат рядом возмущения, способные резко улучшить конкретную задачу? Откуда берутся эти крайне избирательные локальные направления и когда они возникают — при предобучении, при дообучении, или это свойство самого ландшафта потерь? Это мне кажется важным продолжением наших исследований. В общем, кажется, что мы нащупали правильную оптику, через которую разрозненные результаты о линейности и маленьких подпространствах становятся проявлениями одной локальной и подвижной геометрии. Большое спасибо Ирине за совместную работу над всем этим, и надеюсь, что самое интересное ещё впереди! #blog #ai #longreads #research

Большой пост про науку готовится и уже почти готов. А пока у нас маленькая и чертовски "девочковая" игра. Но хоть я и мальчик, мне в целом понравилось: Open Roads: добрая женская игра про жизнь (и вот выложил на DTF) Начну с бэкграунда: Open Roads делала студия Fullbright, которая когда-то выпустила Gone Home (2013), один из основателей жанра симуляторов ходьбы, и Tacoma (2017), в которую я играл когда-то давно с удовольствием. Анонсировали Open Roads в 2020 году, на главные роли пригласили настоящих больших актрис Кери Расселл и Кейтлин Дивер — для маленькой инди-игры это прямо звёздная озвучка. А потом что-то пошло не так. В 2021-м в Polygon вышел большой материал о токсичном поведении основателя Fullbright Стива Гейнора по отношению к команде; половина студии ушла, проект чуть не развалился. В итоге Гейнор покинул Open Roads, а игру доделывала уже отдельная команда бывших фуллбрайтовцев. Но всё-таки в итоге игра вышла. На дворе осень 2003-го, и ты играешь за девочку-подростка по имени Тэсс. У неё недавно умерла бабушка, и вот они с мамой Опал приехали разбирать вещи, оставшиеся в доме бабушки после окончательной распродажи. Сам дом тоже пришлось продать. Да и вообще у них с мамой серьёзные финансовые трудности, а с папой мама уже давно в разводе, и вроде как он бросил семью и уехал куда-то на заработки. Но тут ты начинаешь находить всякие вещи и записочки, и оказывается, что бабушка была отнюдь не проста. Кажется, у неё был поклонник (скорее даже больше чем поклонник), который объявился вскоре после смерти дедушки, и его тоже можно попытаться разыскать. Тэсс уговаривает маму устроить road trip, и они едут по заброшенным семейным владениям — от старого дома на “дачу”, а потом и к озеру у канадской границы. Не знаю даже, о чём ещё тут рассказать, кроме сюжета, который не хочется спойлерить. Стиль игры приятный: светлые неплохо проработанные 3D-окружения от первого лица, которые перемежаются корявыми, но милыми двумерными анимациями персонажей. Геймплей сводится к поиску предметов и диалогам — интересных головоломок тут не ждите. Но атмосфера классического американского road trip передана здорово. В итоге получается совершенно обычное бытовое приключение. Но хорошо сделано! Интересная история, хорошая динамика отношений между мамой и дочерью, актёрская игра действительно на уровне. Да и длится всего пару часов. Стоит попробовать. #tgif #games

Мы с моим давним другом и соавтором Ириной Пионтковской недавно написали статью, и вот препринт выложили: Recoverable but Not Stationary: Local Linear Structures in Weights and Activations Это направление мне нравится и кажется интересным: это о том, как устроено пространство весов и активаций сети в окрестности минимума, особенно multi-task минимума, когда мы обучаем сеть делать сразу несколько вещей. Есть куча работ о том, что там есть линейная структура, относительно небольшой набор направлений, вдоль которых происходят интересные вещи, — но как именно там эта локальная геометрия устроена? Как её изучать и что получится? На какие-то вопросы мы пытаемся ответить в статье, но кажется, что эта наука пока ещё только начинается, и там ещё много интересного впереди. Вам был бы интересен подробный пост об этой статье и вообще о том, на каких идеях всё это основано? #research #ai

Играем мы пока что как известная субстанция, но зато посмотрите, какой потрясающий плакат для нас сделала девушка Женя. :) #chgk #lifestyle