Kali Novskaya

Через полчаса начинаем! Приходите!

🌸Стрим на Рабкоре 20.00 мск🌸 Вчера такая дискуссия разгорелась, давайте делать стрим. На Рабкоре в 20 по мск, 18 по Лондону. Поговорим про замедление, зачем оно вообще нужно, согласится ли Китай? Приходите! 🟣Youtube: https://www.youtube.com/live/kMbfjDBtjew?is=yQUIZLGn0mQ18vcq

🌸Замедление и ускорение 🌸 #не_про_nlp Поворчу, пока идут разговоры о том, что обучение моделей надо замедлить, а то и вовсе приостановить. Прошла незаметной новость о том, что Alibaba выложили в опен сорс модель, диагностирующую 150 заболеваний по КТ снимкам, в том числе несколько видов рака. 🟣HF Damo Radar https://huggingface.co/Alibaba-DAMO-Academy/RADAR Модель уже протестировали на 400тыс клинических случаев и в разных больницах — модель оказалась в большинстве случаев точнее радиологов. Вышла публикация в Science Нет сил, если честно, читать и комментировать все эти новости о том что там где замедлили (читай: где кончились деньги и кому надо нагнать страха перед IPO), но в конечном счёте, все сводится как обычно, к управленческой воле. Можно использовать и применять ИИ для решения всех важнейших проблем человечества: 🟣 улучшение качества и доступности диагностики 🟣 улучшение стандартов и доступности образования 🟣 лучшее прогнозирование спроса и предложения, моделирование экономических процессов 🟣 ускорение научного прогресса во всех моделирующих науках. А можно вместо этого стремиться все зарегулировать, убрать конкурентов, довести до аварии, чтобы подсесть на гос бюджет. Увы, это не технологическая проблема.

Ну и подкаст от Alpharxiv, конечно

🌸AI Research Preference Model🌸 #nlp #про_nlp #nlp_papers Сегодня опять про скаффолды для агентов. Мы уже говорили про то, хорошая ли идея применить сверху preference models для оценки потенциала идей (спойлер: нет). А что, если попробовать обучить такую preference-модель не на вкусовщине (новизна идеи, "вкус", интуиция и т.д.), а на верифицируемом сигнале? Про это наша новая статья — “AI Research Preference Models”. 🌸TL;DR Главная проблема: AI-агент может быстро придумать множество вариантов эксперимента, но полноценный запуск каждого варианта — обучение модели и оценка результата — требует часов работы GPU. Поэтому критически важно заранее понять, какие идеи действительно стоит проверять. Мы предлагаем Research Preference Model (RPM) — модель, которая сравнивает несколько предложенных решений и выбирает наиболее перспективное до их полного запуска. В идеале, такая модель может выучить паттерны лучших практик МЛ, чтобы использовать эту информацию для попарного сравнения экспериментов, какой будет более перспективным. Рассматриваются два варианта: Inference-only RPM анализирует планы, код и результаты предыдущих экспериментов только при помощи рассуждений LLM. Agentic RPM дополнительно проводит дешёвые пилотные эксперименты: запускает сокращённое обучение (5 минут, 30 минут, 4 часа), проверяет код и использует полученные метрики для выбора. 🌸Агент RPM встроена в исследовательского агента AIRA-dojo. На каждом шаге агент генерирует 15 вариантов продолжения, после чего RPM проводит попарное сравнение и отправляет на полноценный запуск только победителя. 🌸Данные Эксперименты проведены на 20 задачах AIRS-Bench, охватывающих языковое моделирование, математику, биоинформатику и временные ряды. Каждому запуску предоставлялись 24 часа на одной H200 GPU. 🌸Основные результаты обычный AIRA-dojo: 0,684 среднего нормализованного балла; с Inference-only RPM: 0,711; с Agentic RPM: 0,729; теоретически достижимый результат: 0,748. Обе RPM достигают результата обычного 24-часового агента примерно за 15 часов, то есть требуют примерно в 1,5 раза меньше вычислений. Кроме того, были получены новые SOTA: 94,1% на WinoGrande против прежнего агентного SOTA 90,4%; 95,7% на SVAMP против опубликованного человеческого SOTA 94,2%. 🌸Главный вывод статьи: прогресс исследовательских агентов зависит не только от способности генерировать хорошие идеи, но и от умения выбирать, какие идеи заслуживают дорогой экспериментальной проверки. Дополнительные вычисления выгодно тратить не только на генерацию решений, но и на их предварительный отбор, основанный на предсказуемых и верифицируемых сигналах. Сигнала от мини-версии эксперимента, с первых 5 минут, бывает вполне достаточно! Проверено на одном скаффолде, но для всех tree-search подходов такой апгрейд должен сработать. 🟣Arxiv https://arxiv.org/abs/2608.13940 🟣Alpharxiv https://www.alphaxiv.org/abs/2608.13940

Шмидтхубер написал, что он первый придумал Recursive Self-improvement в 1987 году. Наконец-то, а то мы уже стали переживать https://people.idsia.ch/~juergen/recursive-self-improvement.html

Будем делать субботний мемотред? #шитпост

Поскольку на этой неделе все обсуждают возможное решение (и воровство) Навье-Стокса (краткое содержание у Ильи Гусева), то самое время вспомнить, что проблема научной атрибуции результатов при использовании ИИ в науке уже была описана как риск в Лейденской декларации о ИИ и математике. Многие отдельные учёные и институты уже подписали декларацию (а некоторые учёные, например, Vladimir Lazic, заняли ещё более строгую позицию). И вот теперь такой прецедент — то ли доказательство частично украдено, то ли нет. Что предписывает декларация: 🟣 Раскрывайте использование инструментов: указывайте, какие ИИ и программы использовались. 🟣 Помогайте рецензентам: давайте ссылки и проверяемые доказательства. 🟣Следуйте открытой науке: делайте исследования прозрачными и доступными. 🟣 Отвечайте за корректность: ответственность всегда остаётся за авторами. 🟣 Сохраняйте человеческое авторство: ИИ не является автором работы. 🟣 Корректно указывайте источники: тщательно атрибутируйте идеи и результаты. 🟣 Участвуйте в публичной дискуссии: объясняйте обществу результаты, полученные с ИИ. 🟣 Следите за технологиями: понимайте возможности новых ИИ-инструментов. 🟣 Приветствуйте новых участников: делайте математическое сообщество открытым. 🟣 Осознанно выбирайте инструменты: учитывайте их открытость, эффективность и ценности. 🟣 Учитывайте этические последствия: избегайте исследований и партнёрств, способных причинить вред. Сюда бы можно было добавить ещё целый пункт про использование опен-сорсных моделей, хоть это и требует ресурсов. Я лично не верю, что OpenAI тяжело проверить, какие примеры попали в обучение модели, так как примеры всегда максимально фильтруются и проверяются на абляционных исследованиях. 🟣https://leidendeclaration.ai/

Сегодня выступила на разогреве у Шмидтхубера 🥹 🟣https://www.superintelligenceconference.org

🟣Ollama тоже вышла https://ollama.com/blog/muse-glimmer https://ollama.com/library/muse-glimmer