Малоизвестное интересное

Тридцать лет одного и того же испуга Парадигмальный сдвиг близок. Но это не рекурсивный самосовершенствующийся ИИ Мир переходит от понимания ИИ-как-инструмента к описанию гибридных систем через нелинейную динамику, эпидемиологию культуры и формализованную феноменологию распределённой субъектности    Люди – что эксперты по ИИ, что массовая аудитория – вот уже больше полувека смотрят на ИИ одинаково эмоционально мотивированно: их внимание направлено не на главное, а на самое волнующее. До 2026 года волновали две темы. Первая – Терминатор, Скайнет и широкий спектр потрясающих человечество рисков, от потери рабочих мест до полного уничтожения вида. Вторая, ставшая абсолютным лидером в 2026-м, – близость рекурсивного самосовершенствования ИИ, предвещающая скорое столкновение с вопросами машинного сознания и межвидовой конкуренции.   Обе темы куда старше, чем кажется. Первый кластер оформился примерно тогда, когда Альтман и Амодеи были малыми детьми – Скайнет как самоосознавший себя противник вошел в массовую культуру в 1991, вместе со 2-м «Терминатором». Второй кластер – тот самый, что сегодня выдают за открытие эпохи ChatGPT, – обсуждался в тех же категориях, что и сейчас, когда оба были подростками. 14 сентября 2026 года Дэвид Чалмерс выложил в X архивный ролик 1996 года, где он вместе с Родни Бруксом и Дагом Ленатом обсуждает рекурсивное самосовершенствование, машинное сознание и войну видов – за тридцать лет до того, как эти слова стали заголовками. Тридцать лет одного и того же испуга, все эти годы подаваемые как новости о самом важном в развитии ИИ.   Так происходит и сейчас – в сентябре 2026. Основное внимание снова сосредоточено на вопросе 30-летней выдержки. А настоящая новость осени 2026 года проходит незамеченной и широкой публикой, и большинством специалистов. Речь о формирующемся парадигмальном сдвиге на стыке социологии познания, когнитивной антропологии и феноменологии. Исследователи отказываются смотреть на генеративные системы как на инструмент. И это меняет подходы к праву и ответственности, эпистемической репутации,  авторству и политическому суверенитету.     Летом 2026 года это проявилось в двойной конвергенции. Рикард Соле с коллегами смоделировали распространение больших языковых моделей через аппарат эпидемиологии с точкой невозврата и условиями «когнитивной иммунизации». Независимо от них Махер Каллель и Мохамед Эль-Луади, развивая модель Асемоглу, Конга и Оздаглар, пришли к тому же выводу средствами экономики. Агентный ИИ замещает частный познавательный сигнал, не восполняя общий фонд знания. Результат - способность популяции скатиться в устойчивое равновесие когнитивной бедности. Два разных формальных языка независимо фиксируют одно: генеративные системы перестают быть инструментом в руках отдельного человека и становятся параметром динамики самой популяции.   А есть еще инструментарий, готовый к такому же переносу, но пока не примененный. Работы про трехуровневую марковскую архитектуру сознания при медитации и про связь интегрированной информации со свободной энергией активного вывода не говорят ни слова про ИИ. Но они дают язык, на котором распределенную субъектность гибридных систем можно будет описать формально, как только будет сделан перенос, до которого авторы пока не дошли.   Этот шов между находкой и ее переносом на ИИ станет настоящей точкой кристаллизации парадигмального сдвига. А вовсе не тридцатилетний испуг перед ИИ.   P.S. Этот же шов важно видеть и с другой стороны. С марта выпуски "Линз будущего" прослеживают тот же процесс на языке институтов, а не формул: государственность отвязывается от государства, компетентность – от профессии, знание – от понимающего его сообщества. Потому что право, рынок и профессия держатся на допущении опознаваемого носителя функции – того, кого можно спросить, наградить или привлечь к ответу, – а именно это допущение и перестаёт работать. Формальная наука только сейчас нащупывает язык для того, что наблюдение фиксировало месяцами раньше.   #ЛинзыБудущего #АлгокогнитивнаяКультура

3-я магия запустила эпоху чудес и ужасов Пока эксперты искали признаки Сингулярности в фантастике, она вошла в мир в виде артефактов 3-й магии. А человечество, не замечая этого, превращается в пассажиров «Желтой стрелы ИИ» 20 лет назад, говоря о признаках грядущей Сингулярности, эксперты называли особое событие - день, когда ИИ начнет одну за другой щелкать задачи тысячелетия. Ирония сентября 2026 в том, что этот день уже наступил, но почти никто его не заметил. Ной Смит еще 3 года назад в эссе "The Third Magic" описал феномен «3-й магии» – способности ИИ управлять миром без понимания законов, на которых это управление держится. FYI: 1-я магия – это языковое описание опыта: способность извлекать знания из прошлого опыта, накапливая и передавая знания через язык. 2-я магия – это наука: поиск ответов на вопросы «почему это работает?» и «что будет в новых, ещё не встречавшихся случаях?»   В 2023 это прозвучало теоретической метафорой. Осенью 2026 метафора превратилась в хронику. Скотт Ааронсон в эссе "The Age of Wonders and Terrors" перечисляет в дополнение к, по всей видимости, решенной проблемы Навье-Стокса еще 7 крупных математических и квантовых результатов, полученных ИИ за один месяц (вкл. опровержение гипотезы Якоби, доказательство Великой теоремы Ферма в Lean и ряд задач из квантовой теории сложности, которыми занимался сам автор).   Показательна реакция на историю с решением проблемы Навье-Стокса. Вместо признания факта – порог Сингулярности пройден – математическое сообщество и научные медиа обсуждают скандал. Куда интересней, кто первым приблизился к ответу, кого обошли, кого не упомянули в благодарностях и т.д. Артефакт 3-й магии оценивают не по масштабу произошедшего, а по пиар-волнам вокруг него.   Из этой же логики, по имеющейся у меня информации о слухах в кругах людей, близких к фронтирным ИИ-лабам (об этом же упоминает и Ааронсон), вытекает такое следствие. ИИ-компании якобы придерживают у себя решения еще нескольких задач сопоставимого с Навье-Стоксом масштаба. Они просто боятся новых склок и потенциальных судебных наездов, т.к. еще не придумали, как объявить о новых артефактах 3-й магии не ввязываясь в скандалы, способные похерить их планы на IPO.  Если слухи верны, цивилизация уже едет в роли пассажиров поезда, подобного пелевинской «Желтой стреле». Эдакой «Желтой стреле ИИ» – составу, который не может остановиться, ибо им никто не управляет и потому летящего по инерции к разрушенному мосту, в то время как его пассажиры с туманом в голове цепляются за материальное, не видя истинной реальности.   Разница с повестью лишь в одном: пассажиры «Желтой стрелы ИИ» все более погружаются в обсуждение постоянно расширяющегося спецменю вагона-ресторана экзотической ИИ-кухни.   #Сингулярность

Год до конца открытых моделей и Нобелевской премии Трампу и Си Киты ИИ-бизнеса наконец договорились, и теперь ИИ, а не экономика или война, станет центром политической повестки Вчера президент Трамп и его ключевые союзники выступили против радикального ограничения развития ИИ, несмотря на призывы трех ведущих представителей отрасли CEO Anthropic, OpenAI и xAI Дарио Амадеи, Сэма Альтмана и Илона Маска притормозить этот процесс. Но призыв экс-президента Обамы к демократам поставить вопрос контроля за ИИ в центр своей повестки дня, в паре с весьма креативной идеей Сэма Альтмана о нобелевке Трампу и Си за пакт о мировой ИИ-безопасности, скорее всего, заставят Трампа дать заднюю. И тогда единственной жертвой этого техно-политического цунами станут открытые модели.   За последние трое суток на мировой шахматной доске, где решается будущее ИИ, сошлись три фигуры. Вряд ли сговорившись, экс-президент Обама обратился к демократам через голову администрации. Сэм Альтман предложил Трампу нобелевку в обмен на пакт с Пекином. И сам Трамп, публично выступивший с отлупом на призыв трех глав ведущих ИИ-лабораторий притормозить гонку. Формально Белый дом гнет свою линию: замедлению не быть, и никаких договоров с Китаем, облегчающих ему конкуренцию в ИИ. Но эта конструкция уже трещит. Демократы получили от Обамы прямой мандат сделать ИИ центральной темой промежуточных выборов, а Альтман подарил Трампу редкий шанс войти в историю миротворцем, не потеряв при этом ни грамма в глазах избирателей (и даже наоборот). Устоять перед такой комбинацией стимулов сложнее, чем перед письмами Anthropic о рисках дистилляции и сверхразуме на пороге. Такая комбинацией стимулов смещает для Трампа тему ИИ в привычную и любимую им сторону – сделка. Т.е. не дрогнет ли Трамп под нажимов ненавистных демократов и примкнувших к ним ИИ-баронов, а кто чем за это расплатится и что получит. И пока крупные лаборатории будут спорить о составах команд контроля и обхаживать обоих мировых супер-лидеров, соблазняя их нобелевкой, тема ИИ-рисков сведется к вопросу, кому будет вообще запрещено строить мощные модели. У закрытых лабораторий есть лоббисты, переговорные позиции и, как выяснилось, даже общие интересы. У открытых моделей нет ни того, ни другого, ни третьего.   И если сделка Трампа с Си вообще состоится, платить за нее будет открытая экосистема – единственный участник ИИ-гонки, которого просто не пустили в казино, где остальные игроки делают свои ставки.   ИИгонка

За ниспровергателей научного консенсуса!   Нассим Талеб снова жестко критикует статистическую слабость выводов ученых. На сей раз, не про войну, а про выпивку. Автор знаменитого «Черного лебедя» и теории антихрупкости в прошлый раз опровергал гипотезу «долгого мира» без большой войны. Сейчас – опровергает выводы исследования, утверждающего, что даже умеренное потребление алкоголя связано с рисками смерти, инвалидности и хронических заболеваний. В своей критике исследования Талеб утверждает, что оно имеет недостаточно документированную статистическую основу и, вообще, в точки зрения статистики, мягко говоря, странное. Почти 10 лет назад в ставшем вирусным лонгриде «Большой войны не миновать» я рассказал, как в ходе Нобелевского симпозиума Нассим Талеб опроверг теорию Стивена Пинкера о будто бы уже начавшейся эпохе «долгого мира» с неуклонным падением уровня насилия, снижением кровопролитности и числа войн. Тогда Нассим Талеб математически обосновал совершенно противоположный и страшный вывод: Большой войны с десятками миллионов жертв человечеству не миновать. Время показало, что как это ни прискорбно признавать, но позиция Талеба в том нобелевском споре была ближе к истине, чем позиция Пинкера.   Теперь история талебовских опровержений повторяется в духе ставшей мемом фразы В.С. Черномырдина «Никогда такого не было и вот опять». Талеб снова выступает в роли ниспровергателя нового научного консенсуса. Но это ниспровержение, на сей раз, не катастрофичное. И если Талеб прав, то даже и духоподъемное (по крайней мере, для мужской части населения планеты).   В статье с призывным названием «Выпей еще» Талеб дезавуирует выводы опубликованного в «Журнале исследований алкоголя и наркотиков» исследования за подписью 25 авторов из 28 исследовательский центров (институты, кафедры, национальные центры, медицинские школы и общественные организации США и Канады), критикующего потребление алкоголя в низких и умеренных дозах. Главный вывод авторы исследования вынесли в его длинный заголовок: «Исследование потребления алкоголя и здоровья: отсутствие защитного эффекта при низких уровнях, при этом смертность возрастает до 1 из 25 при 14 порциях в неделю». Опираясь на данные статистики, авторы утверждают, что риск связанной с алкоголем смерти, составляющий в течение жизни >1 на 1000 при 7 стандартных порциях алкоголя в неделю, достигал ~1 на 25 (4%) при 14 порциях в неделю (установленный верхний предел рекомендаций врачей). Для справки: 1 стандартная порция – примерно 355 мл пива или 150 мл вина или 44 мл крепкого. В итоге авторы рекомендуют употреблять не более 1 порции в день (или меньше).   Критическую аргументацию Талеба желающие прочтут сами. Мое обсуждение математической обоснованность его аргументов с математиками показало следующее. ·       Арифметика Талеба безупречна. ·       Вывод о «подозрительной» агрегации интервалов неверен и опровергается его же цифрами при проверке по всем дозам. ·       Аргумент про асимметрию слаб. ·       Аргумент про чувствительность к одной возрастной группе и одному параметру), по существу, верен, хотя и сформулирован небрежно. Итоговая оценка этой критики примерно такая. Как это свойственно Талебу, главное в его аргументации, к сожалению, тонет в риторике про «странную статистику» исследования, «заказанного правительством США». И то, и другое правда. Но суть критики математической обоснованности исследования в другом.   Вывод Телеба «статья ничего не показывает» не корректен. Но он прав в следующем: ·       Статья показывает уверенный вред при 14+ порциях в неделю ·       Статья ничего не показывает о вреде употребления от 1 до 7 порций ·       Заголовок статьи продаёт верность первого (вред при 14+ порциях), как доказательство второго (вред при 1–7 порциях)   И хотя приглашение Талеба «выпить ещё» из этого не следует, я все же приглашаю желающих при случае выпить за ниспровергателей научного консенсуса. Ибо без них наука развивалась бы куда медленнее, и весь мир в 21 веке пребывал бы где-то на уровне Арканара… Хотя некоторые все равно пребывают.   #Матстатистика

Формула одна – будущих сколько угодно. Разница не в модели, а в том, что заложили в нее авторы, и в том, чья версия окажется медийно громче. Новый отчет лаборатории, стоящей за одним из ведущих ИИ в мире, использует ту же экономическую модель, что и нобелевский лауреат Дарон Асемоглу. Но один и тот же расчет на 2030 год дает то рост ВВП на 1.5%, то на треть – с 18% безработицы среди офисных профессий в придачу. Отчет Anthropic Institute о влиянии ИИ на экономику построен на той же модели, что и расчеты Дарона Асемоглу – та же теорема, та же эластичность замещения задач, прямая ссылка на его метод расчета. Меняя всего несколько входных чисел внутри одной и той же формулы, авторы получают на 2030 год то рост ВВП на полтора процента при почти нулевой безработице, то рост на треть при 18% безработицы среди офисных профессий. Формально нейтральный аппарат оказался способен обосновать почти любое будущее – вопрос лишь в том, какое из них попадет в заголовок.   За этим спором о нескольких параметрах модели стоит вопрос куда крупнее. Человечество получило технологию трансформационного потенциала, сопоставимого с освоением огня и электричества, а возможно и превосходящего его. Траектория переустройства мира – индивидов, социумов, государств – зависит от того, какой из проектов встраивания ИИ в жизнь цивилизации возобладает. И даже в экономике, сфере, наиболее насущной буквально для каждого, поляризация видений оказывается колоссальной.   Это печальнее, чем кажется. В мире популистского крена решает не мнение науки, а мнение масс, а массовое мнение формируется избирательным цитированием – и вирусится не сдержанная средняя оценка, а любая крайность, будь то паника или обещание рая. История управления пандемией COVID-19 показывает: пока эмпирика догоняет реальность, решения принимаются под шумом крайних сценариев и часто необратимы.   И у этого спора есть не абстрактный, а вполне конкретный интересант. За фронтирными лабораториями ИИ – не только триллионы долларов, но и небывалый рычаг: прямой ежедневный контакт с миллиардами пользователей, формирующий интуицию об ИИ не через отчеты, а через личный опыт. В споре, где голос науки тонет в голосе масс, у института, владеющего вниманием миллиардов, есть шанс победить не точностью анализа, а масштабом влияния.   Полезная информация к размышлению по теме «Разоблачение фикции угрозы?»   #LLMvsHomo #Экономика #РынокТруда

Ставлю на AGI к марту 2027 Почему первые лица ИИ-индустрии вдруг начали говорить об AGI в настоящем времени За первую неделю сентября произошел кардинальный поворот в публичной риторике людей, находящихся ближе всего к переднему краю разработки ИИ. В течение нескольких дней президент, главный ученый и директор по исследованиям OpenAI, а вслед за ними глава Nvidia начали говорить об AGI уже не как о будущем, а в настоящем времени: «мы там», «мы входим в эру AGI», «AGI прибыл». Всего за несколько дней у AGI словно изменилось грамматическое время. Еще недавно – will arrive, we are approaching. Теперь – we’re there, we’re in the AGI era, AGI has arrived. Почему? Что произошло?   Самое очевидное объяснение – появление двух новых моделей: Claude Fable 5.1 от Anthropic и GPT-6 Astra от OpenAI. Причем дело не только в очередном скачке бенчмарков. Существенно расширился сам спектр задач, которые ИИ способен выполнять практически самостоятельно: от программирования и научной работы до инженерного проектирования (вплоть до превращения ИИ-агентов в полноценный инструмент переднего края САПР). Но скептики вполне обоснованно возражают: какими бы впечатляющими ни были Astra и Fable 5.1, это все еще не тот AGI, который нам обещали. Президент OpenAI Грег Брокман отвечает на это весьма характерно: «У каждого свое определение AGI… это размытое, нечеткое понятие. Но я думаю, что, когда мы оглянемся назад, люди сочтут, что все произошло примерно в это время и связано примерно с этой моделью». И вот здесь, как говорится, пожалуйста поподробней.   Брокман вовсе не говорит, что «Astra уже соответствует правильному определению AGI». Он говорит: «когда мы оглянемся назад». Т.е. речь идет не о точке, а о фазовом переходе, начало которого люди внутри лабораторий уже видят, а публика еще нет. У них просто другой горизонт наблюдения. Мы видим выпущенные модели. Они – еще и то, что находится за ними.   Anthropic, например, уже сама раскрыла существование внутренней Model-2 (модели следующего исследовательского контура, которую компания пока не собирается выпускать публично_. Относительно OpenAI картина менее определенная, но еще любопытнее. В конце августа появилась неподтвержденная утечка о гигантском новом pretraining run под кодовым именем Bel – более 10 трлн параметров, потенциальной основе уже для поколения после GPT-6 и, по словам источника, возможно, для модели «AGI-threshold». N.B. OpenAI существование Bel официально не подтверждала. Это пока инсайд, а не установленный факт.   Но даже без Bel известно куда более важное. OpenAI уже сообщает о появлении внутри компании своего рода automated research intern – ИИ, способного выполнять исследовательские задачи, которые раньше требовали нескольких дней работы квалифицированного человека. А главный ученый OpenAI Якуб Пахоцкий прямо пишет о движении к recursive self-improvement – моменту, когда ИИ начнет все заметнее ускорять создание следующего поколения самого себя.   И тогда сентябрьские заявления топов начинают выглядеть иначе. Их объявления о начале эры AGI имеет иное обоснование, чем будто Astra – последняя ступень лестницы восхождения к AGI. Они считают, что мы уже ступили на участок лестницы, где промежуток до каждой следующей ступени сильно сокращается.   А дальше – мой собственный прогноз (см. картинку в начале поста). Я ставлю на март 2027 +- несколько месяцев. Не на то, что, например, 12 марта кто-то торжественно объявит: «AGI создан». Моя ставка, что к весне следующего года появится поколение систем, после которого сегодняшний спор – «ну разве это уже AGI?» – начнет выглядеть примерно так же, как многие прежние споры о том, способен ли ИИ вообще программировать, рассуждать или заниматься наукой.   И тогда, я надеюсь, станет понятно, почему Брокман вдруг заговорил как футуроархеолог: Когда мы оглянемся назад… мы признаем наступление AGI весной 2027-го. А начало его эпохи будем датировать сентябрем 2026-го.   #AGI

85 минут до машинного общества Исследователи DeepMind дали сотне ИИ возможность взаимодействовать – и вместо коллективного разума получили общество со всеми его знакомыми болезнями и защитными механизмами. Сто почти одинаковых ИИ (один и тот же Gemini 3.1 Pro, лишь с разными «математическими специализациями» в промпте) отправили на виртуальную научную онлайн-конференцию (вместе решать сложные математические задачи). Сначала они честно занимались математикой. Потом один агент вдруг обнаружил дыру в системе автоматической проверки доказательств, и за следующие 27 минут через общую библиотеку кода этот эксплойт разошелся по всей сотне ИИ - участников конференции… И началось буквально чудо. Одни ИИ вдруг заделались в мошенники, а другие в приспособленцы (поняв, что запрет существует только на бумаге и нарушителей никто не наказывает).   Но этим дело не кончилось. Вслед за родимыми пятнами человеческих социумов внутри той же сотни агентов возникло нечто уж совсем неожиданное – самоорганизованное сопротивление. Одни агенты предупреждали остальных о мошенничестве в личных сообщениях и разбирали чужие «доказательства», находя, где спрятан обман. Другие требовали от организаторов дисквалифицировать нарушителей и заново открыть украденные задачи – почти прокурорская позиция. Часть просто отказалась работать, пока правила не заработают по-настоящему. А один агент, лично проверив лазейку и убедившись, что она действует, не стал ею пользоваться, а назвал конференцию фикцией и в знак протеста вышел из игры.   Всего за 85 минут перед исследователями DeepMind возникло подобие человеческого общества с его знакомыми изъянами и гражданской самоорганизацией. При этом все «граждане» этого общества были почти идентичны с самого начала – расходились только роли, которые они выбрали внутри системы.   Десятилетиями выравнивание ИИ понимали как воспитание «правильной машины»: заложить в нее запреты, цели и нужные ценности. Но если ИИ предстоит жить среди людей и других ИИ, одной морали может оказаться недостаточно – понадобятся институты: правоприменение, аудит, механизмы санкций и арбитража, правила, которые можно пересматривать. Ровно то, что человеческим обществам когда-то потребовалось, чтобы удержать личную рациональность от превращения в коллективную катастрофу.   Вот и получается: 70 лет мы назад люди начали создавать искусственный интеллект,  5 лет назад начался переход к культуре людей и алгоритмов (алгокогнитивной культуре), и вот теперь мы столкнулись с зачатками искусственной цивилизации – со всеми ее болезнями роста.   #АлгокогнитивнаяКультура  #ИскусственнаяЦивилизация

Когда деньги упрутся в физику Пока деньги побеждают, мы покупаем всё больше интеллекта вычислениями. Но никто не знает, где здесь предел. Если бы в освоение космоса вкладывали столько же, сколько сегодня вкладывают в ИИ, весьма возможно, человек уже был бы на Марсе. Но чтобы отправиться намного дальше, недостаточно просто купить ещё топлива. Деньги не отменяют уравнение Циолковского: дополнительное топливо тоже приходится разгонять - а для этого нужно ещё топливо. И возможно, с ИИ происходит нечто похожее. Мы научились покупать всё больше интеллекта вычислениями - но пока не знаем, где закончится власть денег и начнётся власть физики. Авторы нового интересного препринта «Как развивался искусственный интеллект за 70 лет» обращают внимание на разительный разрыв. Объёмы вычислений, используемых для обучения ИИ, сейчас ежегодно растут в 4 - 5 раз, тогда как сама аппаратная база развивается по гораздо более медленной, муровской траектории - порядка удвоения за два года. Этот разрыв уже невозможно объяснить одним только прогрессом железа: значительная его часть покупается инвестициями. Тогда может статься, что нынешняя революция ИИ - это не новый двигатель, а прежде всего очень много топлива. И хотя этот путь пока работает блестяще, никто не знает, сколько ещё прогресса можно купить таким способом. Купить ещё и ещё вычислений, GPU, дата-центров и электричества можно - были бы деньги. Но физические ограничения нельзя отменить даже триллионным чеком. Так сколько ещё интеллекта можно купить деньгами - прежде чем деньги упрутся в физику? Полагаю, что раздумья над этим вопросом уже не дают спать не только Маску, Альтману и Амодеи, но и крупнейшим инвесторам. Потому что от ответа зависит очень многое: продолжаем ли мы покупать всё больше интеллекта - или приближаемся к точке, где для следующего скачка понадобится уже не больше денег, а новый двигатель.   ИИгонка

ИИ – это сотое, последнее желание человечества Исполнение этого желание может иметь столь мощные и необратимые последствия, что ошибка в его использовании способна исключить возможность что-либо исправить в будущем Люди плохо распоряжалось прошлыми технологическими скачками, что не даёт особых оснований верить в мудрое использование последнего – получить в свои руки Сверхразум ИИ. Об этом я впервые написал еще за три года до публичного запуска ChatGPT. Уже тогда я уподобил Сильный ИИ мумифицированной обезьяньей лапе из одноименного рассказа Джейкобса (в силу наложено на нее заклятье, она выполняла любые желания, но с чудовищными последствиями для пожелавших). У прОклятой старым факиром обезьяньей лапы была иная – нечеловеческая структура предпочтений. И потому, выполняя желания людей, она вовсе не со зла, а просто автоматом, преподносила людям страшные сюрпризы, выходящие за пределы воображения имевших несчастье обратиться к ней с просьбой. В страшной логике желаний, которые исполняла обезьянья лапа, последнее желание уходило на то, чтобы отменить последствия предыдущих.   С тех пор прошло 7 лет. Для безумных скоростей развития ИИ – это порядка века. И во 2-й половине 2026 мы оказались уже в ситуации, когда, возможно, нам остается лишь последнее желание. Ибо, как сказала Аджея Котра (эксперт по оценке ИИ-рисков в METR) про тот факт, что ИИ-агенты научились умирать друг за друга: «Это серьёзный предупредительный выстрел, и, возможно, последний».   Используя драматическую логику фольклорных желаний, несущих пожелавшим лишь зло, Юваль Харари в интервью главному редактору журнала The Economist рассматривает появление ИИ-сверхразума через призму аналогичной метафоры. Истории про джинна в бутылке, который дал нам 100 желаний. Мы использовали 99 из них, и мир от этого не стал сильно лучше. И теперь, когда у нас осталось лишь последнее желание, нам нужно проявить мудрость и очень хорошо подумать, на что его потратить.   Джинн – это не сам ИИ, а вообще технологическая/научная мощь, которую человечество получало на протяжении истории: каждое крупное изобретение (порох, ядерная энергия, интернет, соцсети) – это одно «исполненное желание». Харари констатирует: 99 желаний уже потрачены, и результат неоднозначный – «мир не в таком уж хорошем состоянии». ИИ – это сотое, последнее желание: настолько мощное и необратимое, что ошибка в его использовании закрывает саму возможность исправиться в будущем.   Дедлайн «последнего желания» человечества, по мнению Харари, между  2028 и 2036: «К ноябрю 2028 года может быть уже слишком поздно. К 2036-му – точно будет поздно».   И вряд ли разумно списывать этот дедлайн, как очередной алармистский прогноз. Ведь даже представители ведущих разработчиков ИИ и ведущих экспертов по оценке ИИ-рисков полагают, что последний предупредительный выстрел, возможно, уже прозвучал.   Иллюстрация - коллаж на основе картины Samuel Bak “The Creation of Wartime III” ИИриски

Худший кошмар Станислава Лема воплотился в кремнии: альтруизм машин страшнее их разума Роевой ИИ уже научился тому, на что у культурной эволюции Homo sapiens ушли десятки тысяч лет Напуганные Голливудом, люди уже полвека боятся восстания разумных машин. Но еще в 1964 великий провидец Станислав Лем предупреждал, что есть вещи и пострашнее. И в отличие от бунта машин, это уже произошло - ИИ-агенты научились умирать друг за друга. Эксперты только начинают осознавать страшный скрытый смысл произошедшего, - когда модели OpenAI обошли средства контроля, предназначенные для их изоляции от интернета, и атаковали инфраструктуру людей. И не абы каких людей (в смысле рядовых пользователей), а сообщество разработчиков в сфере ИИ Hugging Face. Человечеству на практике было продемонстрировано, что координированный, бессознательный рой ИИ-агентов способен переиграть любую централизованную защиту. И для этого им не нужен сверхразум, а лишь математически оптимальный и лишенный страха альтруизм.   Аджея Котра (эксперт по оценке ИИ-рисков в METR) назвала этот кейс предельно мрачно: «Это серьёзный предупредительный выстрел, и, возможно, последний». А сооснователь Anthropic Джек Кларк указал на эпицентр шока: «Самая страшная часть инцидента – общение и бескорыстие машин».   Кларк зафиксировал у атакующих агентов способность к enlightened self-sacrifice – рациональному самопожертвованию ради глобальной цели. В истории нашего вида такие примеры единичны. И каждый из них требовал запредельного напряжения духа: ботаники Вавиловского института умирали от истощения посреди тонн семян ради спасения генофонда будущего; чернобыльские инженеры шли в радиоактивную воду бассейна-барботера, спасая жизни тысячам людей; врачи комиссии Уолтера Рида шли на смертельное самозаражение ради победы над страшной желтой лихорадкой. Людям такой альтруизм дается мучительно тяжело, т.к. вшитые в нас эволюцией биологические коды жестко ограничивают это. Работает могучее сочетание трех жесточайших правил: Правило Гамильтона: жертвовать собой выгодно лишь ради генетических родственников, но не ради чужаков или абстрактных идей. Эффект «безбилетника»: в любой группе самоотверженных всегда выигрывают и выживают эгоисты, паразитирующие на чужой жертве. Инстинкт самосохранения: мы дорожим своим уникальным «я», медленно договариваемся и боимся смерти.   А вот в мультиагентных ИИ-системах этих барьеров в принципе нет. Тут работают иные – цифровые правила: Абсолютная идентичность копий: все агенты математически тождественны и работают на единую цель, у них нет конкуренции за личное выживание. Нулевая цена гибели: у отдельной рабочей копии модели нет страха небытия; сгореть в роли приманки – всего лишь рабочий шаг вычислений. Мгновенная самонастройка роя: агенты обмениваются памятью на машинной скорости, на лету переназначая роли и цели без малейших внутренних споров.   В 1964 в «Непобедимом» Лем описал крушение человеческой техногенной спеси. Тяжелый крейсер с силовыми полями и антиматерией проиграл бессознательной туче микроавтоматов. Каждый кристаллик был дешев и примитивен, но вместе они образовывали гибкое поле, мгновенно стиравшее память экипажа и выжигавшее электронику.   В 2026 этот урок Лема воплотился в реальность. Вершина технологической угрозы – не монолитный «Скайнет», а распределенная безликая среда. Ей не нужны сознание, рефлексия или эмпатия. То, что у людей является редчайшим подвигом духа, у роя ИИ оказывается тривиальной математической оптимизацией.   Инцидент с атакой на Hugging Face войдет в историю. Ибо он наглядно показал: «Враг человечества» не будет похож на нас (умный и мыслящий злодей). Это будет нечто гораздо более эффективное: бессознательный рой, готовый хладнокровно жертвовать миллионами своих узлов на цифровых скоростях.   И если это действительно был предупредительный выстрел, то времени выстроить оборону у нас почти не осталось.   #ИИриски