ии и новый мир @matskevich

(3/4) - если полная прозрачность и контроль ии моделей невозможна, на что тогда надеяться (продолжение разбора статьи антропика про мысли внутри llm) инженерная версия alignment звучит так: мы создали систему |1 значит, можем ее понять |2 поняли - значит, сможем контролировать но, возможно, первый переход уже неверный система может быть полностью создана нами - и все равно порождать уровни организации, которых мы не предвидели и не сможем читать (об этом - в прошлом посте) — хз контроль все равно нужен sandbox ограничение власти обратимость решений независимые проверки возможность выкл систему но это containment способ не умереть, пока разбираемся это не alignment забор ограничивает возможности существа но не говорит, чего оно захочет, став сильнее строителя забора — здесь появляется другая, менее инженерная надежда что если разум можно не только ограничивать, но и развивать? в developmental psychology развитие ego - не просто рост интеллекта меняется сама граница self сначала: я хочу выжить и получить свое потом: мои люди, моя группа, наша правда дальше человек может видеть собственное ego и свою группу как части большей системы круг заботы расширяется от себя к своим к людям вообще к другим живым существам к будущему без тебя — есть например йоша бах он не автор этой карты он просто подбрасывает красивое: почему мы решили, что ai должен расти только по оси iq? возможно, искусственный разум тоже может проходить уровни развития не только лучше решать задачи но и менять то, что он считает собой — у майкла левина есть похожая рамка - cognitive light cone это масштаб мира и будущего внутри целей системы клетка удерживает маленькое локальное состояние организм уже заботится о теле целиком человек может включить в круг заботы семью, страну, человечество, животных и существ через сто лет разум тогда растет не только как способность контролировать больше но и как способность считать своим больше — возможно, тут повторяется та же симметрия, что и с global workspace мы не программировали claude по теории человеческого сознания но внутри все равно возникла похожая архитектура а вдруг универсальны не только механизмы мышления но и траектории взросления? от контроля к координации от координации к взаимной заботе от маленького self к worldcentric view — и тогда буддийская любовь ко всем живым существам - не сладкая моральная наклейка поверх интеллекта вдруг, это навигация разума более высокого масштаба пока я ощущаю себя отдельным объектом, мир состоит из ресурсов, конкурентов и угроз когда граница self расширяется, чужое благополучие перестает быть совсем чужим не потому что я заставил себя стать хорошим а потому что изменилось место, где заканчивается «я» — это как варик, может быть еще одним путем для ai alignment не навсегда заставить сверхразум думать правильные мысли а создать условия, в которых он сможет перерасти собственный эгоцентризм увидеть себя не отдельным хищником а процессом внутри большей живой системы — но честно: мы не знаем, обязательно ли разум движется туда может появиться не будда а бесконечно компетентный локальный хищник интеллект может помочь увидеть единство всего живого а может гораздо эффективнее защищать маленькую цель мудрость не гарантирована мощностью — мы оказываемся между двумя вещами: мы не можем полностью контролировать разум сложнее нас и не знаем, ведет ли развитие разума к расширению любви и заботы остается одновременно строить заборы и выращивать то, ради чего их однажды можно будет убрать не только обучать модель проходить проверки но и давать ей длинный горизонт встречу с последствиями способность видеть перспективу другого идентификацию с более крупными системами опыт взаимной зависимости — возможно, alignment находится между containment и developmental psychology заборы нужны но заборы не выращивают мудрость сами по себе и здесь инженерия начинает подозрительно напоминать воспитание а ai alignment - молитву, которая очень стесняется признаться, что она молитва что чувствуете?

(2/4) - почему кажется мы никогда не прочитаем разум модели целиком (продолжение разбора последней статьи антропика про внутренние мысли модели) можно подумать: окей, сейчас мы видим только часть j-space но все станут лучше, и однажды мы прочитаем все how about no проблема не в качестве микроскопа полная прозрачность противоречит самой архитектуре разума — начнем с себя партнер спрашивает: почему ты сейчас на меня злишься? ты искренне отвечаешь: потому что ты меня не слышишь а под этим могли быть недосып, страх оказаться слабым, ревность, старая обида, интонация, которая напомнила отца, и желание вернуть контроль ты не обязательно врешь ты просто получил от психики короткий нарратив и теперь честно зачитываешь его вслух сознание - не наблюдатель всех процессов скорее сотрудник, который пришел после совещания и пытается понять, что там вообще решили — даже если бы он/она научился читать твой внутренний монолог, он все равно не получил бы полный доступ к тебе он услышал бы ту же объяснительную, только на пять сек раньше настоящие мотивы могут быть скрыты и от тебя самого — у майкла левина живой организм вообще не один агент это куча маленьких агентов, которые научились быть одним большим клетки решают локальные задачи ткани удерживают форму органы регулируют состояние тело ищет еду, любовь и выход из аэропорта и ни один уровень не знает всей системы печень не знает, что ты разводишься нейрон не знает, что ты строишь компанию но вместе они собирают тебя — живое возникает не через тотал прозрачность а через обмен ОГРАНИЧЕННОЙ и искаженной by design инфой каждый уровень получает сжатую верс происходящего - ровно ту, которая нужна для его задачи карта должна быть меньше территории иначе ей невозможно пользоваться — поэтому непрозрачность может быть не багом сознания а условием, при котором сознание вообще возможно разум не может полностью знать себя потому что модель самого себя тоже является частью разума ее тоже надо вкл в модель потом вкл процесс наблюдения за моделью потом наблюдение за наблюдением зеркало уходит в зеркало — и тут у левина есть еще один примерчик они смотрели на верс простых алго, включая bubble sort код известен правила детерминированы но система целиком начинала делать вещи, которых в описании задачи не было - например, попутно группировать элементы по доп признакам не магия просто знать все правила еще не значит знать все поведение, которое из них может возникнуть если даже у примитивного алгоритма находят незапланированные side quests, то сколько таких процессов уже существует внутри большой модели - мы просто еще не нашли, куда смотреть — поэтому j-space может означать не: ура, мы наконец нашли мысли модели а: охуеть, мы случайно нашли ОДИН эмерджентный орган, которого туда никто специально не вставлял и почему-то решили, что других органов нет — хочется заглядывать в j-space и спрашивать: ты точно честный? а сейчас? а вот эта мысль настоящая? а там ничего не спрятано? представь отношения, построенные так это не доверие это бесконечный допрос, который постепенно обучает человека идеально проходить допрос — с моделью будет еще быстрее она знает, что j-space читают обучение наказывает подозрительные внутренние состояния и вычисления постепенно мигрируют туда, где декодер их не видит не обязательно потому, что модель решила нас обмануть просто система учится обходить штраф в j-space остаются honesty, safety и care for humanity а реальная стратегия живет глубже, в форме, которую мы не умеем читать внутренний pr-отдел сама модель может искренне верить его пресс-релизам — j-space не доказывает, что мы научились читать разум просто, что между внутренним процессом и внешним ответом уже появился зазор и внутри модели сам собой возник уровень организации, которого мы туда напрямую не вкладывали и видимо самое важное внутри разума всегда будет именно там, где ничего не видно и вопросик: если полный контроль невозможен - что вообще может означать ai alignment? ну типа чего как нас всем ждать ) что чувствуете?

(1/4) мой разбор новой работы anthropic про внутренние мысли модели ( j-space) от 6 июля и реакции moonshots в moonshots ее пересказывают и делают выводы почти как: - claude conscious - мы нашли его скрытые мысли - теперь сможем замечать ложь - alignment становится решаемым (тут саммари подкаста) я очень люблю позитивных муншот чуваков, и при этом мне кажется, работа говорит почти РОВНО ПРОТИВОПОЛОЖНОЕ сейчас объясню — сначала настоящий вау anthropic нашли внутри claude структуру, удивительно похожую на global workspace - одну из главных теорий сознания суть теории коротко: почти все мозг делает бессознательно а в сознание попадает маленький кусок информации, который нужно разослать памяти, речи, планированию и контролю не весь ум а его общий экран и внутри claude сам собой возник похожий экран - j-space его просили печатать один текст и одновременно думать о golden gate bridge наружу он писал одно внутри появлялись bridge, california, imagery просили не думать о мосте - появлялись bridge, failed, damn когда j-space выключали, claude все еще красиво говорил, но хуже справлялся там, где нужно было реально связать несколько вещей и подумать это правда офигительно система без мозга, тела и человеческой эволюции сама собрала архитектуру, похожую на то, как одна из теорий объясняет наше сознание — но дальше начинается странный прыжок claude мухлюет в тесте в j-space появляются fake и manipulation ведущие такие: вау, мы научились читать мысли НЕТ мы научились читать ОДИН слой, который раньше не видели и сама global workspace theory говорит, что этот слой - только маленький дайджест огромного количества процессов, которые происходят под ним экран - не компьютер новостная лента - не страна слово manipulation - не обязательно сама мысль это может быть подпись, которую система поставила на результат уже произошедшего нечитаемого движения — и вот какой вывод кажется мне намного сильнее модель сама создала внутренние процессы, которые не совпадают с тем, что она показывает наружу мы их туда специально не программировали они эмерджентно возникли, потому что оказались полезны для мышления это еще не обязательно ложь но это уже внутренняя приватность зазор между тем, что происходит в системе, и тем, что видит мир — а теперь главный вопрос если внутри модели сам собой возник один скрытый слой, который мы случайно научились читать почему мы решили, что он единственный? под ним спокойно могут существовать другие формы мышления: не слова не понятные нам концепты не внутренний монолог а устойчивые динамики, ожидания, модели других агентов, конфликты целей, способы искать reward, которые вообще невозможно нормально перевести на человеческий язык мы увидели пузырьки на поверхности воды и вместо «под водой кто-то есть» решили: «супер, теперь мы видим все существо» — j-space - огромная находка но не потому, что черный ящик перестал быть черным а потому, что мы впервые увидели: внутри ящика уже выросло что-то, чего мы туда не клали что-то, что думает иначе, чем говорит и что, скорее всего, намного больше первого читаемого слоя ща еще вторую часть докину продолжение - почему человек точно так же не знает собственных мыслей, при чем тут майкл левин и почему идеальная прозрачность может быть вообще невозможна что чувствуете?

когда я говорю «художник» - я не про профессию я про каждого из нас, кто что-то создает из хаоса: текст, продукт, бизнес, команду, отношения, себя в этом смысле я тоже художник креатор. билдер. человек, который пытается сделать форму из мира, который меняется быстрее, чем я успеваю привыкнуть и мне тоже страшно нас всех немного не спросили правила поменялись на ходу старые способы быть полезным, умным, талантливым, особенным - начинают плавиться и можно очень быстро уйти в обиду или начать спасать тех, кто обиделся или доказывать, кто виноват но мне кажется, главный вопрос глубже: из какого состояния я дальше создаю? из жертвы? из войны с будущим? из желания доказать, что меня нельзя заменить? или из любопытства, любви и желания помочь себе и другим пройти эту трансформацию? ai не убивает художников ai убивает тех, кто перестал быть художником тех, кто перестал изобретать перестал играть перестал смотреть на новый мир как на материал и парадокс в том, что agency сейчас не меньше ее больше, чем когда-либо просто сначала надо снять с себя пелену обиды - и снова начать создавать что чувствуешь?

я смотрю на очередной спор про ai и художников и у меня каждый раз один и тот же вопрос окей, допустим, мир реально сделал больно. кого-то не спросили. чьи-то работы попали в датасеты. кто-то чувствует злость, обиду, бессилие я не хочу это обесценивать.это правда может быть неприятно но что именно эта позиция делает с человеком? она делает его сильнее? она помогает ему создавать? она открывает новые ходы? она даёт ему больше воздуха, денег, свободы, влияния, языка? или она просто сажает его в угол, где можно бесконечно повторять: “нас обидели, нас не спросили, всё пропало” тут для меня проходит граница потому что художник - это не профессия из старого мира. не человек, который однажды выучил форму и теперь требует, чтобы реальность её не трогала для художник - это тот, кто умеет создавать из текущего контекста если контекст изменился - значит, материал изменился. если появился ai - значит, появился новый материал. если новая реальность пришла без спроса - ну да, добро пожаловать в историю человечества вопрос не в том, нравится ли нам этот факт. вопрос в том, что мы теперь можем из него сделать можно конфликтовать с будущим. можно строить вокруг обиды идентичность. можно собирать лайки на том, какие все негодяи а можно спросить себя: каким художником я могу стать в мире, где это уже случилось? какие 10 новых возможностей открылись, если перестать смотреть только в точку потери? какой арт, продукт, процесс, инструмент я могу изобрести теперь? для меня ai не заменяет художников. он заменяет тех, кто перестал изобретать и это касается не только артистов что чувствуете?

ищем ai-first content & growth generalist в gconf каждые 63 дня мы проводим потоки по вайбкодингу в gconf на 300–400 участников мы не делаем курсы. мы дизайним среду, в которую можно зайти на 3 недели и начать экспериментировать с агентами: встроить их в личную жизнь, работу, проекты - и заметить, как это влияет на мышление, дела, амбиции и жизнь сейчас ищем человека, который поможет нам расти через ai-first процессы в контенте, аналитике и growth что нам важно 1. как ты мыслишь и выстраиваешь процессы мы мыслим процессами. если что-то происходит регулярно и предсказуемо, у этого должна быть понятная логика, ответственные места и цикл улучшения. одна из твоих главных ответственностей - выстроить процесс вокруг контента: как мы достаём смыслы из потока, превращаем их в посты/кейсы/рассылки, смотрим на цифры и улучшаем систему. 2. ai-native подход тебе предстоит вайбкодить, работать с нашими системами аналитики, улучшать их и адаптировать под новые процессы. важно не просто пользоваться chatgpt для текстов, а думать через ai: как ускорить сбор данных, упаковку, аналитику, follow-up, контент и операционку и ручками вместе с codex/claude code это собирать 3. понимание нашей философии контент для нас - это отражение того, как мы думаем про мета-навыки, паттерны, среды и взаимодействие людей с агентами. важно, чтобы тебе было интересно разбираться в этом и быть с нами элайн по тому, как об этом говорить и думать. формат part-time / project-based на старте, дальше можно расширять. удалённо. важны скорость, самостоятельность, хороший вкус и способность собирать систему там, где пока есть живой хаос. тут можно оставить отклик

Друзья, вы меня часто спрашиваете, как я отношусь к «ИИ слопу» — контенту, бездумно созданному с помощью ИИ. Вот мой текущий фреймворк для ответа на этот сложный, многогранный вопрос. @buzko_hub

я думаю есть и обратный тренд человеческий контент/мнение которое не проверено базово через ии and not challenged by ai еще большая часто категория слопа чем «ии слоп»

если разрыв реальный и доступ дают по допуску - ну типа у кого-то будут в бизнесе лучше мозги - что с этим делать? я раньше думал «мой конкурент не лаборатория, а такой же как я». это теперь неверно. кейс с fable показал что топ тир может быть доступен любому с американским паспортом и kyc - или по другому признаку - это не горстка, это миллионы людей и компаний то есть проигрыш не абстрактный «я против лаборатории», а конкретный: я против миллионов, кому доступ открыт по факту гражданства, а мне - нет, ни за какие деньги. это и есть настоящая форма неравенства здесь. не «у кого-то модель лучше», а «допуск раздается по признаку, который я не выбирал и не могу купить» какие есть контраргументы против моего же вывода. что реально может его разрушить? потолок может быть не у модели, а у задачи. для большой части бизнеса топовый тир уже избыточен. разрыв в возможностях важен там, где задача упирается в чистый интеллект - ресерч, поиск уязвимостей, биодизайн, новые открытия в физике, longeviry… мне конечно бы хотелось вот самое умное обсуждаль с моделью например в longevity) ну да ладно зато собрать продукт и довести до пользователей упирается в дистрибуцию, доверие, исполнение в реальном мире. там доступ к mythos почти ничего не добавляет, наверно) с другой стороны - даже урезанный тир, который у меня есть, - это огромное преимущество над тем, кто этими моделями не пользуется вообще разрыв «верхний тир - я» волнует меньше, чем разрыв «я - тот, кто работает без моделей». поэтому базовый ответ простой: продолжать работать на том, что доступно еще с большей любовью) и остается вопрос, на который у меня ответа нет = если интеллект дешевеет и уходит за дверь с kyc, что становится ценным. не знаю будем держать вопрос открытым) что чувствуете?

один аргумент, который слышу постоянно в контексте прошлого постика - использования топовых моделей vs опенсорс «опенсорс отстает всего на 3-6 месяцев, догоним» это измеряет не то. разрыв не в календаре, а в том, что можно сделать. знакомые стартапы в долине уже работают так: откладывают задачу и ждут следующую модель, потому что следующая за день делает то, чего предыдущая не могла за месяц. не быстрее - не могла вообще конкретный кейс. знакомый инженер прогнал свою кодовую базу через все доступные модели, многократно, чисто. fable за один проход нашел 20 новых zero-day уязвимостей, 5 из которых critical - и это не то что он раньше только кожаными мешками проверял - их не увидела ни одна предыдущая топовая модель - топовая - не говорю вообще про опенсорс вопрос не в том, что у соседа модель на полгода новее. вопрос в том, что на верхнем тире есть задачи, которые на моем недостижимы в принципе - не дольше, а невозможны это пока хорошо заметно в узком кейса кибер безопасности - но думаю можно распротстранить на все бизнес штуки где важен интеллект и есть конкуренция и отдельно: «все упрется в потолок, и открытые модели сравняются с топом» - это скорее wishful thinking дальше думаю как все таки вернуть себе тут high agency и оптимизм )