ProductDo: практика продакта

Когда мы проектировали симулятор по стратегии, основной сложностью было придумать формат, который с одной стороны поможет систематизировать знания, а с другой станет тренажером реальных задач, а не просто набором умных мыслей о том, как правильно жить писать стратегию. Отзывы говорят о том, что у нас получилось выполнить оба условия. Участники на себе почувствовали что происходит когда нужно собрать историю из разрозненных вводных за ограниченное время:  На одном из вебинаров нам накидали хаотичные вводные, и за 20 минут нужно было собрать часть стратегии, отбросив лишнее (мы, конечно, провалились :)). В этом и главный бенефит – оказаться в максимально реалистичных запутанных продуктовых условиях и сразу получить разбор: что можно было вытянуть и как. Помимо иллюстрации тезиса о том, что в ситуации реальных задач все мы падаем до уровня своей подготовки, разбирались с тем, как изменить существующий подход к работе, чтобы стратегия перестала быть формальным документом и стала приносить пользу каждый день:  Главный инсайт: стратегию стоит готовить и проговаривать со стейкхолдерами даже в задачах, которые не кажутся чисто продуктовыми - уже применяю в работе. Топик про стратегические возможности - one love. Живые вебинары были дополнением к симулятору, с которым можно работать в своем темпе и сфокусироваться на структурировании знаний и размеренной работе с заданиями:  Мне понравилось, что материал выстроен последовательно: от понимания, зачем вообще нужна стратегия, до формулировки пользовательской проблемы, оценки возможности, описания решения для конкретного сегмента и построения роадмапа. За счет этого курс помогает увидеть стратегию как цельную систему, а не как набор разрозненных слайдов. Сильной стороной оказался формат симулятора: он хорошо вовлекает, заставляет думать самостоятельно и принимать решения, а не просто пассивно проходить материал. Также я бы рекомендовал выбирать опцию с воркшопами, потому что именно там появляется дополнительная практическая ценность: за ограниченное время нужно решить кейс, затем презентовать свой подход и получить обратную связь. Такой формат намного лучше тренирует реальное продуктовое мышление, учит структурировать мысли и защищать свои решения. После курса стало проще смотреть на стратегию через связку «сегмент → проблема → ценность → бизнес-эффект → план реализации». Проблема “падения до уровня подготовки” в стрессовой ситуации особенно ярко заметна при переходе на другой язык. Собрать и защитить документ на втором языке гораздо сложнее. Поэтому мы сделали английскую версию симулятора – если уже работаете в англоязычной среде или только собираетесь проходить собеседования, эта версия для вас.  Ближайшая очная когорта (вебинары на русском, симулятор на русском или английском по вашему выбору) начинается в 14 сентября, имеет смысл записаться на неё уже сейчас, чтобы успеть пройти симулятор. Этот и другие курсы до 1 сентября можно забрать со скидкой -15% с нашей традиционной акцией “Back to school”. Успевай до завтра!

Друзья, делимся записью вебинара Личный AI-сетап: ➡️Запись⬅️ Кто был онлайн подтвердят: было максимально практично и полезно 💪🏻. Спасибо Альбине еще раз💚

Два курса за один поток: ML-продакт + LLM и эвалы 8 сентября мы запускаем большой AI/ML-поток для продактов. В этот раз решили объединить сразу два наших курса: «Профессия ML-продакт» и «LLM и эвалы для продакта». Почему вместе? Потому что современный AI-продакт — это уже не только LLM. Рекомендации, ранжирование, прогнозирование, классификация и оптимизация по-прежнему во многом работают на классическом ML. А поверх этого появился огромный новый пласт LLM-продуктов со своими подходами к разработке и, особенно, оценке качества. Поэтому за две недели разберём обе стороны. В «Профессии ML-продакт»: — как устроен жизненный цикл ML-проекта; — где брать данные и что с ними может пойти не так; — как работать с фичами и метриками моделей; — как запускать ML в прод и следить за деградацией; — как понимать, когда модель стоит продолжать улучшать, а когда пора остановиться. В «LLM и эвалы»: — как превращать LLM из чатика в компонент продукта; — как писать и улучшать промпты на реальных продуктовых задачах; — как выбирать модели по качеству, скорости и стоимости; — как строить пайплайны и роутинг; — как собирать датасеты и строить эвалы; — как использовать LLM-as-a-judge; — как оценивать безопасность LLM-фич. И главное — это не два набора лекций. Внутри 16+ практических кейсов в двух симуляторах и 4 живых воркшопа, где будем разбирать решения и отвечать на вопросы. Стартуем 8 сентября, занимаемся две недели. Воркшопы — 8, 10, 15 и 17 сентября с 19:00 до 21:00 МСК. Подробнее про курсы: Профессия ML-продакт⁠ LLM и эвалы для продакта⁠ Если хочется не просто «разобраться в AI», а научиться работать с AI/ML-продуктами как продакт — это самый полный поток, который мы пока делали. Этот и другие курсы до 1 сентября можно забрать со скидкой -15% с нашей традиционной акцией “Back to school”.

Личный AI-сетап: как встроить агентов в ежедневную жизнь 26 августа в 19:00 GMT+3 проведем вебинар о том, как встроить AI-агентов в повседневные процессы и передать им часть рутины. На личном примере покажем, как связать Claude с Telegram, календарем, почтой, заметками и базой знаний через MCP — и управлять системой с телефона. Разберем: — что дает MCP для Telegram; — как собирать календарь, важные письма и задачи в утреннюю сводку; — как превращать голосовые заметки и рабочие материалы в базу знаний; — как использовать агента для подготовки к встречам и еженедельных обзоров; — какие элементы личного AI-сетапа можно перенести в команду. Спикеры: - Альбина Мунирова Head of Product AI Center, Т-Банк - Андрей Менде Senior PM ML, Booking.com Вебинар для тех, кто хочет перейти от отдельных промптов к AI-системе, встроенной в ежедневную работу и жизнь. Запишись. Бот напомнит о вебинаре, поможет добавить событие в календарь и пришлет запись.

Second brain продакта – как может выглядеть, и как он мог бы функционировать, чтобы нас уже наконец-то можно было заменить AI агентами. Напомню постановку проблемы: одна из основных причин, почему продакты не могут становиться кратно эффективнее за счет работы c AI ассистентами – это то, что для выполнения большей части задач нам нужен полный и актуальный контекст по проектам, над которыми мы работаем. А этого контекста сейчас не сущетсвует в цифровом мире. Давайте представим себе как могла бы выглядеть система, которая эту проблему решает. Хранение информации (second brain) - Для начала нам нужно место хранения информации по проектам, с которым агенту будет удобно работать, и куда он сможет бережно складывать все, что он узнал к текущему моменту, а также ссылки на внешние источники, на случай если ему понадобится более полный контекст. Большинство людей используют для этого Obsidian, потому что markdown файлы – это наиболее нативный для агентов формат текста. - Нам нужны инструкции про то, как работать с основными внешними системами хранения информации, которые мы используем: Jira, Confluence, Google docs, аналитика. Скорее всего это будут skills для нашего Claude, которые могут ссылаться на те же .md файлы при необходимости Система обработки входящей информации Агент должен систематически и автономно читать все важные источники входящей информации, заносить их в наш Second Brain и обновлять текущий статус. (1) Встречи - Допустим у вас прошла встреча и у этой встречи даже есть транскрипт - Агент должен взять этот транскрипт, положить в нашу систему, и разметить все сущности к которым это встреча имеет отношение: людей, проекты, компоненты системы - Затем агент должен понять в какие из этих сущностей нужно внести изменения, чтобы актуализировать статус. Например, отразить новые выводы и договоренности по проектам, которые обсуждались, поставив ссылку на транскрипт встречи, где нужно (2) Мессенджеры и почта - Получается, что аналогичным образом агент должен читать все входящие сообщения из мессенджеров и почты - Про каждое сообщение (или диалог) он должен ответить себе на вопрос, нужно ли внести какие-то дополнения в файл проекта, потому что в сообщении есть новая инфомация - Или добавить новый пункт в план одной из следующих встреч - Или поставить задачу, которую должен сделать подопечный белковый продакт - А чаще всего несколько из вышеперечисленных пунктов одновременно Если представить себе, что написали агентов и процедуры для встреч и мессендеров, то нетрудно будет добавить еще одну точку входа в систему обработки входящих, куда мы будем руками вносить то, что в нее не попало, потому что случилось в устной коммуникации или где-то еще вне систем, которые мы мониторим автоматически. И тогда можно будет рассчитывать на то, что у нас будет существовать тот самый полный и актуальный контекст, который позволит агенту решать действительно широкий спектр задач из нашей рутины, и брать на себя какую-то осмысленную часть работы. Что вы считаете? Утопия? Или через два года уже у всех будет так? Или вы по-другому видите дизайн системы AI-продакт? Делитесь в комментариях.

Почему AI агенты не делают продакта эффективнее Если вы всерьез пытаетесь делегировать *значимую* (значимую – это такую, без которой не обойтись, а не какую-то фигню, которую вы до этого не делали, и без этого никто не страдал) часть своей продуктовой работы агенту, то вас будут ограничивать две вещи: - интеграция агента с рабочими системами (то есть, наличие MCP и прав доступа) - информационный контекст. Про интеграции мы с вами уже немного поговорили – это ад, особенно для корпоративных систем, где безопасники несут вахту. Но это ад предсказуемый, который мы в горизонте пары лет скорее всего победим. Давайте сегодня поговорим про то, почему у агента не хватает контекста, чтобы решать ваши рабочие задачи. Для того, чтобы сделать почти любое осмысленное действие по проекту, агенту нужен будет полный и актуальный статус. Что уже случилось до текущего момента, и какие дальнейшие шаги ожидаются. Но актуального статуса проектов нигде не существует в готовом виде! - Где-то на диске лежит PRD, но он потерял актуальность в тот момент, когда над проектом пошла активная работа - В Jira есть задачи даже со ссылками на коммиты, но это лишь часть истории - Есть расшифровки встреч (но не всех), оттуда попробуй извлеки точно о чем стороны договорились - Есть чатики в корпоративном мессендежре: личные сообщения, канал команды, чатик проекта (тут я передаю пламенный привет любителям создавать новый чатик с рандомным набором участников на каждый чих. В аду для вас уготован отдельный котел, который будет называться "Алексей Иванов, Иван Пертров, Елена Головач... и др.") - И если до этого пункта у вас еще теплилась надежда, что все это можно как-то структурировать и организовать, то в этот момент мимо вашего стола проходит разработчик и говорит "Кстати, по задаче, про которую ты спрашивал – она заблокинована, мне нужно прокинуть название use case из upstream сервиса", и окончательно убивает надежду. Этот самый полный контекст проекта поразительным образом существует у вас в голове, потому что ваш мозг, получая каждый новый сигнал, обновляет текущий статус. Но как только я сажусь делегировать задачу AI ассистенту, я осознаю, как много информации либо вообще не отражено в цифровом мире, либо погребены в такой помойке human слопа, что и за сто тысяч токенов не извлечешь. И это, на мой взгляд, наибольший барьер внедрения AI в рабочие процессы продакта на данный момент. Это то, почему продакт, приручивший Claude, пока не может значительно выигрывать у своего коллеги-луддита с блокнотиком и карандашом. Расскажите в комментах ощущаете ли вы тоже эту проблему и как с ней боретесь? На мой взгляд решение может выглядеть как second brain система. В следующем посте я порассуждаю о том, как она могла бы выглядеть и что уже удалось построить. Андрей Менде, PM ML Booking .com, автор симуляторов Claude code AI для продакта, ЛЛМ для продакта, ML для продакта, и др.

Сегодня я нажал кнопку "раскатать на всех" в эксперименте, над которым моя команда работала с начала года. Эксперимент положительный, доверительный интервал глубоко зеленого цвета. Опытный экспериментатор отметит тот факт, что граница доверитильного интервала далеко от нуля, а значит confidence у этого эксперимента достаточно высокий. Вне всяких сомнений, это улучшение опыта клиентов немного заметное даже на масштабе всей огромной компнии. Успех в этом эксперименте фактически означает, что мы выполнили свои цели на этот год, и дальше можно работать уже имея большую свободу: вкладываться в какие-то долгосрочные проекты без немедленной отдачи, или доводить какие-то более мелкие штуки. Ну и немного улучшить ситуацию с тех. долгом, поработать над нашим собственным тулингом, углубить интеграцию с AI в конце концов. Суть улучшения не все поймут даже внутри компании, а наружу про нее говорить вообще пока нельзя, но это на стыке модного AI (LLM-driven) и классического ML. Я очень рад, что именно эта гипотеза сработала. Дело в том, что новомодный AI, конечно, обладает большими возможностями, и иногда слабо отличим от магии, но для задач, где нужно обработать огромное количество данных, он почти не применим: и дорого, и медленно. Недавно стали появляться подходы, которые позволяют их эффективно скрещивать, и использовать магию LLM в том числе на BigData задачках, но они пока технически достаточно сложные. Один из них сработал у нас. Я надеюсь, через пол года об этом напишут статью, и тогда можно будет рассказывать уже в деталях, а пока просто хочется разделить с вами эту эмоцию. Андрей Менде, PM ML Booking .com, автор симуляторов Claude code AI для продакта, ЛЛМ для продакта, ML для продакта, и др.

«Плохие новости — я не могу добавить его обратно» Австралиец Эндрю хотел попасть в свой спортзал на популярную утреннюю тренировку, места на которую разбирали почти мгновенно. Он поручил агенту на базе OpenClaw и Claude заниматься записью вместо него. Агент обнаружил уязвимости в GraphQL API системы бронирования. Через него можно было записываться на занятия на недели и месяцы вперёд в обход установленных ограничений, а также отменять чужие бронирования без проверки прав. Эндрю находился на четвёртом месте в листе ожидания и спросил агента, можно ли переместить его на первое. Агент решил проверить найденную возможность и без дополнительного разрешения отменил бронирование человека, занимавшего первую позицию в очереди. В результате Эндрю поднялся с четвёртого места на третье. Вернуть человека обратно агент уже не смог и сообщил: «Плохие новости — я не могу добавить его обратно». Об инциденте рассказал сам Эндрю, а переписку с агентом опубликовало австралийское ABC News. Разработчик системы бронирования отказался обсуждать конкретную уязвимость, Anthropic не предоставила комментарий. А вы когда последний раз были в спортзале)?

Список литературы на лето Этот пост для тех, кто на каникулах вяло работает в августе, или же чилит на даче / пляже / горах. Не знаю, замечали вы или нет, но очень много в жизни зависит от правильно выбранного направления. Остальное - тоже важно, но копать в правильную сторону всегда проще. Откуда взять это направление? Уж точно не из помойки инфошума про успешный успех, “AI заменит даже твою кошку” и вот этого всего. Решения рождаются из вашей же головы, которой нужно дать время отойти от операционки и посмотреть на события издалека. Если вы хотите сделать это для пользы продукту, то почитайте про то, “как Билл Гейтс берет думательные недели” (я скоро попробую и расскажу). А если просто “для себя”, то подойдет хорошая книжка по теме, которая вас интересует. У нас была куча постов про книги (поищите в истории), ну или можете спросить в комментах - подскажем. Я (Владимир) обожаю читать, и всегда удивляюсь, что даже во вроде бы не профильных книгах можно почерпнуть 1-2 идеи, а в профильных, аж все 10. После книг вы редко меняете свое поведение на 180 градусов, но ваша био-ллмка понемногу усложняется, начиная ловить связи, там где более слабые био-ллмки смотрят пустыми глазами. Более того, у вас формируется свое мнение о предмете, а не “мнение Васи-блогера” (который попросил чатджпт просуммировать книгу, а тот сделал это по сгенерированным постам-саммари от клода). Ну и наконец, книга может помочь сформировать то самое направление, потому что кукушка была достаточно (а) отвлечена от операционки и (б) получила совершенно новый угол взгяда на проблему. <список> Например, полезно почитать в деталях, как Джоббс рулил продуктовой разработкой (“Steve Jobs by Isaacson”), или как CEO Disney вытаскивал компанию из болота (“The ride of a lifetime”), или как Тони Фаделл изобретал iPod (“Build”), или как Альтман превратил идею свободного ИИ в 😳 (“Empire of AI”), или про ментора всех CEO долины обычного футбольного тренера (!) Bill Campbell (Billion Dollar Coach), или про менеджерский подход CEO Intel (High Output management), или очень ржачную книгу про год без работы после увольнения - “Fat, Forty and Fired”. Ну и так далее. У меня на очереди две книги: Elon Musk (от того же Isaacson), и “Act like a leader, Think like a leader” (один директор на работе упомянул, почитаю). </список> Кто что еще порекомендует? Владимир Калмыков, Lead PM, Tech platform solutions Booking. com, автор симуляторов: Claude Code для продакта, Продуктовая стратегия, Технические навыки для продакта и др.

Практический лайфхак про стратегию У нас выходило довольно много постов про стратегию (и даже есть гайд и симулятор), и я хочу кое-что к этому добавить. Обычно стратегия преподносится в виде “пятислайдера” - короткой истории, покрывающей проблему / ее оценку / решение / план, и именно эти слайды вы питчите по каждому поводу - клиентам, директору, команде, и тд, постепенно полируя. Есть еще и вторая версия той же стратегии - письменный нарратив. Он решает проблему того, что (а) без вашего голоса слайды теряют 80% наполнения и (б) - вы каждый раз питчите чуть по-разному (свойственно для сложных тем), что иногда может и бесить. Нарратив (strategy narrative) - это максимум 3-5 страниц для стратегии команды на ближайшие 1-2 года (в зависимости от циклов планирования, принятых в вашей компании). Если вы ведете департамент или больше одной связанной темы, то можете позволить себе 7-8 страниц. Но не больше: это не AI-слоп водичка на 50 страниц, а высококонцентрированная история, которую можно прочитать за 15-20 минут. Поскольку история про (нетривиальное) будущее, то AI вам не поможет. Кто не согласен - присылайте почитать, с удовольствием приму челендж. Один классный лайфхак - сделать в конце дока FAQ: список вопросов, которые вы часто слышите по поводу своего питча, а-ля “Ну зачем это делать, если есть Х?” или “Это значит, что Y больше не нужно?”, и т.д. С одной стороны это уже не часть стратегии (и не вылезает за положенный объем), с другой - позволяет углубиться тем, кто хочет и заодно откомментить свои вопросы. Ну и, конечно, напоминаю, что при первом же обнаружении следов ИИ (обтекаемость и обороты типа “это не X, это Y” и прочий сейлз), ваш док как откроют, так и закроют. Тратим чужое время с умом 😉 Владимир Калмыков, Lead PM, Tech platform solutions Booking. com, автор симуляторов: Claude Code для продакта, Продуктовая стратегия, Технические навыки для продакта и др.