ANDRON ALEXANYAN

Только что закончили вебинар — всем спасибо, кто пришел в лайве! Круто посидели, навалили кучу пользы и даже не потратили 3 часа, как обычно это у меня бывает 🤡 Основной задачей моего рассказа было показать, что «делать аналитику в теории» и «делать аналитику на практике» — две очень разные задачи. И не потому что во время учебы дали «тепличный пример» или потому что «аналитика не работает». А потому что в реальной жизни ты постоянно сталкиваешься с ограничениями, которые невозможно предусмотреть заранее (да и вообще они уникальны каждый раз) — грязные данные, дефицит информации, недостаток времени/бюджета на тесты и куча всего еще. На вебинаре мы на конкретном примере посмотрели: как из «правильного» теста объявления за 11 миллионов (!!!) рублей мы сократили тест до 1500 тысяч рублей и результат остался статистически значимым (!). Мы не обманули систему, не пожертвовали точностью — мы просто адаптировали классический «идеальный» подход под реалии жизни) И такие конструкции работают везде. Например, когда делаешь анализ ассортимента в реальной жизни, сталкиваешься с вещами, о которых даже не мог подумать — сезонность, обязательный ассортимент, ценовые сегменты, десятки групп и подгрупп, неоднородность ассортимента в разных точках, эластичность... Но эту задачу можно решить — это будет все тот же ABC-анализ, только на стероидах и с кучей адаптаций. И именно про это полтора года назад я запустил свой авторский тренинг «Как делать аналитику». За последние годы я поработал с десятками проектах в самых разных нишах — B2C, B2B, ecom, маркетплейсы, ритейл, аптеки, медицина, образования, gamedev... Даже аренда люксовых авто и частных джетов были!!! И я по крупицам выработал для себя рабочие инструменты и подходы, которыми пользуюсь до сих пор каждый день — как РЕАЛЬНО делать аналитику в условиях РЕАЛЬНОЙ жизни. Если вы опытный аналитик, то тренинг — именно тот шанс, который вам нужен для скачка на следующий уровень. Если вы только начинаете — тренинги станет отличной базой, дальше вы будете наслаивать новые знания на уже окрепший фундамент. Если вы просто работаете с данными (руководитель/маркетолог/продакт/кто угодно еще) — для вас тоже будет много полезного. Чтобы записаться на тренинг или обсудить конкретно ваш запрос — просто оставьте заявку и мы подробно вас проконсультируем. Мы открыли набор уже давно, но я первый раз пишу об этом здесь — до старта осталось всего 4 дня, не упустите возможность запрыгнуть в последний вагон. Предыдущий поток мы запускали полгода назад и больше не планировали — решили сделать еще один запуск по просьбам студентов. Следующего потока, вероятно, уже не будет. Важный момент — это не курс. Эти материалы вы не найдете на ютубчике: весь материал — это выжимка моих знаний и накопленного опыта, поэтому тренинг и называется «авторский». Более того — вы сможете задать мне абсолютно любой вопрос лично: я вникну в ваш кейс и дам подробный ответ. И эта опция, вместе с материалами, останется у вас навсегда. В общем, если вам актуально прокачать свою мышцу делать выводы, искать инсайты и проводить аналитику даже в тумане — записывайтесь на тренинг 🤝

[ВЫ ЗАРЕГИСТРИРОВАНЫ НА ВЕБИНАР] Сегодня в 19:00 мск проведу вебинар «Аналитика в реальной жизни: как делать выводы, когда из данных ничего не понятно?». Тема очень горяченькая. Буду рассказывать на примере рекламных объявлений, но полезно будет абсолютно всем, чтобы посмотреть — как использовать аналитику не в сферическом вакууме, а в реальной жизни, где постоянно не хватает времени/денег/еще чего-то. Если опираться на умные книжки, то чтобы получить статистически значимый результат «объявление нужно отключить» иногда нужно потратить по 2-3 миллиона рублей на каждое. Понятно, что это бред) Получается, аналитика — бесполезна? Нет, на вебинаре как раз конкретно покажу — как адаптировать это к реальной жизни и проводить тесты «дешево и сердито». Все, как мы любим) И еще раз — актуально будет не только маркетологам и не только гуру математики. Все буду объяснять максимально понятно и на жизненных примерах) Моя задача — показать одно из применений аналитики на практике, чтобы у вас выстроился мостик «теория → практика». Приходите!) Ссылку на подключение закину сюда за 10 минут до начала.

Буквально только что во внутреннем чатике наша студентка с курса по аналитике данных написала полезный фидбек на мой пост (Ольга, спасибо!). И я понял, что немного обосрался — сейчас исправим 🤡 В своем посте я забыл подчеркнуть одну маленькую, но КАПЕЦ КАКУЮ ВАЖНУЮ деталь: Я говорил не о том, что вам нужно знать, чтобы зайти в профессию. Я говорил о том, в какую сторону вам нужно продолжать развиваться, чтобы оставаться конкурентоспособным и расти в профессии, когда вы уже стали аналитиком. Вырос ли порог входа в аналитику за последние годы? Да, абсолютно точно — и это нормально, потому что профессия аналитика достаточно молодая сама по себе. Но Ольга очень точно заметила: На одном из вебинаров, когда я только начала учиться в Simulative меня вдохновила фраза одного из менторов курса, что да, требования выше становятся, но и людей меньше, которые доходят до конца. И в моменты желания отложить курс, я вспоминала, что продолжая учиться, я попаду в этот маленький процент, и будет меньше конкуренции. Именно так! Это так и работает. И про это и есть мой самый первый и самый главный тезис — «учитесь решать (и любить решать) сложные задачи». Представьте двух кандидатов: * Первый закончил курсы, на собесе чувствует себя неуверенно, портфолио пустое или с какими-то элементарными проектами, разбор которых есть на Хабре * Второй — с легкостью решает задачи на собесе и с мощным бизнесовым портфолио Кому отдадут предпочтение? Конечно второму! И не потому что он красивое портфолио собрал. А потому что работодатель понимает, что уровень задач, которые сможет самостоятельно решить второй — сильно выше. Он сможет решать сложные задачи (ну то есть вообще сможет их решать), простые задачи сможет решать быстрей и так далее. Это вы-год-но. Итак, подытожу: 1. Чтобы войти в аналитику, достаточно знать самые основные темы — SQL, Python, метрики и базово BI. Если знаете больше (например, можете автоматизировать скрипт) — это точно плюс, но не блокер. 2. Но знать эти базовые темы нужно на продвинутом уровне — иначе вот в этом моменте вы проигрываете конкуренцию. Раньше проигрывали только другим кандидатам, которые чуть усердней вложились в свою подготовку, а теперь еще маркетологу, который сам может навайбкодить себе что-то. 3. Но если вы уже на старте круто разбираетесь в базовых темах (кто у нас учится — если вы, например, сложные кейсы по SQL из курса решаете) — у вас все круто, можете не переживать. 4. Еще раз подчеркну — НЕ НУЖНО УЧИТЬ ВСЕ СРАЗУ. В математике есть термин «максимально минимально». Вот и тут так — ваша задача освоить максимально быстро максимально минимальное количество тем, чтобы как можно быстрей выйти на рынок труда и получить оффер. Все остальное — в процессе. 5. А вот дальше, чтобы развиваться, нужно будет прокачиваться дальше. ДЕ, ИИшки, продуктовый подход. Это нормально — сейчас мир супер динамичный и было бы странно, если можно было бы иначе. За последние полгода несколько профессий просто исчезли с лица земли. Аналитику это точно не ждет, но трансформации будут (и вот про них как раз написал в предыдущем посте). Это в целом про концепцию lifelong learning — сколько живешь, столько и учишься. Постоянно узнаешь новое и развиваешься, как профессионал. И это на самом деле очень круто — ты мало того что постоянно растешь (в зарплате тоже, кстати), так еще и постоянно испытываешь вау-эмоцию, типа «оу, это так можно было! как я жил без этого!» И раз пошла такая пьянка — позволю себе незапланированный продакт-плейсмент) Пост вышел спонтанно, я вообще другой задачей занимался и не планировал ничео писать. Но если вам такая штука откликается — присмотритесь к нашей ПОДПИСКЕ НА ВСЕ КУРСЫ. Платите один раз и получаете доступ ко всему, что уже выпущено (и там как раз и аналитика, и DE, и A/B-тесты, и курс по ИИшкам, и тренинг про продуктовое мышление), так еще и ко всему, что еще будет (а планов у нас ого-го!!!). У нас до конца июня идет акцию на подписку — даем огромную скидку (а для наших студентов еще больше). В июле поднимем цены (т.к. с прошлого раза туда добавилось уже 7 программ!). Если вам интересно — напишите просто «+» или что угодно еще в чатик нашим менеджерам, они подхватят и проконсультируют вас: @simulative_team_3 🧡

На днях я глубоко погружался в записи разговоров наших менеджеров с потенциальными клиентами и заметил интересную штуку — все чаще я слышу от людей непонимание, куда вообще двигать свою карьеру, с учетом развития искусственного интеллекта. Ну то есть люди буквально в режиме ожидания: они реально хотят поменять свою жизнь и освоить аналитику данных, но боятся, что ИИ их скоро заменит. Хочу поделиться своими соображениями на этот счет — мне (скромно) кажется, что этот пост может вам помочь, если прямо сейчас вы задаетесь подобным вопросом. За развитием ИИ я наблюдаю давно, причем изнутри. Еще в 2019 году я участвовал в проектах, где мы разрабатывали системы распознавания лиц по фото — сейчас такие системы стоят везде, а тогда это было супер новинкой. Потом случился ChatGPT и прочие штуки — мы начали активно использовать их API для бизнеса. Сейчас технологии шагнули далеко вперед, и я активно использую ИИшки в своей работе (50% времени наверно точно), в том числе для аналитических целей. Например: — Я навайбкодил себе сервис с глубокой аналитикой рекламы в Яндексе и предиктивным подсказками. Раз в день захожу в сервис, трачу 10 минут на овервью всех кампаний, раздаю всем звездюлей и иду делать другие дела. — Сделал ИИ-агента, который подключен к нашей корпоративной базе данных. С агентом можно общаться как с ChatGPT — текстом или голосом, и он по запросу отвечает тебе в цифрах на вопросы или даже формирует эксельки с выгрузкой. Сейчас тестирую сам, скоро раскачу на команду. — Постоянно анализирую то, что раньше было невозможно — например, раньше я бы никогда не обработал 1000 звонков с клиентами (я с этого начал пост). Сейчас я это сделал за 5 минут и выделил несколько неочевидных для себя «болей» наших клиентов, которых раньше не было. И таких кейсов я могу привести очень много. Реально, отрицать эту революцию просто глупо — если вы не хотите стать кожаным мешком на службе у роботов через пару лет, нужно серьезно задуматься о том, как стать бенефициаром этой революции) Очевидно, что старые форматы перестают работать. Если ты просто «умеешь писать SQL-запросы» — тебя не наймут (или даже сократят). Но рынок не умирает, рынок меняется — это важно!!! И, если вы правильно видите изменения в рынке, то вы можете обойти многих своих конкурентов на рынке. Итак, из своего личного опыта и десятков часов ковыряния с ИИшками, вот ТОП-5 штук, на которые вам нужно надавить, чтобы не прошляпить момент и круто стартануть/бустануть свою карьеру: 1/ Учитесь решать сложные задачи и закапываться в детали Если схема базы данных легкая или нужно собрать элементарный отчетик — любой маркетолог с подключенной к БД LLM-кой справится с этой задачей и без вас, не зная SQL. Но как только возникает сложная структура данных, куча корнер-кейсов, навороченные отчеты — LLM-ка начинает упускать детали, а менеджерам впадлу вникать и докручивать до результата. В этой части вряд ли будут существенные сдвиги, потому что это связано не с «глупостью» LLM, а с недостатком контекста по задаче. Поэтому аналитики, которые могут решать реально сложные зубодробительные задачи — будут на коне. Мы всегда в это верили — именно поэтому про наши задачи в курсах часто говорят «Так сильно я еще никогда не потел, но оно того стоило». Многие аналитики годами работали по факту переводчиками — просто переводили не с русского на английский, а с менеджерского на SQL-ный. И как правило запросы были не сильно навороченные. И ребята, которые остались на этом уровне или собираются заходить с таким уровнем знаний — вот у них будут проблемы. А на коне будут те, кто будет уметь реально сложные задачи. 2/ Разбирайтесь в инфраструктуре Реальность такова, что сейчас каждый может навайбкодить себе полноценный аналитический сервис или вообще что угодно. Не удивлюсь, если скоро это станет обязанностью аналитиков (это логично — я вот выше писал, что сделал себе такой сервис — ясное дело потом я передам его аналитику по наследству и он будет там ковыряться). Но есть пласт задач, которые частично автоматизируются, но все равно требуют и будут требовать ручного вмешательства — инфраструктурные задачи. Поднять и настроить сервер, выкатить релиз, настроить права, настроить автоматические пайплайны и прочее. Ну или как минимум контролить это все и уметь вмешаться. Это дата инженерная работа (или даже иногда ближе к девопсам), но что поделать — жизнь такая: мы уже давно говорим, что каждый аналитик должен становится фуллстак-аналитиком и прокачивать свои скиллы в дата-инженерии обязательно! Это то, что выделит вас от коллег-нубов и роботов. 3/ Привыкайте делать интеграции Еще одна дата-инженерная функция — ценность навыка построения автоматизированных пайплайнов будет только расти. И снова, это логично: если каждый чувак в компании может навайбкодить себе сервис аналитики, то он 100% захочет подрубить туда данные из общей базы, а еще из Яндекс Метрики, а еще откуда-нибудь. И с высокой долей вероятности где-то по пути от количества задач его ИИшка начнет галлюцинировать, косячить или что еще лучше — в разных таких сервисах будут разные данные. Поэтому в компании точно будет расти спрос на построение больших хранилищ или даже озер данных, чтобы каждый менеджер/маркетолог или дай бог всем здоровья кто угодно еще мог подключиться туда со своей LLM-кой и тянуть оттуда данные. Так что Python + Airflow + PostgreSQL вам в помощь! 4/ Качайте продуктовое мышление Неожиданно — мы сменили вектор от дата-инженерных задач в сторону продуктового мышления! Но я ж уже говорил — нужны фулстек-аналитики: сегодня ты пилишь пайплайны, завтра ищешь инсайты, послезавтра строишь дачу боссу дашборды 🤡 Почему нужно качать продуктовку: * Большинство вайбкодинга твоих коллег (и тебя) так и ограничится аналитикой, до автоматизированных агентов доберутся единицы. Но так как отчетики теперь не являются узким местом сами по себе, будет расти спрос на качественные выводы — а их мало кто умеет делать, по факту. * ИИшка без ТЗ — кусок железа и немного электричества. Если вы сами не знаете, по какому алгоритму надо собрать отчет, на что посмотреть или как выдавать рекомендации — можно, конечно, отдать это на откуп ИИшке, но лучше тогда продумайте сразу план Б на случай банкротства своей конторы) * В жизни все сложней, чем в теории. Выводы делать очень сложно, данных постоянно не хватает, статзначимостью и не пахнет. Чтобы из этого выпутаться, нужно очень круто шарить в аналитике именно с точки зрения продуктовки. 5/ Учитесь ИИшкам Ну и немного очевидного — ковыряйтесь в ИИшках! Не предлагаю вам тратить на это все свое время (вас все равно в это затянет, как только начнете, хех), но постоянно пробуйте новое и развивайтесь. Чтобы подытожить, идеальный рецепт «аналитика нового поколения»: фулстек-аналитик (шарит в аналитике, DE и продуктовке) + шарит в ИИшках + умеет решать сложные задачи качественно и быстро ИИшки вас не заменят, если вы адаптируетесь к новым правилам игры. Они станут вашими ассистентами, помощниками или вашими личными джунчиками, на которых вы будете сгружать кучу работы. А если вы не адаптируетесь и продолжите играть по-старому — они займут ваше место) Если согласны — накиньте реакций!

Все, что нужно знать про сегментацию — в реакциях к этому посту. Так старался, сегментировал, а в итоге так и не понял, какого сегмента тут больше. Странно…

Итак, обещал написать про сегментацию — пишу! Сегментация — эта штука, про которую знают все. Ну типа ничего сложного — взял свой набор данных, разбил на группы по разным метрикам и кайфуешь. Например: — Крутим рекламу в Яндексе, берем данные по каждому объявлению за каждый день — Разбиваем весь набор данных по полу/возрасту/гео/... — Ищем сегменты, где целевая метрика (например, цена заявки) плохая — Оптимизируем эти сегменты или отрубаем их вообще Выглядит супер просто, правда? Но на деле это не так 🤡 1/ В 90% случаев, когда начинаешь нарезать на сегменты, данных о важной метрике становится слишком мало (например, если у тебя 20 заявок было за период, то при разбивке на гео будут регионы без заявок вообще, а некоторые будут с 1 заявкой) — выводы делать невозможно. 2/ После нарезки информации становится тупо слишком много и мозг начинает плавиться от такого обилия. 2 пола, 7 возрастных групп, 80 гео, 4 вида устройств... Никакой оперативки не хватит такое адекватно проанализировать — и это только одна рекламная кампания! 3/ Как только ты начинаешь делать это на практике, ты понимаешь, что сегментов сильно больше. У тебя запущено 10 рекламных кампаний. В каждой кампании — в среднем по 4 группы. Это уже 40. И вот каждую группу тебе нужно нарезать на 100 сегментов по 4 признакам (см. предыдущий пункт) — потому что у каждой группы объявлений могут быть разные аудитории... Короче, жестко. Я частенько вожусь с сегментацией и скажу честно — до сих пор около 30% попыток заканчивается тем, что я плюю и злой переключаюсь на другую задачу. Ну потому что я думал «щас быстренько раскидаюсь», а в итоге меня затягивает в болото и вот я уже сижу весь в мху, на дворе 2026, а где-то в 2016 я просто решил просегментировать рекламную кампанию по продаже спиннеров 🤡 Вот несколько конкретных подходов, которые позволят хотя бы как-то выжить, не плюнуть и превратить сегментацию в реально рабочий инструмент: 1/ Самое важное: если метрика в сегментах примерно одинаковая — нафиг такие сегменты. На глазок особо нет разницы? Схлопывайте в один сегмент. Хотите математически обосновать? Два односторонних Z-теста для сравнения пропорций вам в помощь. Ну и иногда проверяйте — вдруг через месяц что-то поменяется и такая сегментация станет актуальна. 2/ Если данных недостаточно — используйте прокси-метрики. Если у вас 20 заявок, а показы рекламы в 80 регионах — попробуйте прокси-метрику (например, CTR объявления). 3/ Забудьте про пункт 2 (почти)!!! Используйте прокси аккуратно — сначала проверьте, есть ли прямая сильная корреляция между важной метрикой и выбранной прокси-метрикой. Очень часто она обратная: объявления с низким CTR могут приносить заявки (цепляют избранную аудиторию, но зато цепляют). Это не факт, но может быть. 4/ Конструируйте прокси-метрики из нескольких. Например, CTR умножить на % отказов (% людей, кто не просидел на сайте и 10 секунд). Иногда у них обратная зависимость и их перемножение может дать величину, которая хорошо будет коррелироваться с основной метрикой (заявками в нашем случае). 5/ Не зашкваривайтесь. Например, выше я писал, что каждую группу объявлений нужно анализировать отдельно. И это правда, если настройки разные. А если они одинаковые или даже просто близкие — то зачем? Например, "обучение по аналитике данных" и "курс по аналитике" вполне может быть в разных группах, но по сути они одинаковые — схлопните их. Автоматически так делать сложно, но вручную вполне ок. 6/ Не зашкваривайтесь (2). Если есть 2 группы объявлений, которые отличаются возрастом показа: в одной 0-18, 18-25, 25-35, а в другой нет сегмента до 18 лет. В остальном они, допустим, одинаковые. Ну так ок — просто объедините их по совпадающим сегментам, а который уникальный — смотрите отдельно. 3 группы всяк лучше, чем 5) 7/ Автоматизируйте сегментацию. Лучше потратить час времени, чтобы засунуть данные в условный Pandas, нормально сделать столбцы с признаками и дальше с помощью одной строки кода получать разбивку по сегментам, чем «сэкономить» этот час, а потом 10 лет ковыряться в эксельках (как я с рекламными кампаниями спиннеров до сих пор). Основное рассказал, но в ближайшие пару дней мне предстоит поковыряться с сегментами — если что-то вспомню, напишу!) И, кстати, эта штука не только для рекламы применима — сегментировать можно что угодно: от клиентов до ассортимента. И финальное, из какого вы сегмента? Проверим, кого тут больше! — Жен, до 18 — 🤓 — Муж, до 18 — 🤓 — Жен, 18-25 — 🤓 — Муж, 18-25 — 🤓 — Жен, 25-35 — 🤓 — Муж, 25-35 — 🤓 — Жен, 35-45 — 🤓 — Муж, 35-45 — 🤓 — Жен, 45-55 — 🤓 — Муж, 45-55 — 🤓 — Жен, 55+ — 🤓 — Муж, 55+ — 🤓 PS. Про спиннеры шутка. Я уже закончил сегментацию)

Обещал пост про сегментацию, но переобулся и решил сначала рассказать свежий кейс о том, как проводить A/B эксперименты на минималках в полях. Когда-то мы в Симулейтив делали буквально по несколько рассылок в неделю. Потом в какой-то момент мы решили, что надо увеличивать градус и с тех пор количество рассылок увеличилось примерно в 15 (!) раз по месяцу. А теперь мы дошли до точки, когда задумались — «хм, а может откат к старой механике сейчас повысит нам конверсию?». Итак, имеем задачу: — Есть телеграм-боты с аудиторией N десятков тысяч человек, которые получают условно 10 рассылок ежедневно и кликают на кнопки с конверсией X% — Хотим проверить гипотезу — а станет ли конверсия лучше, если мы уменьшим количество контента до 1 рассылки в день — При этом важно провести эксперимент так, чтобы не умереть с голоду по итогу месяца (ну типа перестали всем слать, эксперимент не сработал, а мы остались без продаж) 🤡 Получаем достаточно классический АБ-тест. Очевидно, нужно взять 2 группы — тест (шлем мало) и контроль (как слали, так и продолжаем). При этом: — Выборка должна быть однородной. Ну то есть не должны в тест попасть, например, все неактивные, а в контроле остаться активный сегмент. Очень соблазнительно так сделать, чтобы не уронить выручку, но такой эксперимент ничего не покажет. — Нужно сделать размер тестовой группы как можно меньше. Опять же, чтобы не уронить нечаянно выручку. — Но при этом размер лидгена должен быть достаточным, чтобы тест показал статзначимые результаты. Давайте проектировать и считать. У нас открыты вопросы: — По какой метрике проводим эксперимент? — Какой эффект ожидаем? — Какой делать размер выборок? — Как дробить на сегменты? — Как определить длительность теста? — Как оценить результат? Погнали отвечать. 1. За метрику очень хочется взять продажи, но увы — слишком маленькие выборки и нужно долго будет тестить. Т.к. продажи сильно коррелируют с фактом оставления заявки, можно взять прокси-метрику — заявку (то есть клик по кнопке в боте). То есть сравнивать будем конверсию в каждой группе «сколько уникальных человек оставило заявку» / «сколько уникальных человек получило рассылку». И там, и там считаем уников — дубли убираем. 2. Какой эффект хотим задетектить? Пусть сейчас конверсия 3%, а хотим увидеть рост до 5%. Вроде и достаточно реалистично, но при этом на объемной выборке даст существенный буст. 3. Какой делать размер групп. Первое: т.к. нам нужно минимизировать размер тестовой группы, сразу предполагаем, что пропорция будет не 50/50, а типа 20/80. Дальше можем посчитать размер тестовой группы по универсальной формуле: n_test = ((1 + r) / r) × p × (1 - p) × (Zα/2 + Zβ)^2 / Δ^2 r = n_control / n_test p = средняя конверсия между p1 и p2 (конверсии) Δ = p2 - p1 Zα/2 = 1.96 для 95% значимости Zβ = 0.84 для 80% мощности (Zα/2 + Zβ)^2 = (1.96 + 0.84)^2 = 7.84 Подставляя наши p1 и p2, получаем размер тестовой группы примерно 940 человек, размер контроля — 3760. В целом адекватно, не должно сломать нам выручку)) 4. Дальше идем — какой сегмент брать? Первое — очевидно, что активный. Нет смысла брать неактивный сегмент: контроль точно должен быть активным (чтобы было, с чем сравнивать), а тестовый сегмент должен быть однородным с контролем. Нужно что-то формата «5к человек, которые зарегались за последние 2 месяца на вебинары по тематике Х из одного рекламного источника». Ну и разбить их рандомно (ну то есть чтобы не было что в тестовой группе все люди из каких-то бич-каналов, а в контроле — из золотых каналов). Можно еще упороться и провести стратификацию, т.е. нарезать всю базу на сегменты (например, «регался 30 дней назад», «регался 30-60 дней назад» и так далее), чтобы оценить эффект этой штуки на разные сегменты базы (может где-то эффект будет обратный). Но мы не настолько хотим в это упороться — ведь чтобы оценивать по каждой страте отдельно, нужно кратно увеличивать выборку, а мы так не хотим)) 5. Сколько проводить тест? Классный и неочевидный вопрос! Обычно в АБ-тестах аудитория в группах набирается с течением времени и размер выборки определяет длительность (если надо 1000 человек, а в день приходит 100 — значит очевидно 10 дней). Но тут выборка сразу доступна вся. Из чего исходить? Все очень просто — нужно оценить, сколько времени обычно «докатываются» заявки после рассылок. Если основная масса оставляет заявку в течение 1-2 дней после рассылки, значит эксперимент будет быстрым. Если мы еще дней 7 получаем заявки — значит подольше. По итогу — считаем это число Х и просто добавляем к нему 7 дней (чтобы захватить все дни недели и тест был более чистым). Понятно, что чем дольше — тем лучше, потому что в этом деле много других факторов (например, в день получения зп активность выше, в праздники она может упасть и даже банально погода за окном влияет — люди склонны впадать в шашлычную кому). Но мы с вами работаем в полях, так что на сим успокоимся. 6. Ну и последнее — оценка результата. Здесь ничего нового — считаем uplift (uplift = CR_test / CR_control - 1), чтобы оценить размер эффекта + делаем односторонний z-test (если проверяем только гипотезу «конверсия выросла»), чтобы подтвердить стат значимость. → uplift положительный, p-value < 0.05 — эффект есть и он статзначим → uplift положительный, p-value > 0.05 — эффект есть, но он не статзначим → uplift отрицательный — мы все сломали (а чтобы понять, статзначимо ли это, нужно дополнительно посмотреть двусторонний тест) Вот такой вот получился хендбук по наколеночным A/B-тестам)) Пойдем пробовать с командой, потом поделюсь результатами!) Традиционная проверка связи: — ❤️ — не кейс, а мед — 💅 — очень интересно, но ничего не понятно — 🤓 — пожелать удачи нашему CRM-маркетологу)))

Друзья, больше 6 месяцев я не писал сюда — это были жесткие полгода, мы работали, как могли) Исправляюсь — уже составил себе контент-план на ближайшее время, чтобы не соскочить! Давайте для начала напомню, кто я такой и куда вы вообще попали 🤓 Меня зовут Алексанян Андрон, я основатель онлайн-университета Simulative — мы обучаем профессиям и навыкам в сфере аналитики данных и Data Science. А еще я: → Вхожу в ТОП-10 экспертов в РФ по аналитике данных по версии NewHR → Преподаю в НИЯУ МИФИ на кафедре Прикладной математики → Много лет занимаюсь аналитикой, постоянно развиваюсь в этой области и делюсь с вами (ниже будет дайджест) Теперь давайте несколько слов о Simulative (за полгода пришло много новеньких). Simulative это... Точней за это время вышел закон о русификации 🤡, поэтому «Симулейтив это»: → 2500+ студентов и сотни крутых историй от людей, которые кардинально поменяли свою жизнь после обучения у нас (если вам прямо сейчас не хватает мотивации — почитайте вдохновляющую историю Елены, это все происходило на моих глазах!) → 7 курсов-профессий в сфере аналитики и Data Science → 8 апскил-курсов и тренажеров для прокачки своих навыков (в том числе мой авторский тренинг «Как делать аналитику») → Совместная магистратура с НИЯУ МИФИ «Аналитика и инженерия данных» (уже второй год идет, сейчас как раз активно набираем новых студентов!) → А еще несколько бесплатных курсов, несколько вебинаров каждую неделю и куча всякого движа! Итак, надеюсь вы освежили в памяти, кто я — а теперь давайте сделаем выжимку постов, которые я крайне рекомендую вам прочитать, если вы их еще не видели! → Разбираем guardrail метрики → Кейс: Почему просела эффективность рекламы на маркетплейсе → Пост с 6 видами самых частых и неочевидных ошибок в аналитике → Кейс: Разбираемся с реальной статзначимостью опросов Здесь на самом деле только несколько постов — а на деле почти каждый пост в этом канале «вечнозеленый»: вещи, про которые я здесь пишу, не теряют актуальность со временем. Поэтому можете смело отматывать назад и искать интересные мысли!) Все, думаю, пока что хватит. Не хотел ворваться спустя полгода молчания с умными мыслями, как будто ничего и не было. Решил дропнуть сначала такую штуку. А следующий пост уже будет про твердое — про важность глубокой сегментации сценариев и конкретные кейсы. Stay tuned! Ну и финальное — в чем сила? — 🤓 — В правде, брат — 🤡 — В постоянстве, брат, а не раз в полгода писать — 😎 — В Ньтонах, брат — ❤️ — Просто рад, что ты вернулся, брат

Знаете, я ежедневно смотрю разные отчеты / дашборды / аналитические сервисы и почти всегда они очень плохие. Ну серьезно — в какой-то момент у меня уже так подгорело, что на одной из последних конференций я даже выступал с докладом «7 причин, почему ваши дашборды превращаются в бессмысленные картинки» 🤡 Вот небольшой топ самых частых проблем: ➖ Дашборд просто бесполезный Ну то есть там выведены какие-то метрики по теме, но они есть не все / скомпонованы не удачно / приведены в странных ненужных разрезах. Пример — показана динамика конверсии из заявки в продажу, но при этом конверсия считается по тупой формуле "сколько сегодня продаж / сколько сегодня лидов". А то что с момента оставления заявки до момента покупки проходит в среднем неделя нас не интересует, да?) Поэтому смотрим на такой дашборд и радуемся конверсии в 300% (как она получилась, нас, конечно, не волнует). ➖ Дашборд нефункциональный Вроде полезные штуки есть на дашборде, но как только хочешь сделать шаг вправо-влево, оказывается, что такой возможности нет. Например, построен дашборд с шикарной информацией по когортам. Ты зашел, все изучил, а потом решил исследовать — отдельно посмотреть на когорты с платного трафика, а отдельно на органику. И тут выяснилось, что такого очевидного фильтра нет. Печально. ➖ Страдает визуал Дашборд — это когда ты пытаешься запихнуть в экран информацию, которая вообще-то в базовом виде требует несколько экранов, а то и несколько десятков экранов. Достичь такого эффекта «сжатия» и лаконичности можно за счет удачного подбора визуализаций и точечных датавиз-решений: куда акцент поставить, как с дизайном поиграться, чтобы он способствовал понятности. Но вы же точно видели эти «дашборды», которые больше похожи на свалку таблиц и мусорных визуализаций. Самый частый пример — два линейных графика с одной осью, но с разницей в значениях на порядок (например, кол-во продаж и сумма продаж). В итоге один график нормальный, а второй — чисто прямая линия около нуля. Очень информативно, спасибо. 📌 Это тема очень большая — можно долго говорить про типовые косяки, как их исправить и как вообще изначально делать хо-ро-шо. Но проблема точно актуальная — даже аналитические сервисы, которые продают, по сути, дашборды, зачастую выглядят ну очень убого — что уж говорить про дашбордики внутри компаний для внутреннего пользования. Именно из этой боли вместе с Настей Кузнецовой (вы точно знаете ее канал «настенька и графики») мы решили запустить тренинг «Осмысленные дашборды»! Это авторский тренинг Насти — встречи в онлайне, чатик, 9 недель, и внутри все, что нужно знать про разработку дашбордов. И все это без привязки к конкретным BI-инструментам, чтобы было полезно всем! Сейчас действуют ранние цены для самых решительных — отличный подарок на Новый год для себя любимого) А если бы мне такой тренинг подарили — я бы вообще ошалел)) Сейчас идет набор на первый поток, но там уже собирается хорошая компания слушателей!) Набираем небольшую группу, чтобы уделить внимание каждому и дать максимум ценности. Поэтому, если вы хотите прокачаться в построении дашбордов или обучить этому своих сотрудников — переходите в тг-бота, чтобы узнать подробней. Ну и, как обычно, не переключаемся — на подходе новый пост про vanity метрики! 🍿

Не знаю как вас, а меня лично очень увлекает история использования AI в прикладных задачках. И я не про крайности типа «ИИ нас всех заменит» или, наоборот, фрустрацию в духе «ИИшки нифига не работают, это все хайп». В своих проектах мы активно используем ИИшки и AI-агентов для решения разных задач — и это круто работает уже прямо сейчас! Не костыль, не «средненько», а прям работает! Примеры: — ИИ-квалификатор — ИИ контроль качества звонков — Генерация обложек карточек товаров — Автоматизированные пайплайны обработки клиентских обращений Если вас эта тема тоже драйвит или вам просто интересно разобраться/вдохновиться — приглашаю вас на прикольную движуху! 15-18 декабря я участвую в буткемпе «30 AI-кейсов в продукте, маркетинге и бизнесе». В коротком формате спикеры расскажут — кто как внедряет ИИшку в свою работу и какие результаты это дает. 📍Как записаться Переходите и добавляйте Live-встречи в календарь, чтобы не потерять 👉 клик. Планирую послушать все выступления, чтобы забрать себе интересные механики на тест и на внедрение! И зацените состав спикеров! Андрей Анищенко @ Ebac Дима Зборовский @ Deliveroo Ваня Замесин @ AURA Academy Алекс Ларьяновский @ Realytics Алекс Беляев @ Community Sprints Ислам Мидов @ 2pr Константин Сухачев @ Overgear Настя Рябова @ TripleTen Игорь Трунин @ WhisperAI Макс Епифанов @ TripleTen Дмитрий Сергеев @ Dashly Дарья Щурик @ Greeneration Сева Устинов @ Elly Analytics Анна Шигарданова @ Zalando Андрон Алексанян @ Simulative Александр Поваляев @ AI Mindset Увидимся на лайвах, будет полезно! Регистрация здесь ✌️