Борзило

Проанализировал отзывы при помощи ИИ 🤖 Уже накопилось достаточно много отзывов о курсе и я попросил одну из ИИшек посмотреть на них и написать ТОП 7 пунктов "за что ученики ценят курс по АБ тестированию". Вот, что выдала ИИшка 1. Логичная и четкая структура материала Ученики отмечают, что курс выстроен последовательно: от основ статистики до глубоких практических тем. Это помогает «разложить информацию по полочкам» и сформировать в голове единую картину процесса тестирования. 2. Доступное объяснение сложных тем Автор умеет объяснять сложные вещи (p-value, доверительные интервалы, t-тест) простым языком, «на пальцах» и без излишней формульной нагрузки. Ученики подчеркивают, что даже те, кто был далек от статистики, легко вкатываются в процесс. 3. Огромный упор на практику и реальные кейсы Курс не застревает в «зауми», а предлагает задания, максимально приближенные к жизни. Ученикам важно «потрогать все руками», анализируя результаты реальных экспериментов и разбирая типичные ошибки, которые случаются в проде. 4. Наглядные симуляции Одним из самых ценных элементов курса называют использование симуляций (в частности, через Python и Google Colab). Они позволяют визуализировать сложные математические идеи и понять, как теоретические критерии «оживают» на практике. 5. Готовые инструменты и материалы для работы Ученики получают в распоряжение «настольное руководство»: готовые чек-листы, скрипты на Python и объемные Excel-файлы со встроенными калькуляторами. Многие начинают применять эти инструменты в своей текущей работе сразу после или даже во время обучения. 6. Качественная обратная связь от автора Юрий Борзило детально разбирает домашние задания (вместо формальной проверки), дает развернутые ответы на все вопросы в чате и объясняет материал столько раз, сколько требуется для полного понимания. 7. Помощь в трудоустройстве и карьере Для некоторых курс стал решающим фактором при прохождении собеседований. Выпускники отмечают, что после обучения они уверенно проходят секции по А/Б-тестам в крупные компании (например, Яндекс или Тинькофф) и получают офферы на позиции продуктовых аналитиков. Если хочешь узнать подробнее о курсе, то читай тут: - о курсе - артефакты Если хочешь проверить себя в знаниях по АБ тестам, то попробуй ответить на вопросы: пачка вопросов 1 пачка вопросов 2 пачка вопросов 3

Артефакты курса по АБ тестам В прошлом посте я анонсировал набор на 6 поток курса по АБ тестированию. Там коротко описаны программа, сроки и есть отзывы. Сегодня хочу поговорить, о том какие артефакты получают студенты курса. 1. Шаблон дизайна АБ теста Форма из 36 пунктов где вы последовательно указываете все важные параметры: гипотеза, аудитория, метрики, стат параметры и прочее. На выходе получаете понятный план проведения АБ теста. 2. Чек-лист валидации АБ платформы Чек-лист из 25 пунктов, где я разбираю основные проблемы АБ платформ и по которому вы можете проверить работу своей платформы. 3. Шаблон формирования гипотез Не каждая идея - это гипотеза, большинство идей рассыпается если попытаться их формализовать по 6 пунктам из этого шаблона. 4. Чек-лист валидации данных и оценки результата АБ Одна из частых проблем. АБ тест провели быстрее идут анализировать результат, забывая провалидировать корректность эксперимента, чек-лист включает все базовые проверки. 5. Jupyter ноутбук с базовым алгоритмом расчета АБ теста Для тех кто никогда не делал АБ тесты я собрал удобный базовый пайплайн анализа АБ теста при помощи python, его можно адаптировать и переиспользовать для своих задач. 6. Jupyter ноутбук с кучей симуляций стат концепций Этот документ - сердце курса. В нем при помощи симуляций показывается как именно работают те или иные статистические концепции. Вы можете управлять параметрами и видеть как меняется картинка. 7. Шаблон для внедрения процесса АБ тестирования Еще одна мощная штука, которая точно пригодится в работе. Процесс состоит из 5 этапов от дизайна до выкатки и уборки. Каждый этап включает от 2 до 5 под этапов с детализацией по пунктам. На каждом этапе дается список выходных артефактов. Вы сможете внедрить или провалидировать процесс АБ тестирования в своей компании. 8. Шпаргалка по статистике Все ключевые статистические понятия, формулы и концепции собраны в единую шпаргалку. По которой можно быстро вспомнить материал или подготовиться к сосбесу. 9. Процесс валидации метрики и стат критерия Отдельно подготовил лаконичную шпаргалку по этому процессу, т.к. очень часто у ребят возникает вопрос "а как понять, что с этой метрикой можно использовать этот стат критерий?" 10. Большой список ошибок в АБ тестировании Список из более чем 50 ошибок, которые могут возникнуть в процессе АБ тестирования. Зачем набивать шишки, если можно заранее изучить) 11. Калькуляторы для расчета выборок и стат критериев Подготовил наглядные калькуляторы в google sheets для расчета размера выборок и базовых стат критериев, чтобы ученики могли "пощупать формулы". Хочешь забрать все эти артефакты и подтянуть знания в АБ тестировании, заходи ко мне в личку за подробными условиями @borzilo_y

📣 6 поток курса по АБ тестированию 30 июня планирую запуск 6 потока курса по АБ тестированию. Курс состоит из 19 занятий и длится 2 месяца. 👨🏻‍💻 Для кого курс? - Только вкатываюсь в статистику и АБ тесты с нуля - Уже учил статистику или проходил курс по АБ, но не понял и запутался - Уже провожу АБ тесты, но не понимаю как это работает, возможно где-то ошибаюсь ✅ Блок 1 - базовая статистика В течении первых 6 занятий закладываем базу по статистике. Начинаем с самых основ: среднее, дисперсия, ЦПТ, ЗБЧ, H0, H1, ошибки 1/2 рода, MDE, размер выборки, стат критерии. Фокус на том, что действительно нужно для АБ, без ухода в побочные темы. По результатам блока - студент понимает как работает проверка статистических гипотез и как работают стат.критерии ✅ Блок 2 - специфика АБ тестирования Здесь будем приземлять статистическую теорию на АБ тесты. Изучим как работать с гипотезами и метриками для АБ тестов, пошагово разберем дизайн АБ тестов и порешаем кейсы с конкретными АБ тестами от гипотезы до оценки результата. Узнаем как работают платформы АБ тестирования и посмотрим на одну из платформ. По результатам блока - студент понимает как задизайнить, провести и оценить стандартный АБ тест ✅ Блок 3 - углубление в АБ тесты и статистику Поговорим о некоторых более продвинутых темах. Затронем темы снижения дисперсии при помощи CUPED и пост-стратификации, изучим как работать с ratio-метриками - дельта-метод и линеаризация, также поговорим про bootstrap. Отдельное занятие посвятим ошибкам АБ тестирования и разберем разные кейсы связанные с АБ По результатам блока - студент понимает как использовать методы изученные в блоке в своей работе. 🔖Каких результатов достигают студенты курса? - Проходят собеседования на продуктового аналитика по статистике и АБ, например в Яндекс и ТБанк - Пересобирают процесс АБ тестирования в своей компании - Закрывают давний гештальт непонимания АБ тестов и статистики) Тут вот ссылки на некоторые отзывы ребят о курсе: отзыв1 , отзыв2, отзыв3, отзыв4, отзыв5, отзыв6, отзыв7 🔜Как попасть на курс? Часть мест уже занята ребятами из предзаписи, если тоже хочешь вписаться, заходи в личку. Расскажу подробнее про курс, покажу некоторую "внутрянку": примеры ДЗ, скрипты, артефакты. Пиши @borzilo_y

После прохождения 6 занятий статистика стала понятней - сложилась единая картина Еще один отзыв о моем курсе по АБ тестированию. Сергей, как и многие отмечает, что у него была проблема с пониманием статистической базы. Я бы сказал, что статистическая база коварна. Начинаешь учить среднее, медиана, дисперсия - все понятно, дальше появляется какая-то ошибка среднего, пропускаешь между ушей. Потом ЦПТ, ЗБЧ, распределения каких-то выборочных средних, стат критерии. Кажется, что тебя нагрузили кучей информации, а по итогу запомнил среднее, медиана, дисперсия, а дальше каша. Чтобы такого не происходило в головах слушателей я выкинул из курса все что отвлекает от сути, а также стараюсь столкнуть человека с одной и той же информацией как минимум 3 раза под разными углами, чтобы оно не проплывало мимо сознания и могло склеиться в систему связанных знаний. P.S. Добавил хештег для просмотра предыдущих отзывов. #отзывы_курс_АБ

5 интересных вопросов с собеседований по АБ тестированию В одном из прошлых постов мы разобрали самые частые вопросы с собеседований по АБ-тестированию. Сегодня хочу обсудить более интересные кейсы, которые также любят задавать на интервью по АБ-тестам и статистике. Ответы я скрыл. Предлагаю вам сначала обдумать свой вариант, а уже потом заглядывать в мой. 1. Что делать с выбросами в АБ-тесте и на что они влияют? Начнем со второй части вопроса: «На что влияют выбросы?» Обычно в первую очередь думают о том, что выброс сильно сдвигает среднее значение, из-за чего мы можем получить большую дельту между вариантами и «случайно» поймать статзначимость. Выброс действительно может сместить среднее, но главная беда в другом: он сильно раздувает дисперсию. Из-за этого нам, наоборот, становится гораздо сложнее обнаружить реальные значимые отличия. Обычно от выбросов хотят избавиться как раз для того, чтобы снизить дисперсию и поднять чувствительность теста. Теперь первая часть: «Что делать с выбросами?» В первую очередь — разобраться в их природе. Я выделяю три вида выбросов: Выброс-ошибка. Например, криво отработало логирование или прилетели какие-то спам-истории (то есть выбросы вызваны техническими факторами). Такие аномалии можно смело удалять. Выброс, связанный с тестируемым изменением. Например, мы раскатили годовую подписку и увидели небольшое количество очень крупных оплат. Да, на графике это выглядит как выброс, но удалять его нельзя, ведь эти значения вызваны именно нашим тритментом. Выбросы, не связанные с тестируемым изменением. Самый сложный случай, когда мы не понимаем, как связаны аномалия и наш эксперимент. Здесь всегда дилемма, стоит ли обрабатывать этот хвост. Способов борьбы с выбросами много, но главное правило — закладывать схему работы с ними еще на этапе дизайна АБ-теста и применять ее к обеим выборкам одновременно, а не заниматься выборочной селекцией ради «нужного» результата. 2. Можно ли использовать z-test вместо t-test? Классическая статистическая теория требует от нас для z-теста использовать дисперсию генеральной совокупности, в то время как t-тест отлично работает с выборочной дисперсией. При этом z-тест опирается на нормальное распределение, а t-тест — на t-распределение Стьюдента. Если руководствоваться строгими правилами, нам всегда стоит выбирать t-тест. Но важно понимать и практику: если мы решим «нарушить закон» и бахнем z-тест, подставив туда выборочную дисперсию, то на больших данных это практически ни на что не повлияет. Мы получим идентичный результат, так как с ростом размера выборок t-распределение очень быстро сходится к нормальному, и значения p-value будут примерно одинаковыми. Однако это справедливо только для достаточно больших выборок. Если у вас АБ-тест на условных «10 землекопов», различия будут критичными. На малых выборках лучше использовать t-тест, чтобы избежать завышения числа ложных срабатываний (ошибки первого рода). 3. Как проверить валидность результата АБ-теста? Перед тем как погружаться в аналитику, критически важно убедиться, что сам тест был проведен корректно. Для этого чек-лист «здоровья» эксперимента: - Убедитесь, что тест набрал заранее запланированное число наблюдений (размер выборки). - Проверьте, что во все дни теста велось логирование — нет пропусков, просадок и дублей в данных. - Проверьте данные на аномалии и экстремальные значения. - Убедитесь, что не было пересечения групп — одни и те же пользователи не попадали в несколько вариантов одновременно. - Проверьте, что фактическое расщепление трафика соответствует запланированному и у нас нет SRM (Sample Ratio Mismatch). Только после того, как вы убедились в «здоровье» АБ-теста, можно переходить к анализу метрик. 4. В результате АБ-теста мы получили p-value > альфа. Можно ли сказать, что разницы нет? Нет, так утверждать нельзя. Когда мы рассчитываем размер выборки «на берегу», мы закладываем определенную вероятность обнаружить эффект конкретного размера. Именно для этого делается дизайн эксперимента: планируется мощность, размер выборки и MDE. Если мы провели эксперимент строго по правилам и получили p-value > alpha, это не значит, что эффекта нет физически. Наш размер выборки позволяет с высокой вероятностью находить эффекты не менее определенного размера (MDE). Эффект вполне может быть, но он гораздо меньше, и чтобы его уверенно задетектировать, нам просто нужна более крупная выборка. 5. Можно ли запускать одновременно два эксперимента на одних и тех же пользователей? На первый взгляд кажется, что если один юзер одновременно участвует в двух экспериментах, это должно исказить результаты. Но здесь важно помнить про главный нюанс: ортогональное (независимое) деление. Если мы обеспечим случайное и корректное распределение пользователей из одного эксперимента по вариантам другого, то этот влияние одного экспа "размажется" равномерно по вариантам другого. Метрики внутри каждого варианта обоих тестов изменятся одинаково. В итоге дельта между вариантами конкретного АБ-теста будет вызвана исключительно его тритментом. Запускать параллельно можно, главное - следить за корректностью сплитования и отсутствием пересечений в логике самих фичей (чтобы они не ломали друг друга интерфейсно). P.S. Если вам понравилась рубрика с вопросами-ответами, то дайте огней 🔥 и я подготовлю еще.

Главное, что дал дал курс - понимание того как работает статистика в АБ тестах Продолжаю делиться отзывами учеников о моем курсе по АБ тестированию. Елена уже работала аналитиком и даже проходила разные курсы по статистике, в том числе и в МФТИ, но статистика и АБ тесты не складывались в единый пазл. Это довольно частая ситуация. Я и сам в начале изучения АБ тестов упарывался в кучу книг и курсов по статистике. У меня были огромные карты выбора статистических критериев, я пытался запомнить формулы и определения, периодически лез в теорию вероятностей. В итоге вместо системного понимания знал кучу всего, но не понимал как это все связано и как применить в продуктовых экспериментах. На курсе я постарался отсечь все лишнее и второстепенное и сфокусировать учеников на том что действительно является статистической базой для АБ тестирования, чтобы потом на это наложить саму практику АБ тестирования. Отдельно Елена отметила: Блоки про дисперсию, CUPED, bootstrap и ratio-метрики . По моему опыту, редко где это объясняют доступно , связно и применимо к практике.  Для того чтобы не просто запомнить формулу CUPED или дельта метода, а понять что и для чего мы делаем важно глубоко разобраться в дисперсии, в её смысле и в причинах того почему вообще она существует, а также в её свойствах. Поэтому доступность, связанность и применимость на практике - это три кита на которых я стараюсь строить материалы курса. Я не ставлю своей целью сделать максимально академичный и полный курс статистики. Я хочу дать людям системное понимание базовой статистики и набор практических инструментов для АБ тестирования, именно такого курса мне самому не хватало на страте погружения в АБ тесты. #отзывы_курс_АБ

ТОП 5 самых частотных вопросов с собеседований по АБ тестам Сегодня поговорим про наиболее распространенные вопросы при собеседовании на продуктового аналитик. Я скрыл ответы, попробуйте ответить самостоятельно, а потом читайте ответ. 1. Что такое p-value? Это вероятность получить такие различия или еще большие, при условии, что между вариантами нет различий, то есть верна H0. Т.е. это вероятность обнаружить полученную разницу между метриками АБ теста просто случайно. При подведении итога АБ теста мы должны сравнить значение p-value с заранее определенным уровнем альфа. Если окажется, что p-value меньше альфы, то можно говорить о том, что мы отклоняем нулевую гипотезу и признаем наличие стат. значимых отличий между вариантами. 2. Что такое ошибки 1 и 2 рода Ошибка 1 рода - ситуация когда варианты АБ теста одинаково воздействуют на пользователей(верна H0), но в результате проведения АБ теста мы говорим, что есть значимые отличия, т.е. отклоняем H0. В каждом конкретно АБ тесте где получены значимые отличия, мы не знаем, действительно ли мы видим стат значимые отличия или это ошибка 1 рода. Ошибка 2 рода - ситуация когда варианты АБ теста действительно по разному воздействуют на пользователей(верна H1), но в результате проведения АБ теста мы говорим, что стат значимых отличий нет, т.е. не можем отвергнуть H0. В каждом конкретном АБ тесте, где не получены значимые отличия, мы не знаем, действительно ли отличий нет или это ошибка 2 рода. 3. Как принимать решение если одна метрика в АБ тесте выросла, а другая упала? Важно еще до эксперимента определить метрики, которые будут влиять на решение. Обычно это целевые и защитные. Поэтому первым делом нужно понять о каких именно метриках идет речь в вопросе. Кроме этого еще до проведения АБ теста важно задать "план определения варианта победителя", т.е. мы еще до проведения эксперимента должны знать какая конфигурация метрик будет говорить что тестовый вариант победил и его можно катить. Также важно заранее помнить про "размен метрик" и практическую значимость, т.е. мы должны на основе нашей экономики понимать насколько рост одной метрики может компенсировать падение другой. 4. Как рассчитать необходимый объем выборки и длительность теста? Есть несколько подходов к этому вопросу. Классическая формула расчета выборки требует от нас знать несколько параметров: MDE, квантили для мощности и альфы, дисперсию. Возможность набора выборки Если мы предполагаем, что наша выборка может довольно быстро расти, то мы можем задать интересующие нас параметры и получить нужный размер выборки, потом на основе этого размера вычислить число дней/недель теста. Фиксированная выборка Когда у нас есть строго фиксированный размер выборок, например база для рассылок, то мы можем на основе доступного размера выборки рассчитать MDE, который мы сможем значимо зафиксировать и от понимания MDE принимать решение о возможности проведения АБ теста. Помимо аналитического(формульного) подхода расчета размера выборки также существует симуляционный, когда мы на основе исторических данных и интересующих нас параметров методом перебора определяем нужный размер выборок. 5. Как провести АБ тест по шагам? Проведение АБ теста довольно обширный процесс, содержащий в себе множество деталей. В ответе на этот вопрос ограничимся перечислением основных этапов Формирование и валидация гипотез Проверяем гипотезы на адекватность и жизнеспособность Дизайн АБ теста Описываем механику АБ теста, стат параметры, метрики, выбираем стат критерии, считаем выборки, задаем условия выбора победителя Настройка и запуск АБ теста Команда разработки имплементирует тестируемы элементы, настройка трекинга, QA и прочее Проведение АБ теста Следим за здоровьем эксперимента и контролируем, что все идет по плану Анализ результатов Валидируем качество проведенного АБ теста, SRM, пересечения и прочее. Проводим процедуру определения победителя, доп анализ Раскатка и уборка Раскатываем победителя на всех, убираем лишнюю кодовую базу, заводим новую страницу в архив АБ тестов.

Обустроил в кабинете место для отдыха с чайным столиком и глюкофоном. А как вы релаксируетесь? PS в коментах видос

Благодаря курсу смогла успешно пройти секции по статистике и кейсам в Яндексе 📱 Давно с вами не делился отзывами учеников прошедших мой курс по АБ тестированию. Наталья, как и большинство людей на курсе, уже работала в анализе данных несколько лет, занималась антифродом, но с АБ тестами не сталкивалась. У нее была задача получить крепкую базу по статистике для АБ тестов и разобраться в самом процессе и специфике АБ тестирования. Что дал ей курс вы можете прочитать в прикрепленном отзыве. #отзывы_курс_АБ

Что мешает изучить АБ-тесты? С большинством ребят, которые приходят ко мне на курс по АБ-тестированию, я общаюсь лично перед стартом. Мне важно понять их уровень, а также подсветить, где именно у них провалы в знаниях и навыках. Сегодня хочу поговорить о том, в каких темах чаще всего возникают проблемы. 1. Непонимание случайности и истинной цели АБ-тестов На курс приходит много практикующих дата-аналитиков. Они круто делают дашборды, витрины, ETL и отчеты, но раньше не сталкивались с экспериментами. Обычно в учебниках пишут про абстрактную «случайную величину». Так вот, метрики в наших АБ-тестах — это и есть случайные величины. В любой момент времени метрика одного из вариантов может чисто случайно оказаться больше или меньше другого. В АБ-тесте нас вообще не интересует вопрос, метрика какой из выборок больше прямо сейчас. Это мы можем оценить и без сложной математики, просто сравнив средние. Глобально мы хотим понять: будет ли наблюдаться этот эффект на всей генеральной совокупности (ГС)? То есть на основе малых выборок мы пытаемся сделать вывод о поведении всех пользователей. Вот ради ответа на этот вопрос мы и затеваем всю эту историю. 2. Попытки выучить «всю» теорию вероятности и статистику без фокуса на АБ Наверное, каждый первый открывал классический учебник по статистике. Он написан обо всем сразу: там дается огромный пласт теории, большая часть которой на старте просто не нужна, чтобы разобраться в основах АБ-тестирования. Например, вам не нужно сразу изучать все виды распределений, не нужно глубоко зарываться в межквартильный размах или с ходу лезть в теорему Байеса. Нужно сосредоточиться только на тех темах, которые составляют базу стат-теории именно для АБ-тестов. Все остальное можно спокойно доучить потом, когда возникнет реальная потребность. 3. Желание сделать это непременно в Python Меня часто спрашивают: «А мы будем на курсе разбирать, как посчитать АБ-тест в Python?». По сути, тут и рассказывать-то нечего: stats.ttest_ind(), импортировал функцию t-test'а — и погнали. )) В Python нет ничего сакрального для АБ-тестов. Там просто есть готовые библиотеки под большинство критериев и функции для расчета размера выборок. Но всё то же самое можно сделать в Excel, в готовых онлайн-калькуляторах или на других языках программирования. Гораздо важнее понимать: Как правильно дизайнить АБ-тест? Как выбирать метрики? Как работают стат-критерии и каковы их допущения? Какие подводные камни и ошибки могут вылезти? Всё это вообще никак не связано с синтаксисом Python. Хотя в курсе я, конечно, даю ноутбуки с симуляциями и всеми нужными функциями. 4. Заучивание определений вместо построения системы Иногда ребята идеально зубрят ответы на типовые вопросы для собеседований. Они быстро и без ошибок отчеканят, что такое ошибка первого рода, p-value и какие бывают стат-критерии. Но стоит спросить чуть глубже, в самую суть вещей, как многие теряются. Например, я люблю задавать такие вопросы: - «Можешь на пальцах объяснить, как именно возникает ошибка 1-го рода?» - «Что означает понятие "стандартная ошибка среднего"? В чем конкретно мы ошибаемся?» 5. Мифы и противоречия накопившиеся в индустрии Тут можно писать бесконечно. Начиная от огромных (и бесполезных) карт выбора стат-критериев из интернета, большая часть которых в реальной продуктовой аналитике не нужна. Заканчивая вечными спорами про использование t-test на ненормально распределенных данных или попытками применить критерий Манна-Уитни для оценки разности средних. Как бы я предложил учиться? База статистики и системное понимание — без ухода в дебри и темы, не связанные с экспериментами. Специфика АБ-тестирования — дизайн экспериментов и разбор типовых продуктовых случаев. Углубление в статистику — продвинутые методы и разбор сложных краевых кейсов. Узнали себя в каких-то пунктах?)