Статистика и R в науке и аналитике

День открытых дверей онлайн-магистратуры ВШЭ и karpovꓸcourses Когда я переходила из науки в продуктовую аналитику, это не был простой путь по роадмапу: статистику и питон я знала из университета, а вот SQL, A/B-тесты, продуктовые метрики собирала по кусочкам: где-то курсы, статьи на хабре, посты в телеграме, ну а потом уже истории на работе. Это неплохой вариант, но может быть медленным, так как нет системности в освоении навыков. Если бы я сейчас заканчивала бакалавриат, и планировала перейти в аналитику данных, то рассмотрела бы вариант поступить в магистратуру по анализу данных: например есть совместная магистратура «Аналитика больших данных» от НИУ ВШЭ и karpovꓸcourses Узнать подробнее про программу можно 21 июля в 18:00 МСК — будет день открытых дверей в формате вебинара. Спикеры: Анатолий Карпов (основатель karpovꓸcourses, автор небезызвестного курса по статистике) и Евгений Соколов (руководитель департамента больших данных ФКН ВШЭ). На вебинаре расскажут про тренды рынка, этапы поступления и как устроено обучение в магистратуре. Сама программа полностью онлайн, записи доступны весь срок обучения (можно совмещать с работой), госдиплом магистра ВШЭ, проекты для портфолио, отсрочка от армии, образовательный кредит под 3%. Заходите послушать! Регистрация по ссылке: https://clc.to/erid_2W5zFJeMC2m Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFJeMC2m

4 неочевидных способа зафейлить A/B тест Как испортить A/B тест поглядыванием, отсутствием проверки на множественные тестирования или незафиксированными критериями принятия решения до запуска многие знают (а если не знаете, про это еще напишу). Но сегодня речь будет про другое. Статистика и знание теории экспериментирования важная вещь, но даже с идеальным знанием статистики и A/B тестов все еще нет гарантии, что A/B тест пройдет корректно. Ниже тру стори из моей практики, как разнообразно зафейлить АБ тест не статистикой 👇 🟡Конверсия в эксперименте в одном из сегментов получилась больше 100% Это мое любимое, писала про похожее чуть выше, но история не устаревает. На общей конверсии этого не было видно, однако результаты A/B получились странные. В разрезе по сегментам обнаружилось: в одном из них не отправлялись события начала воронки, и конверсия получилась выше 100%. Мы не знаем, сколько пользователей заходило в воронку, и было ли это равномерно между тестом и контролем, этот сегмент однозначно зафейлен. Далее я попробовала посчитать результаты A/B без этого сегмента, но это уже методологически неверно (получился серый тест, потому что эффекта нет или после удаления сегмента не хватило мощности?) и эксп пришлось перезапускать после починки логгирования. Важное замечание: анализ по сегментам был уже в рамках исследования, что пошло не так с A/B тестом, а не для принятия решения на основании одного из сегментов (для этого надо было изначально закладывать в дизайне и делать поправку, что отдельная история). 🟡12% пользователей оказались одновременно в тесте и в контроле из-за бага при запуске A/B Флаги аналитики протекли в конфиг, и сплитование поломалось. Со стороны мониторинга казалось, что все ок, группы были равны (формально), однако на этапе анализа результатов выяснилось, что часть пользователей из тестовой группы по флагам были и в тесте, и в контроле. В результате корректно просплитованных пользователей оказалось меньше чем ожидалось, эксп пришлось перезапускать. Примерная оценка потерь: с таким багом сплитования нужно на 30% больше трафика при том же MDE. 🟡Некоторые пользователи попали в тест, но воздействия не получили Сплитование на этот раз было корректным, но на бэке стояли дополнительные условия выдачи фичи, и часть тестовой группы фичу просто не увидела. Это в итоге снова нарушило рандомизацию, просто исключить пользователей из анализа не получилось, тест пришлось перезапускать. 🟡Расхождение данных между источниками, которое случилось из-за теста По событиям из одного источника в тестовой группе увидели стат значимое падение ключевой метрики. По другому источнику (данным из хранилища DWH) получился стат значимый рост, хотя обычно источники были коррелированы. Оказалось, что события терялись чаще именно из-за тестовой фичи. На этот раз был хеппи энд, так как по более надежным данным из хранилища удалось подвести итоги и тест был признан успешным 🎉 Я бы хотела сказать, что больше подобных случаев не было, к сожалению на этом список не заканчивается, а здесь приведены самые эпичные. Что общего у этих историй? Ни одну из них не предотвратит знание поправок на множественное тестирование или разницы между тестами Стьюдента и Велча. Однако со зрелой платформой и культурой экспериментов половина этих фейлов не случилась бы вообще или была отловлена еще при запуске: мониторинг и алерты количества событий, проверка что пользователи реально получают фичу, расчет денежных метрик по DWH, а не по событиям и это далеко не все. Поэтому немного вечной классики про качество данных: сложные методы хороши, но только после того, как в простых тестах удается добиться максимальной корректности запусков и расчетов на платформе. На отсутствии перезапусков можно очень неплохо улучшить time-to-market, возможно даже лучше, чем внедрением diff-in-diff, CUPED и других модных методов. В нашем случае все уже не так драматично, мы растем и в процессах и культуре АБ тестов, что уже позволило сократить количество историй выше. Кроме этого, меняем текущую платформу сплитования на более кастомизируемую и современную (угадайте, кто лидирует этот процесс 😎). А что из неочевидных багов в АБ попадалось вам? Пишите в комментариях 👇

Коллеги из ExperimentHub сделали крутого бота для тех, кто хочет прокачать знания в АБ тестах: @expertmaker_bot Механика следующая: раз в два дня открывается челлендж из 5 вопросов на A/B тесты, такие, с которыми можно столкнуться на практике. Вопросы непростые, я сама закрываю челлендж на 80-90% (обидно, почему не на 100%, надо прокачиваться на курсе). После выбора ответов сразу открываются правильные с разбором, почему они именно такие. У меня в основном есть некоторые трудности с ratio-метриками, подводит недостаток практики. Есть геймификация в виде стриков, сколько челленджей подряд закрыл, и лидерборд, где можно соревноваться с остальными игроками. Полезно, чтобы держать себя в форме, а еще бот составляет карту навыков и слабых мест, что позволяет лучше понять, на каких темах сосредоточиться при подготовке к собеседованиям или на работе. Помимо квиза с разными вопросами, есть еще формат квеста с серией вопросов про один кейс, можно вызвать в боте командой /quest Короче рекомендую, заходите в бота, пишите, кто прошел челлендж на 100%, посоревнуемся 😎 #stats #stat_hard

Вчера провели лютый баттл по датавизу, здесь опишу свои впечатления, пока они свежи. 🟡Позвать Настю как эксперта по визуализации данных было очень удачным решением. Во-первых стрим получился более образовательный, с рекомендациями, как строить графики нужно и как не нужно (привет двойным осям). Во-вторых, мне понравились истории, пока мы кодили, например как спалить человека, который пользуется ИИ-агентом прям на собеседовании. 🟡В этот раз была проделана серьезная подготовительная работа над качеством картинки и звука, я пересматривала частично в записи, смотрится очень достойно, сам код тоже виден. Прикрепила к посту скриншот с типичной сценой на стриме (зацените какой дизайн крутой). 🟡Можно в следующий раз сделать звуковой гонг для старта раунда и особенно для окончания, чтобы было понятнее нам, когда пора заканчивать (обратный отсчет тоже можно). Гонг наверняка добавит атмосферности как в ЧГК 🟡Оказалось, что немного недооценила время, которое нужно для подготовки графиков, возможно сказывается недостаток практики в ggplot2. Еще выяснила, что во время такого скоростного кодинга требуется довольно высокая концентрация и из-за этого не особо получилось развлекать зрителей шутками. К счастью, Настя помогла с этим тоже, поэтому пауз было не так много, как могло быть, если проводить без эксперта. Возможно в следующий раз нужен еще один человек как ведущий/комментатор для общения со зрителями во время скоростного кодинга. 🟡Понравилось, что один из зрителей отправил свои графики в комментарии, и можно было оценить и сравнить (третий график возможно получился лучше чем у нас). 🟡Из приятного: все еще помню и могу написать пивот в R самостоятельно, отцентровать заголовок, но все это становится не таким полезным навыком, так как ллм все сделает еще быстрее и качественнее. Но на самом стриме LLM-ка очень долго думала и мне было быстрее написать самостоятельно или по старинке погуглить. 🟡Заценила Positron как IDE, все привычные хоткеи из арстудии работают, поэтому переход был относительно безболезненный. RStudio 🖥 конечно хороша, но отсутствие возможности встроить любого агента огорчает в современных условиях. В общем и целом: формат понравился, думаем продолжить что-то на похожую тему. Возможно баттл чисто на агентах, как предлагали в комментариях или BI-система vs кодинг (правда я тут догадываюсь как все закончится). Предлагайте еще варианты, что было бы интересно посмотреть и пишите свои впечатления! По атмосфере я себя ощущала похоже немного на видос, где программист с трудом кодит, а дизайнер с кайфом рисует, прикреплю в комментарии. Кто не был на трансляции, обязательно посмотрите в записи, получилось сбалансированно образовательно и развлекательно, на мой взгляд #data_vis #R #stat_fun

Стрим по датавизу уже сегодня! Заглядывайте в 19.00 МСК на трансляцию сюда, болейте за наших 😎 Будем кодить на R и Python, вместе с Ромой, а оценивать графики будет Анастасия настенька и графики Приходите, ставьте лайки, жмите на колокольчик, будет познавательно и весело) (надеюсь) UPD: По-моему получилось очень душевно, мне самой понравилось) А вот и репозиторий с данными, заданиями и нашими наработками https://github.com/rosolimo212/visualization_battle/tree/main #data_vis #analytics

Поправки на множественное тестирование: симуляция FWER зависимых тестов В прошлый раз я разбирала общую теорию поправок на множественное тестирование, в этот раз разберем более подробно, как оценивать FWER в случае зависимых тестов. А на практике это почти всегда так: несколько метрик считаются на одних и тех же пользователях или несколько групп сравниваем с одной контрольной группой. https://ubogoeva.github.io/R4Analytics/posts/multiple_testing_simulation.html Разберемся, какие бывают виды зависимости, на симуляции можно самостоятельно оценить, как будет меняться FWER в зависимости от скоррелированности метрик. Заходите, пишите комментарии! #stats #stat_hard

Баттл по датавизу: R vs Python 📊 Не так давно я обещала анонсировать кое-что интересное, связанное с датавизом, пора раскрыть карты: 23 июня в 19:00 МСК проводим стрим в новом формате: кто быстрее и лучше визуализирует одни и те же данные – на 🖥 или 💻? На R пишу я - @stats_for_science На Python будет кодить Рома - Kotelok Формат простой: один датасет, есть вопрос, на который нужно ответить визуализацией. Всего будет три раунда, каждый следующий сложнее предыдущего. Ориентировочно займет полтора-два часа. Зрители увидят: - атмосферу баттла как на соревнованиях по геогессеру/тетрису - холивар ggplot2 vs matplotlib - что быстрее и проще кастомизировать - величие грамматики графики (или нет) Оценивать красоту и функциональность чартов будет приглашенный эксперт - Анастасия из настенька и графики 🔥 Ссылку на трансляцию пришлю незадолго до начала сюда. Присоединяйтесь, будет интересно! #data_vis #analytics

Тест Стьюдента, Велча и непараметрика на малых выборках Возвращение долгожданных лонгридов по статистике! В прошлый раз я сравнивала тест Стьюдента и тест Велча на больших выборках и обещала разобрать отдельно, что происходит на малых выборках. Не прошло и года (или прошло), но лонгриды возвращаются в новом интерактивном формате: https://ubogoeva.github.io/R4Analytics/posts/small_samples_simulation.html Теперь можно самостоятельно накликать разные варианты размеров выборок, дисперсий, распределений и посмотреть на ошибку первого рода и мощность. Помимо наших любимых тестов Стьюдента, Велча и Манна-Уитни, бонусом разобрала еще тест Бруннера-Мюнцеля, грубо говоря аналог теста Манна-Уитни для неравных дисперсий. И не забыла про статью от X5 про тест Велча (Серега, респекты 💪). Не буду здесь долго расписывать, все самое интересное разобрано в посте, заходите! #stats #stat_hard

Иду на топовый курс по A/B тестированию 😎 А зачем еще один курс? На экзамене по АБшкам я немного споткнулась на линеаризации ratio-метрик и sequential testing, так как не работала на практике с этим. Вообще у нас в Литресе большинство тестов закрываются классическими z- и t-тестами, но все же иногда нужно сделать что-то посложнее, например применить свитчбек или постстратификацию. Конечно, про все эти методы можно почитать на хабре самостоятельно, посмотреть доклады с конференций, но если есть курс, где это все разбирается, то я иду на курс 👇 Мне удалось подглядеть в расширенную программу курса 👀, вот что интересное подсвечу оттуда: 🟡 Сплитование – в общем-то, это база. Но при этом немалая часть зафейленных тестов именно по причине сплитования: неправильный hash+salt, наивный сплит по последней цифре ID, кривой стратифицированный сплит. Конечно, вы можете сказать, что у вас это все делает правильно A/B платформа, но этого не всегда бывает достаточно + всегда приятно разбираться в том, как оно работает. 🟡CUPED и Multi-CUPED – у нас в Литресе это постепенно внедряется, но хотелось бы избежать типичных ошибок (а их там не меньше четырёх), и сделать все четко 🟡Ratio-метрики – тема, которую хочу детально разобрать. Вот эти все дельта-методы, линеаризация, бакетизация. Всё это я знаю теоретически, но хочу разобрать именно с кодом и на синтетических данных, чтобы закрепить и применить на практике. 🟡Метод Монте-Карло это для моделирования экспериментов. A/A-тесты через симуляцию, оценка мощности, верификация критериев. Тоже база, но полезно уметь делать. 🟡Множественное сравнение: поправки Бонферрони, алгоритм Холма, FDR. Писала про это здесь, но в курсе, судя по описанию, есть ещё «размазывание поправки» как метод ускорения экспериментов — интересно посмотреть. Курс стартует с 15 июня, еще буду делиться впечатлениями в процессе (ожидайте роста хардовых постов по статистике). Если тоже интересно разобраться в АБшках лучше среднего – залетайте, по этой ссылке для всех кто оформил, будет скидка 10% 🔥 UPD: Если что, есть рассрочка #recommendation

Отзыв на конфу AHA-2026 Чуть раньше я рекомендовала конференцию AHA-2026, были большие ожидания от нее: мне очень нравились конференции Aha и матемаркетинг, и с 2024 года хожу на каждую. В этот раз тоже не пропустила, прилетела издалека и сходила в прошлую пятницу офлайн.  Ну что ж, напишу свои впечатления как есть 🍿(осторожно многобукв).  🟡Программа  Начну с того, что конференция была всего один день, и по наполнению программы заметен сильный перекос в сторону AI, ML, агентов и всего около. В итоге было мало докладов на нашу любимую тему продуктовой аналитики в целом и A/B тестов в частности, хотя они были заявлены одним из треков конференции (направление системного снижения стоимости проверки гипотез). Понимаю, что каждый год слушать только про A/B было бы неинтересно, но на самом деле на каждой конференции удавалось узнать что-то новое. Некоторые идеи с прошлого матемаркетинга мы даже смогли применить на практике в Литрес. Поэтому в этот раз буквально 4 доклада про продуктовую аналитику немного не попало в мой фокус интересов, хотя стоило это предположить раньше. И еще я сама в этот раз подавалась как спикер с докладом на вечную тему про ускорение A/B, CUPED, процессы и все прочее, но к сожалению не взяли. Понимаю, что тема не новая, но на предыдущих конференциях каждый раз хотя бы один доклад был про это. Надо было добавить в тему ускорение A/B и процессов с помощью AI, тогда бы точно взяли)  Отдельно лайк организаторам, что подготовили бумажный вариант программы и более удобный электронный, в прошлые годы были проблемы с этим. Ну правда программу стало удобнее читать, а вот интересных докладов стало меньше, но тем не менее, расскажу что мне понравилось.  🟡Интересные доклады  Было прикольно послушать про внедрение агента в A/B платформу в дзене, здорово, что есть уже практические кейсы применения. Правда, в нашем случае нам пока рано добавлять агентов, надо бы сначала наладить базовую автоматизацию АБшек за счет новой платформы. Еще любопытное было про diff-in-diff и синтетический контроль, но это скорее для расширения кругозора, так как офлайн эксперименты для нас не очень актуальны. Андрей Андреев хайпово рассказал про воспроизведение популярных UX-паттернов на больших выборках. В общем-то это все я знала, потому что писала про круглые кнопки здесь, но все равно было интересно послушать про сотрудничество с Кохави из первых уст. А еще в докладе Андрея есть небольшая отсылка на меня, чекайте) 🟡Стендовые активности  Активностей на стендах было очень мало по сравнению с прошлыми конференциями, почти никто из бигтехов не вписались в активности, выглядит это как тревожный звоночек. Не было моего любимого стенда райфайзена 💳, без него совсем не вайб. Даже если сравнивать с прошлой Aha, не с матемаркетингом, стало намного меньше стендов и участников в целом.  🟡Нетворкинг Но что на конфе удалось, это нетворкинг, встретила и развиртуализировалась со многими старыми знакомыми (привет, Юра, Влад). Обсудили, что происходит с рынком аналитики в целом (про это не напишут в исследовании newhr).  Еще кажется, что немного не оправдан ценник конференции, так как всего один день и и даже особого желания досматривать пропущенные доклады нет. Знакомые сходили на ODS на следующий день, говорят было не менее интересно, и бесплатно. Поэтому немного не уверена, приеду ли в следующий раз, но если и приеду, то скорее на матемаркетинг, как будто там больше фокус на продуктовую аналитику.  Пишите в комментариях 👇, кто тоже был, согласны ли с моими впечатлениями, что понравилось/не понравилось больше всего?  #analytics