Tinkoff Product Analytics Meetup: A/B-тесты
Как ускорять проведение A/B-тестов, повышать их удобство и влиять на качество принимаемых решений? Все это обсудим вместе со спикерами из HeadHunter, Яндекса, RuStore | VK и Тинькофф на апрельском митапе по A/B-тестам.
Поговорим про то, как Тинькофф использует последовательный анализ для быстрого принятия решений, как команда из HeadHunter автоматизировали принятие решений по экспериментам, как Яндексу удается работать с большим количеством метрик и как ребята из RuStore | VK сделали A/B-тесты прозрачными для стейкхолдеров.
- Сбор гостей: с 18:30
- Начало программы: в 19:00
Подтверждение офлайн-участия мы направим отдельным письмом за несколько дней до мероприятия.
Доклады
19:00 – 19:20
Подглядывай правильно: как ускорить принятие решений с помощью последовательного анализа
Расскажу, как можно решать проблему подглядывания с помощью последовательного анализа. Поделюсь историей конкретного теста: как мы его ускорили с помощью последовательного анализа, результатами исследования последовательного аналитиза, корректна ли методология и насколько она ускоряет тесты, а также покажу, как начать применять последовательный анализ у себя.
Виктор Харламов, Тинькофф
19:30 – 19:50
Self-Service запуска коммуникационных А/В-тестов
В докладе расскажу о том, как в hh.ru внедрили Self-service процесс тестирования email-коммуникаций, проинтегрировав его с внутренней А/В-платформой и автоматизировав принятие решений по экспериментам. Покажу типы тестов и метрики, на основе которых принимаются решения, а также поделюсь, почему было решено делать собственный инструмент, а не взять готовый рыночный продукт.
Наталья Лукьянчикова, HeadHunter
20:15 – 20:40
Как в Алисе автоматизируют дебаг A/B-экспериментов с прокрасившимися метриками
В Алисе еженедельно проводятся десятки экспериментов на разные аспекты качества. У каждой команды есть свои метрики. И часто бывает, что у экспериментатора прокрашено много метрик, иногда таких, которые он видит впервые. И как принимать решение по такому эксперименту, где прокрашено 100+ метрик?
Я расскажу о том, что мы сделали в команде аналитики Алисы, чтобы экспериментаторам стало проще дебажить эксперименты и принимать по ним решения
Роман Рыбальченко, Яндекс
