Методология обработки ratio-метрик на основе линеаризации и дельта-метода для проверки гипотез в A/B-тестировании
DOI:
https://doi.org/10.24412/Ключевые слова:
ratio-метрики, A/B-тестирование, линеаризация, дельта-метод, статистическая значимость, чувствительность тестов, CUPEDАннотация
Уникальность данной статьи заключается в том, что в ней отражены результаты комплексного анализа современных подходов к обработке ratio-метрик, дополненное программной реализацией методов линеаризации и дельта-метода в открытом доступе. В результате исследования был предложен подход, который представляет ценность для преподавателей, ведущих курсы по статистике, аналитике данных и экспериментальному дизайну, а также для студентов и молодых исследователей. Статья посвящена исследованию методологии обработки ratio-метрик, таких как конверсия, CTR и средний чек, с акцентом на применение линеаризации и дельта-метода для повышения точности и чувствительности A/B-тестирования. Анализируются современные подходы к работе с соотношениями величин, возникающими при оценке эффективности изменений в цифровых продуктах и онлайн-сервисах. Представлена программная реализация предложенных методов на языке Python, включающая генерацию синтетических данных, вычисление целевых метрик, их линеаризацию и последующий статистический анализ. Разработано графическое пользовательское приложение на основе библиотеки Flet, которое позволяет пользователям загружать данные, проводить анализ и визуализировать результаты в интерактивном режиме. Исследуется возможность повышения мощности тестов за счёт применения метода CUPED к линеаризованным метрикам, что особенно важно при небольших эффектах или ограниченном размере выборки.
Скачивания
Библиографические ссылки
1. Барков, И.А. Семантическое моделирование учебных задач в интеллектуальных образовательных средах / И.А. Барков, И.И. Бикмуллина // Вестник Казанского государственного технического университета им. А.Н. Туполева. – 2012. – № 2. – С. 216-220.
2. Большакова, Л.В. Теория проверки статистических гипотез при математико-статистическом исследовании педагогических проблем / Л.В. Большакова, Н.А. Яковлева // Вестник Санкт-Петербургского университета МВД России. – 2016. – № 4 (72). – С. 149–157.
3. Дрейпер, Н. Прикладной регрессионный анализ / Н. Дрейпер, Г. Смит. – Москва : Диалектика, 2015. – 912 с.
4. Жданов, А.С. Методология разработки OLAP кубов / А.С. Жданов // Проблемы современной науки и её прикладные аспекты : сборник материалов Всероссийской научно-практической конференции с международным участием, Чистополь, 15 мая 2024 года. – Санкт-Петербург : ООО Издательский дом "Сциентиа", 2024. – С. 161–167.
5. Кобзарь, А.И. Прикладная математическая статистика. Для инженеров и научных работников / А.И. Кобзарь. – Москва : Физматлит, 2006. – 816 с.
6. Мальцева, Е.С. Теоретические аспекты A/B тестирования и практика реализации в российской экономике / Е.С. Мальцева, А.Ю. Рахманова. – Текст : электронный // Бизнес и дизайн ревю. – 2021. – № 4 (24). – URL: https://obe.ru/journal/vypusk-2021-g-4-24-dekabr/maltseva-e-s-rahmanova-a-yu-teoretiche skie-aspekty-a-b-testirovaniya-i-praktika-realizat sii-rossijskoj-ekonomike (дата обращения: 13.02.2025).
7. Мхитарян, В. С. Статистика : учебник / В.С. Мхитарян, Е.С. Адамова, П.Н. Трошин. – Москва : Юрайт, 2013. – 558 с.
8. Шаехов, И. М. Организация визуального представления данных / И. М. Шаехов, И. И. Бикмуллина // Вестник Технологического университета. – 2019. – Т. 22, № 6. – С. 167–169.
9. Bakshy, E. Designing and deploying online field experiments / E. Bakshy, D. Eckles, M. Bernstein // Proceedings of the 23rd international conference on World wide web. – 2014. – Рp. 283–292.
10. Box, G. E. P. Statistics for Experimenters: Design, Innovation, and Discovery / G. E. P. Box, W. G. Hunter, J. S. Hunter. – Wiley-Interscience, 2005. – 664 p.
11. Consistent transformation of ratio metrics for efficient online controlled experiments / R. Budylin. et al. // Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. 2018. – Рp. 55–63.
12. Casella, G. Statistical Inference / G. Casella, R. L. Berger Statistical Inference. – Duxbury, 2001. – 660 p.
13. Improving the sensitivity of online controlled experiments by utilizing pre-experiment data / A. Deng, Y. Xu, R Koha-vi., E. Walker // Proceedings of the sixth ACM international conference on Web search and data mining. – 2013. – Pp. 123–132.
14. Fisher, R. A. The Design of Experiments / R. A. Fisher. – Edinburgh : Oliver & Boyd, 1935. – 256 p.
15. Kohavi, R. Online experimentation at Microsoft // Data Mining Case Studies. – 2009. – Vol. 11, No. 12. – Рp. 39.
16. Kohavi, R. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing / R. Kohavi, D. Tang, Y. Xu. – Cambridge : Cambridge University Press, 2020. – 350 p.
17. Lennarz, H. Growth Hacking mit Strategie: Wie erfolgreiche Startups und Unternehmen mit Growth Hacking ihr Wachstum beschleunigen / H. Lennarz. – Springer Gabler, 2017. – 256 р.
18. Socha, L. Linearization in analysis of nonlinear stochastic systems / L. Socha, T.T. Soong //Applied Mechanics Revie ws. – 1991. – Vol. 44, No. 11. – Pр. 595–607.
19. Wasserman, L. All of Statistics: A Concise Course in Statistical Inference. Springer Science & Business Media, 2013. – 442 p.
Загрузки
Опубликован
Выпуск
Раздел
Лицензия
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial» («Атрибуция — Некоммерческое использование») 4.0 Всемирная.
Статьи журнала «Дидактика математики: проблемы и исследования» находятся в открытом доступе и распространяются в соответствии с условиями Лицензионного Договора с Донецким Государственным университетом, который бесплатно предоставляет авторам неограниченное распространение и самостоятельное архивирование.
