|
| 1 | +# 3. Experimentation & Data Science |
| 2 | + |
| 3 | +Этот трек охватывает научный подход к работе с данными, объединяя две ключевые дисциплины: установление причинно-следственных связей (через A/B-тесты и другие методы) и предиктивное моделирование (с помощью машинного обучения). Цель — не только измерять влияние изменений, но и предсказывать будущее поведение, повышая эффективность бизнес-процессов и принимаемых решений. |
| 4 | + |
| 5 | +## DA1 (Junior) |
| 6 | +- Корректно проектирует и анализирует простые A/B-тесты, используя инструменты и шаблоны компании. |
| 7 | +- Формулирует четкую гипотезу для каждого эксперимента. |
| 8 | +- Понимает базовые концепции стат. значимости, мощности и p-value. |
| 9 | + |
| 10 | +## DA2 (Middle) |
| 11 | +- Проектирует более сложные эксперименты (например, с множеством групп / с нетривиальным влиянием на ключевые бизнес-метрики). |
| 12 | +- Рассчитывает необходимый размер выборки и длительность эксперимента для получения статистически значимых результатов. |
| 13 | +- Может отлаживать результаты экспериментов и объяснять нюансы (например, последовательное тестирование) заинтересованным сторонам. |
| 14 | +- Ревьювит дизайны коллег. |
| 15 | +- Проводит глубокий анализ результатов экспериментов, объясняя не только "что" изменилось, но и "почему" (например, через анализ сегментов). |
| 16 | + |
| 17 | +## DA3 (Middle+) |
| 18 | +- Применяет продвинутые методы, когда A/B-тесты невозможны (switchbacks, квази-эксперименты, такие как DiD/Causal Impact). |
| 19 | +- Строит и оценивает оффлайн ML-модели (например, прогнозирование оттока, сегментация) для генерации гипотез или решения бизнес-задач. |
| 20 | +- Интерпретирует модели (SHAP, feature importance) и объясняет их бизнес-ценность. |
| 21 | + |
| 22 | +## DA4 (Senior) |
| 23 | +- Является главным экспертом по методологии и инструментам для проведения экспериментов в компании: консультирует команды по сложным случаям, предлагает улучшения в процессах и конфигурации инструментов. |
| 24 | +- Активно обучает и менторит продакт-менеджеров и других аналитиков лучшим практикам экспериментирования и прикладного data science. |
| 25 | +- Проводит мета-анализ "флота" экспериментов, выявляя не только системные проблемы (p-hacking), но и формируя выводы о том, какие типы гипотез и инициатив (маркетинговых, операционных, продуктовых) приносят наибольшую ценность. |
| 26 | +- Строит end-to-end ML-прототипы: от создания признаков до скрипта для инференса и проектирования системы метрик (оффлайн/онлайн) для оценки их успеха в продакшене. |
| 27 | + |
| 28 | +## DA5 (Staff) |
| 29 | +- Оценивает ограничения существующих в компании подходов к экспериментированию в контексте бизнес-задач; влияет на стратегические решения об их развитии или замене. |
| 30 | +- Утверждает и стандартизирует методологии как для причинно-следственного анализа, так и для ML-приложений. |
| 31 | +- Исследует, адаптирует и внедряет в компании передовые методы из индустрии в области causal inference и ML. |
0 commit comments