refactor: Revise Product & Business Acumen and Experimentation & Data Science tracks with updated metrics, methodologies, and competencies

Author: Andrey Kulagin

data_analytics/2. Product & Business Acumen.md

@@ -3,27 +3,27 @@
 Этот трек определяет способность аналитика глубоко понимать продукт, бизнес-контекст и потребности пользователей. Речь идет не только о расчете метрик, но и об их правильной интерпретации, построении дерева метрик, моделировании юнит-экономики и, в конечном счете, о способности быть стратегическим партнером для бизнеса, влияя на продуктовую стратегию на основе данных.
 
 ## DA1 (Junior)
-- Понимает ключевые метрики для своей продуктовой области.
-- Может сопоставлять действия пользователей с событиями данных.
-- Проявляет интерес к пониманию потребностей пользователей и бизнес-целей своего продукта.
+- Создает и описывает базовые метрики в BI-инструментах.
+- Понимает, как можно "сломать" метрику, и проводит базовую валидацию данных перед анализом.
+- Может сопоставлять действия пользователей с логами (событиями) данных.
 
 ## DA2 (Middle)
-- Строит и поддерживает дерево метрик для своего домена.
-- Рассчитывает LTV, retention и строит модели влияния для фичей.
+- Проектирует и согласовывает с PM дерево метрик (input -> output) для своего домена.
+- Рассчитывает ключевые бизнес-показатели (LTV, retention) и строит калькуляторы для оценки потенциального влияния фичей.
+- Определяет health-метрики (guardrail metrics) для своего продукта и настраивает на них алертинг.
+- Понимает и объясняет стейкхолдерам допущения и ограничения в методологии расчета метрик.
 
 ## DA3 (Middle+)
-- Проактивно выявляет возможности и угрозы с помощью данных.
-- Строит модели юнит-экономики.
-- Создает сложные прогнозы и сравнивает их с фактическими результатами.
+- Моделирует unit-экономику и рассчитывает ROI для отдельных продуктовых инициатив.
+- Строит прогнозы по ключевым метрикам (например, в формате "пессимист / базовый / оптимист") и проводит план/факт анализ для калибровки моделей.
+- Проводит проактивные исследования данных для поиска точек роста или выявления проблем в продукте.
 
 ## DA4 (Senior)
-- Становится стратегическим партнером для менеджера по продукту.
-- Определяет фреймворк для измерения новых продуктов или бизнес-линий.
-- Может оспаривать продуктовую стратегию на основе данных.
+- Разрабатывает систему метрик для совершенно новых продуктов или бизнес-моделей (включая unit-экономику и ROI).
+- Руководит процессом поддержания общего словаря метрик: инициирует ревизии, устраняет дубли и конфликты, внедряет data ownership.
 - Самостоятельно генерирует и валидирует продуктовые гипотезы, которые напрямую влияют на дорожную карту (roadmap) продукта.
 
 ## DA5 (Staff)
-- Формирует стратегию на уровне компании.
-- Определяет North Star метрики и KPI-фреймворки для всей организации.
-- Консультирует C-level по вопросам жизнеспособности бизнес-моделей и инвестиционных решений.
-- Идентифицирует и оценивает новые стратегические возможности для бизнеса (например, новые рынки, бизнес-модели) на основе анализа данных и трендов. 
+- Участвует в утверждении North Star метрик и разрешает KPI-конфликты между доменами.
+- Разрабатывает и внедряет общекорпоративные фреймворки для оценки ROI и прогнозирования KPI, необходимые для принятия инвестиционных решений.
+- Консультирует C-level по вопросам жизнеспособности бизнес-моделей и инвестиционных решений. 

data_analytics/3. Experimentation & Data Science.md

@@ -1,13 +1,15 @@
 # 3. Experimentation & Data Science
 
-Этот трек охватывает научный подход к работе с данными, объединяя две ключевые дисциплины: установление причинно-следственных связей (через A/B-тесты и другие методы) и предиктивное моделирование (с помощью машинного обучения). Цель — не только измерять влияние изменений, но и предсказывать будущее поведение, создавая более умные продукты и решения.
+Этот трек охватывает научный подход к работе с данными, объединяя две ключевые дисциплины: установление причинно-следственных связей (через A/B-тесты и другие методы) и предиктивное моделирование (с помощью машинного обучения). Цель — не только измерять влияние изменений, но и предсказывать будущее поведение, повышая эффективность бизнес-процессов и принимаемых решений.
 
 ## DA1 (Junior)
 - Корректно проектирует и анализирует простые A/B-тесты, используя инструменты и шаблоны компании.
 - Формулирует четкую гипотезу для каждого эксперимента.
+- Понимает базовые концепции стат. значимости, мощности и p-value.
 
 ## DA2 (Middle)
-- Проектирует более сложные эксперименты (например, многовариантные).
+- Проектирует более сложные эксперименты (например, с множеством групп / с нетривиальным влиянием на ключевые бизнес-метрики).
+- Рассчитывает необходимый размер выборки и длительность эксперимента для получения статистически значимых результатов.
 - Может отлаживать результаты экспериментов и объяснять нюансы (например, последовательное тестирование) заинтересованным сторонам.
 - Ревьювит дизайны коллег.
 - Проводит глубокий анализ результатов экспериментов, объясняя не только "что" изменилось, но и "почему" (например, через анализ сегментов).
@@ -19,14 +21,13 @@
 - Оценивает ROI от внедрения ML-модели по сравнению с более простыми эвристиками или решениями.
 
 ## DA4 (Senior)
-- Проектирует и владеет фреймворком экспериментов для большого домена.
-- Анализирует весь флот экспериментов для выявления системных проблем (например, p-hacking).
+- Является главным экспертом по методологии и инструментам для проведения экспериментов в компании: консультирует команды по сложным случаям, предлагает улучшения в процессах и конфигурации инструментов.
+- Проводит мета-анализ "флота" экспериментов, выявляя не только системные проблемы (p-hacking), но и формируя выводы о том, какие типы гипотез и инициатив (маркетинговых, операционных, продуктовых) приносят наибольшую ценность.
 - Строит end-to-end ML-прототипы: от создания признаков до скрипта для инференса.
 - Проектирует систему метрик (оффлайн/онлайн) для оценки успеха ML-моделей в продакшене.
 - Активно обучает и менторит продакт-менеджеров и других аналитиков лучшим практикам экспериментирования и прикладного data science.
 
 ## DA5 (Staff)
-- Определяет общекорпоративную стратегию для разработки продуктов на основе данных (evidence-based development) и внедрения data science.
+- Оценивает ограничения существующих в компании подходов к экспериментированию в контексте бизнес-задач; влияет на стратегические решения об их развитии или замене.
 - Утверждает и стандартизирует методологии как для причинно-следственного анализа, так и для ML-приложений.
-- Курирует стратегию применения ML для решения бизнес-проблем в аналитике, выступая связующим звеном с командой ML-инженеров.
-- Исследует, адаптирует и внедряет в компании передовые методы из индустрии в области causal inference и ML. 
+- Исследует, адаптирует и внедряет в компании передовые методы из индустрии в области causal inference и ML. ƒ