Add initial tracks for Machine Learning skills: Product & Problem Framing, ML Science & Experimentation, Data Engineering, MLOps & Reliability, and Engineering Excellence

Author: Andrey Kulagin

machine_learning/1. Product & Problem Framing.md

@@ -0,0 +1,33 @@
+# 1. Product & Problem Framing
+
+Этот трек посвящен навыкам определения и формализации бизнес-проблем, их перевода в ML-задачи, а также управлению ML-проектами с фокусом на продуктовое мышление и создание ценности для бизнеса.
+
+## ML1 (Junior)
+- Знает базовые бизнес-метрики.
+- Знает, какую offline метрику оптимизирует модель и почему она коррелирует с бизнес-метрикой.
+- Предлагает способ решения задачи.
+
+## ML2 (Middle)
+- Сам переводит абстрактную бизнес-цель в измеримые ML и продуктовые метрики.
+- Совместно с PM формулирует user-problem и business objective.
+- Ведёт цикл гипотеза → MVP → production
+- Учитывает зависимости от других команд (бэкенд, аналитика). Передаёт необходимый контекст по задачам.
+
+## ML3 (Middle +)
+- Проактивно предлагает гипотезы для решения бизнес-проблемы
+- Умеет считать полный ROI с учетом издержек.
+- Видит альтернативы не только в ML (процессы, продуктовые фичи).
+- Формулирует, валидирует и приоритизирует гипотезы на основе фреймворков (например, RICE).
+- Самостоятельно продумывает полный скоуп задач для аналитиков и разработчиков, инициирует их заведение в бэклог.
+
+## ML4 (Senior)
+- Формирует роадмап и набор гипотез по OKR на 1-2 квартала.
+- Помогает другим формулировать задачи через призму ценности для бизнеса и пользователя.
+- Коучит ML/PM в product & problem framing. Учитывает trade-off'ы между краткосрочным и долгосрочным эффектом.
+- Внедряет культуру product-thinking в ML-команду.
+- Настраивает процессы постановки задач, чтобы нужные действия от аналитиков и разработчиков происходили своевременно.
+
+## ML5 (Staff)
+- Формирует ML-стратегию, питчит ее CTO / CDO
+- Инициирует масштабные продуктовые изменения и эксперименты, влияющие на стратегию компании.
+- Строит системные процессы взаимодействия с другими функциями 

machine_learning/2. ML Science & Experimentation.md

@@ -0,0 +1,31 @@
+# 2. ML Science & Experimentation
+
+Этот трек фокусируется на глубоких знаниях в области машинного обучения, от исследования и выбора подходящих алгоритмов до проведения и анализа A/B тестов, а также на способности критически оценивать и улучшать ML-модели.
+
+## ML1 (Junior)
+- Работает над ML-моделями, адаптируя существующие туториалы/гайды
+- Проводит EDA для нового датасета, формулирует выводы о качестве данных и применимости тех или иных ML-моделей
+- Самостоятельно делает feature engineering — простые преобразования, отбор фичей.
+- Визуализиует датасеты и результаты так, чтобы выводы понял даже не-технический специалист.
+- Перед тем как решать задачу проводит literature review существующих решений.
+
+## ML2 (Middle)
+- Строит каскад метрик от бизнес-метрик к DS-метрикам и loss-ам в ML-дизайне и умеет объяснить связь
+- Эффективно работает с инструментами и ML-библиотеками, используемыми в команде; дорабатывает общие библиотеки
+- Всегда начинает с простых бейзлайнов.
+- Проводит анализ ошибок модели, формулирует гипотезы для будущих итераций улучшения
+- Способен подготовить и корректно проанализировать A/B-тест, для неочевидных результатов проводит постанализ
+
+## ML3 (Middle +)
+- Знаком и работал с целой палитрой ML-алгоритмов, обоснованно выбирает подходящее решение, подсвечивая trade-off-ы.
+- Анализирует и представляет результаты экспериментов с корректными статистическими методами и визуализациями; оцениваю статистическую точность выводов команды.
+- Определяет и отслеживает оффлайн- и онлайн-метрики для достижения бизнес-целей.
+
+## ML4 (Senior)
+- Критикует существующие метрики и определяет новые оффлайн/онлайн-метрики, актуальные на всём жизненном цикле модели.
+- Отвечает за стратегию экспериментов команды и актуализирует её по важным находкам.
+- Предоставляет критическую обратную связь другим членам команды на всех стадиях ML-проекта.
+
+## ML5 (Staff)
+- Управляет портфелем ML-исследований, балансируя риски и ценность, и приоритизируя инвестиции.
+- Определяет и поддерживаю организационную стратегию ML-экспериментов: единые шаблоны дизайна, метрик и отчётности. 

machine_learning/3. Data Engineering.md

@@ -0,0 +1,32 @@
+# 3. Data Engineering
+
+Этот трек охватывает навыки, связанные с построением и поддержкой надежных и масштабируемых пайплайнов данных, от написания сложных SQL-запросов до проектирования архитектуры данных и работы с batch и stream обработкой.
+
+## ML1 (Junior)
+- Понимает базовые концепции работы с БД
+- Может делать простые SQL запросы для выгрузки данных
+- Умеет создавать и настраивает простые ETL пайплайны
+- Понимает важность качества данных и проверяет данные на очевидные ошибки и аномалии
+- Работает с миграциями совместно со старшим инженером в команде: создает новые таблицы/модифицирует старые при необходимости
+
+## ML2 (Middle)
+- Уверенно пишет сложные SQL запросы и оптимизирует их при необходимости
+- Реализовывает и поддерживает сложные ETL пайплайны(включает сложные преобразования, зависимость с другими ETL)
+- Внедряет базовые проверки качества данных, пишет тесты
+- Разбирается с инцидентами в данных, исправляет важные пайплайны без длительного даунтайма
+- Может обрабатывать данные с помощью Spark на начальном уровне
+- Самостоятельно работает с миграциями: создает новые таблицы/модифицирует старые при необходимости
+
+## ML3 (Middle +)
+- Лидирует небольшие дата проекты в рамках своих задач: проектирует end-to-end пайплайны под новую ML задачу. Оценивает трудоемкость и риски.
+- Может делать сложные преобразования данных с помощью Spark
+- Настраивает и оптимизирует схемы хранения данных в рамках ЗО(подбирает PARTITION BY и ORDER BY под реальные паттерны запросов, настраивает TTL-политики итп)
+
+## ML4 (Senior)
+- Проектирует масштабируемую архитектуру для обработки данных в рамках команды/ в рамках нескольких команд
+- Может комбинировать batch и stream пайплайны
+- Лидирует дата проекты в рамках функции
+- Создает и настраивает процессы связанные с обработкой данных и последующим мониторингом.
+
+## ML5 (Staff)
+- ...

machine_learning/4. MLOps & Reliability.md

@@ -0,0 +1,28 @@
+# 4. MLOps & Reliability
+
+Этот трек посвящен практикам MLOps и обеспечения надежности ML-систем. Он включает в себя навыки по контейнеризации, развертыванию моделей как сервисов, настройке CI/CD, мониторингу и оптимизации производительности.
+
+## ML1 (Junior)
+- Верхнеуровнево понимает принципы работы контейниризации.
+- Для сборки образа и других сложных операций обращается к старшим инженерам.
+
+## ML2 (Middle)
+- Может уже самостоятельно запускать модель как REST API (FastAPI/Flask).
+- Хорошо понимает, как работает Docker, может самостоятельно пересобрать необходимый образ для кастомной таски.
+- Мониторинг сдвига данных на train/inference
+- Для развертывания сервиса и настройки к CI/CD обращается к DevOps.
+
+## ML3 (Middle +)
+- Оценивает latency и throughput сервиса
+- Может с высокой точностью оценить trade off между value от модели и стоимостью деплоя.
+- Самостоятельно может создать базы, провести необходимые миграции для деплоя сервиса (создание переменных окружения, расположить их в Drone и тд)
+- Строит с дашборд с метриками сервиса
+- Самостоятельно настраивает CI/CD
+
+## ML4 (Senior)
+- Проектирует и внедряет сложные ML-системы, которые работают стабильно под высокой нагрузкой.
+- Самостоятельно настраивает CI/CD не только для моделей, но и A/B-тесты, автоматический откат при дрейфе
+- Глубоко разбирается в Kubernetes — оптимизирует ресурсы настраивает сетевые политики и балансировку.
+
+## ML5 (Staff)
+- Определяет, какие инструменты использовать на уровне компании 

machine_learning/5. Engineering Excellence.md

@@ -0,0 +1,37 @@
+# 5. Engineering Excellence
+
+Этот трек посвящен инженерной культуре и качеству кода. Он включает в себя принципы написания чистого, поддерживаемого и расширяемого кода, воспроизводимость исследований, проведение code-review, документирование и распространение лучших практик.
+
+## ML1 (Junior)
+- Исследования всегда полностью воспроизводимы, random-seed зафиксирован, логи и параметры обучения сохранены.
+- Использует Git в работе, понимает,  как с ним работать.
+- Воплощает идеи в понятный код, написанный так, чтобы его можно было и выполнить, и прочесть.
+- Умеет читать и ориентироваться в функциях и модулях, которые не писал сам.
+- В его коде отсутствуют бросающиеся в глаза ошибки; замечания по оформлению сведены к минимуму, код задокументирован и протестирован.
+- Участвует в code-review как второй ревьюер, задаёт вопросы, помогающие изучать базу кода и технологии.
+- Выделяет небольшие переиспользуемые модули, соблюдая принцип разделения ответственности.
+- Использует Gen AI для написания кода
+
+## ML2 (Middle)
+- Запрашивает и проводит ML-дизайн-ревью
+- Проектирует и пишет код, который легко расширять; применяет общепринятые паттерны и SOLID-принципы.
+- Выступает основным reviewer, учитывает разные мнения и проходит ревью без критических замечаний.
+- Контролирует работу решения в проде, используя логи и мониторинг; заводит задачи на рефакторинг, следует «правилу бойскаута».
+- Создаёт RFC / дизайн-заметки и вносит улучшения в документацию команды.
+
+## ML3 (Middle +)
+- В ML Design Review задает проницательные вопросы, подтверждает выбор или вскрывает ошибочные предположения.
+- Пишет библиотеки/модули, которые расширяются другими командами; описывает их в технической документации.
+- Принимает архитектурные решения, валидирует чужие RFC и знает, когда нужен существенный рефакторинг.
+- Закрывает технический долг и публикует постмортемы с Root cause analysis и action-items.
+- Делится своими знаниями с коллегами, которые те впоследствии используют
+
+## ML4 (Senior)
+- Изучает технические решения схожих проблем в других направлениях и/или компаниях
+- При применении новых технологий критически оценивает их пользу и применимость в проекте - делает сравнительный анализ (например, SWOT)
+- Отвечает за ключевые сервисы команды. Проактивно ищет неэффективные места в коде/архитектуре/инфраструктуре
+- Обучает других иженеров в своей команде или кластере. Распространяет лучшие практики через внутренние гильдии, воркшопы, статьи.
+- Ведет техническую документацию по сервисам команды.
+
+## ML5 (Staff)
+- Влияет на общую data-driven культуру в компании через продвижение лучших технических практик и менторство.