Add DE Matrix

feat: add de matrix

Author: and-kul

data-engineering/1. Software Engineering.md

@@ -0,0 +1,35 @@
+# 1. Software Engineering
+
+Этот трек посвящен навыкам разработки программного обеспечения, включая написание чистого, поддерживаемого и тестируемого кода, а также использование современных инструментов и методологий разработки.
+
+## DE1 (Junior)
+- Я пишу утилиты командной строки или автоматизирующие скрипты на одном языке программирования
+- Я понимаю базовые структуры данных и основы ООП
+- Я читаю чужой код и могу внести локальные правки
+- Я использую базовые средства отладки (breakpoints, logging)
+
+## DE2 (Middle)
+- Я разрабатываю приложения из нескольких модулей (CLI, REST API, batch-jobs) с применением популярных библиотек и SDK
+- Я использую распространённые фреймворки (web/CLI, ORM, unit-test) и понимаю их архитектурные принципы
+- Я оформляю код по style-guide проекта, пишу README и докстринги.
+- Я прохожу код-ревью и оперативно правлю замечания.
+
+## DE3 (Middle +)
+- Я провожу код-ревью коллег, аргументируя решения и улучшая качество кода
+- Я пишу модульные и интеграционные тесты, покрывая критический функционал
+- Я настраиваю CI-pipeline для проверки качества и сборки артефактов
+
+## DE4 (Senior)
+- Я настраиваю мониторинг, логирование и алерты (Prometheus, Grafana, Grafana OnCall) для приложений;
+- Я управляю релизным циклом: версионирование, changelog, rollback-план;
+- Я оптимизирую производительность кода и памяти.
+- Я внедряю и развиваю стандарты код-ревью, CI/CD и release management.
+- Я менторю и обучаю инженеров младших уровней.
+
+## DE5 (Staff)
+- Я проектирую архитектуру сервисов совместно с командой, задаю модули и контракты.
+- Я формирую технический roadmap направления и веду RFC-процессы.
+- Я инициирую внедрение новых языков, фреймворков или парадигм при необходимости.
+- Я определяю групповые стандарты разработки, качества и безопасности кода.
+- Я отслеживаю ресурсопотребление через профилировщики/трассировщики и устраняю bottleneck'и.
+- Я руковожу разработкой и поддержкой внутренних библиотек/SDK. 

data-engineering/2. ETL.md

@@ -0,0 +1,27 @@
+# 2. ETL
+
+Этот трек посвящен навыкам проектирования, разработки и поддержки ETL-пайплайнов, включая работу с распределенными системами, оркестрацию данных и оптимизацию производительности.
+
+## DE1 (Junior)
+- Я понимаю, зачем нужны распределённые вычисления в Spark и когда их выбирать вместо однопоточных инструментов.
+- Я понимаю концепцию DAG в Airflow, назначение тасков, расписание и ретраи и могу объяснить, когда применять оркестрацию.
+- Я создаю DAG, используя PythonOperator, BashOperator и Sensor; настраиваю расписание и ретраи.
+- Я запускаю spark batch‑джобы до ≈ 50 GB данных, используя DataFrame API и базовые трансформации.
+
+## DE2 (Middle)
+- Я строю DAG, использую Branch/Trigger Rules, XCom и TaskGroup, интегрируюсь с S3, БД и внешними API.
+- Я читаю и трансформирую данные из таблиц Iceberg, оптимизирую partitioning, persist и broadcast joins.
+
+## DE3 (Middle +)
+- Я проектирую многоэтапные пайплайны с Sensor‑triggered и динамически генерируемыми тасками, внедряю DAG‑versioning и тесты; применяю Pools, Queues и Priority Weights для балансировки воркеров.
+- Я записываю данные в Iceberg‑таблицы, настраиваю partitioning и поддерживаю snapshot isolation; конфигурирую executors и shuffle service.
+
+## DE4 (Senior)
+- Я оптимизирую производительность оркестрации, настраиваю метрики/алерты в Prometheus/Grafana и повышаю стабильность ETL-пайплайнов делая их более надежными.
+- Я оптимизирую Iceberg (metadata compaction, manifest merge), управляю Structured Streaming и ресурсами кластера Spark K8s.
+- Я создаю многоразовые ETL‑frameworks, custom Operators/Hooks, UI‑плагины и обучаю команды best‑practices.
+
+## DE5 (Staff)
+- Я управляю lakehouse‑слоем Iceberg, обеспечиваю schema evolution и time‑travel при объёмах > 10 TB; автоматизирую CI/CD для пайплайнов.
+- Я формирую и документирую архитектуру оркестрации данных, политики владения DAG (code‑owners, review rules, CI‑гейты); формирую рекомендации по versioning, тестированию и security‑context; фиксирую решения в ADR и провожу архитектурные ревью.
+- Я формирую roadmap вычислительных движков (Spark/Trino), управляю cost‑моделью кластера, оцениваю новые фичи Iceberg и провожу PoC. 

data-engineering/3. SQL • ClickHouse • Trino.md

@@ -0,0 +1,35 @@
+# 3. SQL • ClickHouse • Trino
+
+Этот трек посвящен навыкам работы с SQL, включая написание сложных запросов, оптимизацию производительности и администрирование баз данных, таких как ClickHouse и Trino.
+
+## DE1 (Junior)
+- Я пишу SELECT с фильтрацией, агрегацией и JOIN, CTE, window functions и аналитическими функциями.
+- Я понимаю основные типы данных, первичные/внешние ключи и разницу OLTP vs OLAP.
+- Я создаю таблицы, индексы и партиционирую данные в Clickhouse и Trino.
+- Я понимаю уровни изоляции транзакций и нормальные формы (1NF‑3NF).
+- Я выполняю распределённые запросы через несколько источников, используя существующие каталоги.
+
+## DE2 (Middle)
+- Я создаю MergeTree‑таблицы, задаю primary key, partition key, TTL и понимаю процесс merges в Clickhouse
+- Я настраиваю каталоги в Trino
+- Я читаю system-таблицы и логи для анализа «узких мест» (дисковое I/O, merges, пробки по памяти).
+- Я использую Trino как слой федерации: соединяет данные из S3 + ClickHouse, делает CTAS или INSERT INTO в Iceberg.
+
+## DE3 (Middle +)
+- Я оптимизирую схемы (LowCardinality, Sparse columns), создаю Materialized Views и Replacing/Collapsing MergeTree; настраиваю TTL‑политику, агрегирующие витрины в Clickhouse
+- Я знаю основные показатели кластера ClickHouse (Query, Merge, Parts, Mutation) и Trino (CPU time, blocked time, GC) и могу оперативно диагностировать 90 % типичных проблем (disk-bound merge, spill-to-disk, out-of-memory).
+- Я понимаю влияние типов данных и преобразований на производительность, избегаю неявных кастов.
+
+## DE4 (Senior)
+- Я проектирую физические модели хранения под SLA запросов (hot/cold слои, сортировка, партиционирование).
+- Я анализирую cost‑based plan, использую session properties и Iceberg connector для оптимизации запросов.
+- Я умею читать основные показатели кластера Clickhouse, могу выявить любую проблему, вычислить корневую причину и предложить ряд действий для решения проблемы. Я точечно реагирую и выделяю слабое место в работе кластера
+
+## DE5 (Staff)
+- Я настраиваю и управляю кластерами ClickHouse (репликация, шардирование, балансировка нагрузки, backup/restore) и Trino (coordinator/worker topology, resource groups, HA).
+- Я читаю и анализирую changelog и release‑notes ClickHouse/Trino, планирую безопасные апгрейды и тестирую миграции.
+- Я формирую корпоративную стратегию ClickHouse/Trino: стандарты апгрейдов, capacity‑planning, FinOps и governance каталога данных.
+- Я разрабатываю DR‑планы, multi‑DC репликацию и сквозное шифрование.
+- Я автоматизирую миграции схем и версионирование данных.
+- Я веду R&D новых движков и PoC, оцениваю ROI их внедрения.
+- Я обучаю продуктовые команды оптимизации затрат на хранение и вычисления и провожу архитектурные ревью. 

data-engineering/4. Infrastructure & DevOps.md

@@ -0,0 +1,24 @@
+# 4. Infrastructure & DevOps
+
+Этот трек посвящен навыкам работы с инфраструктурой и DevOps, включая контейнеризацию, оркестрацию, CI/CD и мониторинг.
+
+## DE1 (Junior)
+- Я запускаю контейнеры с docker run, монтирую тома и прокидываю порты.
+- Я собираю образ по Dockerfile и тестирую его локально.
+- Я пишу многостейджевые Dockerfile, оптимизирую размер образов и использую .dockerignore.
+- Я конфигурирую docker compose для локальной разработки нескольких сервисов и публикую образы в частный реестр.
+
+## DE2 (Middle)
+- Я деплою приложение через kubectl apply, создаю Deployment, Service, ConfigMap и Secret.
+- Я задаю requests/limits, readiness/liveness probes и просматриваю логи Pod.
+- Я описываю базовые конфигурации для создания кластера K8s или облачных ресурсов и храню состояние удалённо.
+
+## DE3 (Middle +)
+- Я настраиваю Ingress‑контроллер и Horizontal Pod Autoscaler.
+- Я использую ConfigMaps/Secrets для параметров приложения
+- Я создаю Helm‑chart из существующих манифестов и публикую его в репозиторий.
+
+## DE4 (Senior)
+- Я внедряю GitOps/CI‑CD (Helm + CI, Argo CD) и управляю rollout‑стратегиями (blue‑green).
+- Я настраиваю базовый мониторинг: экпортёр метрик в Prometheus и дашборд в Grafana.
+- Я провожу пост-мортерм анализ инцидентов и обновляю SLA/SLO 

data-engineering/5. Data Modelling (dbt • Lakehouse).md

@@ -0,0 +1,24 @@
+# 5. Data Modelling (dbt • Lakehouse)
+
+Этот трек посвящен навыкам моделирования данных, включая проектирование схем данных, использование dbt для трансформации данных и построение Lakehouse архитектуры.
+
+## DE1 (Junior)
+- Я понимаю разницу между fact и dimension, а также концепцию bronze → silver → gold слоёв Lakehouse.
+- Я строю star/snowflake схему в «silver» и веду базовые unique/not_null тесты.
+- Я создаю простые модели в dbt: sources, seeds, staging слой и документы (docs generate).
+- Я разрабатываю incremental модели dbt, настраиваю is_incremental() логику и SCD type 2 через dbt_utils.surrogate_key.
+
+## DE2 (Middle)
+- Я применяю Lakehouse практики: материализую данные в Iceberg‑таблицы silver, оптимизирую partitioning.
+- Я разрабатываю и использую нейминг конвенции, оптимизирую структуру хранилища для лучшего поиска и чтения данных.
+- Я умею выбирать корректную структуру витрин с точки зрения фактов и измерений.
+
+## DE3 (Middle +)
+- Я строю «gold» слой: агрегаты и дата‑марты для BI, применяя exposures и metrics в dbt.
+- Я создаю собственные macros/packages, использую run‑operation для backfill и автоматизирую schema tests (volume, freshness).
+- Я разрабатываю корпоративные стандарты моделирования (naming, folder‑structure, config блоки, docs).
+
+## DE4 (Senior)
+- Я внедряю data contracts: описываю ожидания и SLA в meta, подключаю линтеры (sqlfluff).
+- Я формирую стратегию моделирования Lakehouse в компании: правила bronze/silver/gold, стандарты dbt‑кодирования и процессы review.
+- Я обучаю команды Best Practices, провожу миграции старых DWH на Lakehouse/dbt и курирую roadmap развития моделей. 

data-engineering/6. Data Management & Governance.md

@@ -0,0 +1,22 @@
+# 6. Data Management & Governance
+
+Этот трек посвящен навыкам управления данными и обеспечения их качества, безопасности и соответствия политикам, включая использование каталогов данных и внедрение процессов DMBOK.
+
+## DE1 (Junior)
+- Я соблюдаю naming‑конвенции каталогов/таблиц/колонок и храню описания в README.
+- Я заполняю базовые tags и owners в OpenMetadata при создании датасета.
+- Я регистрирую источники данных через ingestion‑коннекторы OpenMetadata/DataHub (S3, ClickHouse, Trino).
+- Я описываю столбцы (description, data type) и задаю метаданные sample_data, profile.
+
+## DE2 (Middle)
+- Я внедряю автоматические профили качества (null %, distinct %, min/max) и базовые тесты dbt tests; публикую результаты в Data Catalog.
+- Я создаю lineage между таблицами ETL‑пайплайна.
+- Я настраиваю дата‑контракты (expectations, freshness SLA) и алерты о деградации качества.
+
+## DE3 (Middle +)
+- Я конфигурирую политики доступа (RBAC, row/column level) и PII‑классификацию через OpenMetadata; интегрирую с SAML/LDAP.
+- Я определяю процессы DMBOK: data ownership, stewardship, lifecycle, retention; фиксирую их в Confluence и каталоге.
+
+## DE4 (Senior)
+- Я курирую Data Governance Board, утверждаю словарь бизнес‑метрик, управляю change‑management процессом (RFC к схемам).
+- Я внедряю автоматизированное кластерное тегирование чувствительных данных (PII, GDPR) и отчётность по соответствию.