Skip to content

Commit 932ab86

Browse files
author
Andrey Kulagin
committed
Add BI Engineer Tracks for Data Visualization, BI Tool Expertise, Systematic BI Approach, and Data Modeling & Manipulation
1 parent 8dfaade commit 932ab86

File tree

4 files changed

+134
-0
lines changed

4 files changed

+134
-0
lines changed

‎hard_skills/bi_engineer/1. Data Visualization.md‎

Lines changed: 23 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,23 @@
1+
# 1. Data Visualization
2+
3+
Этот трек посвящен способности превращать данные в понятные и эффективные визуальные истории. Он охватывает как знание основных принципов графического дизайна и выбор подходящих графиков, так и умение доносить сложные концепции через визуализацию, делая информацию доступной для конечного пользователя.
4+
5+
## BI1 (Junior)
6+
- Знает и отличает друг от друга все основные типы графиков.
7+
- Выбирает подходящие графики для нужд визуализации.
8+
9+
## BI2 (Middle)
10+
- Умеет работать с цветами и палитрой.
11+
- Понимает принцип Data-to-Ink Ratio и использует его для создания качественных отчетов.
12+
- Знает основные правила верстки и композиции.
13+
14+
## BI3 (Middle +)
15+
- Умеет эффективно использовать нестандартные типы графиков для визуализаций (например. waterfall chart).
16+
- Разбирается в гештальт принципах визуализации.
17+
- Знаком с основами графического дизайна: направление чтения, F- паттерн.
18+
- Замечает и исправляет ошибки визуализации, либо помогает исправить.
19+
20+
## BI4 (Senior)
21+
- Использует свои навыки для визуализации сложных концептов и идей, донося сложные знания простым языком конечному пользователю.
22+
- Помогает другим создателям дашбордов создавать понятные, полезные и приятные глазу визуализации на всех этапах - направляя их на этапе задумки, а также давая дельные замечания на последних этапах.
23+
- Участвует в создании кастомных визуализаций Superset (пишет понятное ТЗ, тестирует и внедряет в работу).

‎hard_skills/bi_engineer/2. BI Tool Expertise.md‎

Lines changed: 28 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,28 @@
1+
# 2. BI Tool Expertise
2+
3+
Этот трек описывает глубину владения основным BI-инструментом (например, Superset). Рост в этом треке означает переход от базового создания дашбордов к продвинутой настройке, использованию динамических запросов, управлению доступами и, в конечном итоге, к расширению возможностей самого инструмента.
4+
5+
## BI1 (Junior)
6+
- Умеет создавать и пользоваться основными сущностями инструмента - графиками, фильтрами, дашбордами.
7+
8+
## BI2 (Middle)
9+
- Умеет конфигурировать более продвинутые вещи, например: аннотации, рассылки.
10+
- Настраивает большую часть возможных кастомизаций датасета, уделяет внимание осям и легенде.
11+
- Может найти ошибку в любом отчете. Например, может определить почему не сходятся данные или не загружается отчет.
12+
13+
## BI3 (Middle +)
14+
- Использует аннотации для визуализации причинно-следственных связей.
15+
- Умеет управлять безопасностью доступов к отчетам с помощью RBAC и RLS.
16+
- Достаточно компетентен/на для регулярного обучения других.
17+
- Использует Jinja для создания динамических запросов.
18+
- Создает и управляет датасетами.
19+
- Использует CSS для кастомизации дашбордов.
20+
21+
## BI4 (Senior)
22+
- Моделирует ролевые модели доступов на уровне всего сервиса.
23+
- Создает новые CSS стили визуализации, которые активно используются в дашбордах, созданных другими.
24+
- Умеет изменять кастомные визуализации (плагины).
25+
- Создаёт авто-alert-систему на отклонение ключевых метрик.
26+
27+
## BI5 (Staff)
28+
- Создает кастомные визуализации (плагины).

‎hard_skills/bi_engineer/3. Systematic BI Approach.md‎

Lines changed: 34 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,34 @@
1+
# 3. Systematic BI Approach
2+
3+
Этот трек посвящен системному подходу к развитию BI. Он оценивает способность видеть за рамками одной задачи и создавать дашборды, которые являются частью единой, понятной и управляемой системы. С ростом грейда фокус смещается на продуктовую работу: от анализа статистики использования до планирования развития всей BI-системы.
4+
5+
## BI1 (Junior)
6+
- Знаком с процессом разработки дашбордов и следует им при создании отчетов.
7+
- Знает все основные дашборды компании и команды, в которой работает.
8+
9+
## BI2 (Middle)
10+
- Умеет декомпозировать сложные визуализации на отчеты, которые соответствуют системе.
11+
- Знает большинство отчетов, к которым есть доступ и понимает как этот контент раскладывается в систему.
12+
13+
## BI3 (Middle +)
14+
- Собирает и анализирует статистику использования дашбордов по сегментам пользователей, понимает как собираются эти витрины и как изучать данные об использовании отчетов.
15+
- Помогает смежным командам аналитики создавать дашборды, которые соответствуют системе.
16+
- Понимает, когда задача от стейкхолдера решается другими способами, нежели чем отчетом (рассылка/выгрузка/витрина).
17+
- Независимо разрабатывает дашборды, к которым не возникает претензий и недопониманий с точки зрения качества и удовлетворения системе.
18+
- Регулярно проводит ревью дашбордов на соответствие сертификации.
19+
20+
## BI4 (Senior)
21+
- Самостоятельно проводит качественные интервью с заказчиками дашбордов.
22+
- Изучает эффекты после создания/изменения дашбордов.
23+
- Изменяет дашборды, которые противоречат системе, для достижения системной ценности.
24+
- Знает чем отличаются режимы коллаборации между его/её командой и конкретным департаментом компании, и выбирает наиболее подходящий. (Self-Service / Centralized BI / Center of Excellence).
25+
- Прогнозирует пользу от отчета в момент его обсуждения, эти прогнозы часто совпадают с реальностью после создания отчета.
26+
- Может аргументировано создать методологию оценки своей работы и ценности от различных отчетов.
27+
- Активно участвует в создании и обновлении BI системы, создавая принципы разработки и классификации дашбордов.
28+
- Планирует разработку BI системы на несколько месяцев вперед, используя продуктовый подход.
29+
- Проактивно следит за уровнем качества BI контента (сертификация).
30+
31+
## BI5 (Staff)
32+
- Проактивно находит дашборды, которые противоречат системе и исправляет их, для достижения соответствия.
33+
- Является амбассадором BI системы, для него не составляет проблем быть ее лидером в разных департаментах компании.
34+
- Создает BI сообщества внутри компании, знаю принципы их развития.

‎hard_skills/bi_engineer/4. Data Modeling & Manipulation.md‎

Lines changed: 49 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,49 @@
1+
# 4. Data Modeling & Manipulation
2+
3+
Этот трек охватывает ключевые технические навыки, связанные с подготовкой данных для визуализации. Он включает в себя владение SQL, Python, dbt, понимание принципов работы хранилища данных, а также умение проектировать, создавать и поддерживать эффективные и надежные витрины данных.
4+
5+
## BI1 (Junior)
6+
- Пишет корректные SELECT, JOIN, UNION, GROUP BY; оформляет код читаемо.
7+
- Проверяет запрос EXPLAIN-ом, избегает full scan; исправляет замечания ревьюера.
8+
9+
## BI2 (Middle)
10+
- Использует CTE, оконные функции, массивы ClickHouse, выбирая подходящий тип данных.
11+
- Читает план запроса и переписывает его (фильтры, предагрегация, тип JOIN), получая как минимум двукратное ускорение.
12+
- Умеет настраивать ETL и создавать витрины с помощью Airflow по шаблонам коллег.
13+
- Успешно анализирует проблематику для доработок хранилища.
14+
- Скорость загрузки дашбордов не превышает 15 секунд.
15+
- Создает корректные витрины данных без дублей.
16+
17+
## BI3 (Middle +)
18+
- Проектирует витрины с оптимальным ddl (ORDER BY, типы, партиции).
19+
- Делает peer-review сложных SQL, устраняет N+1 и дубли.
20+
- Использует партиции для обновления данных.
21+
- Понимает разницу и знает когда применять инкрементальное обновление данных или полную перезапись.
22+
- Делает стабильную и быстро загружаемую отчетность, которая не падает и не лагает. Уникальных пользователей с ошибками не должно превышать 10%.
23+
- Знает детали базы данных и умеет оптимизировать сложные запросы различными способами - изменяя структуру хранения, отчетность, или запрос.
24+
- Проактивно вносит исправления в витрины и датасеты, на которых строится отчетность.
25+
- Привлекает владельцев в качестве ревьюера, а не исполнителя, чтобы ускорить решение проблемы.
26+
- Использует dbt.
27+
- Применяет DQ.
28+
- Умеет создавать ETL, начиная с этапа интеграции данных и их очистки.
29+
- Понимает логику ETL, который создают DE.
30+
- Разбирается в чужих скриптах по автоматизации Python.
31+
- Может написать свой скрипт по автоматизации Python, используя шаблоны и примеры.
32+
- Применяет сенсоры в дагах.
33+
- Создает алерты на ошибки в ETL.
34+
35+
## BI4 (Senior)
36+
- Проектирует архитектуру хранения данных сервисов (end-to-end пайплайн под новый аналитический продукт: raw →...→ mart).
37+
- Ведёт пост-мортемы медленных запросов, пишет гайды, организует воркшопы «Advanced SQL».
38+
- Умеет оптимизировать схему хранения данных, используя проекции, индексы и прочие вещи, если понадобится.
39+
- Проактивно следит за потреблением данных отчетами.
40+
- Проектирует ETL, применяя временные таблицы.
41+
- Скорость загрузки дашбордов не превышает 10 секунд.
42+
- Разбирается в API других сервисов (умеет подключаться и работать с API для загрузки данных и манипуляций на самом сервисе).
43+
- Пишет оптимальные скрипты по автоматизации Python (рассылка, автоматизация рутинных задач).
44+
- Оптимизирует чужие скрипты по автоматизации Python.
45+
- Находит и предлагает решения/системные подходы, которые оптимизируют работу с хранилищем. (Например, процесс Мониторинга и исправления аналитических запросов, ограничения по утилизации cpu и памяти, автоматизированные проверки новых sql запросов).
46+
47+
## BI5 (Staff)
48+
- Является экспертом по нескольким бизнес-процессам.
49+
- Предлагает и реализует проекты по моделированию хранилища данных.

0 commit comments

Comments
 (0)