Python for Data Analysis and Data Engenearing

Спецкурс по анализу данных и highload data engenearing процессам.

Преподватель: Матхеев Николай Васильевич

Дата проведения: осенний семестр 2019

Формат проведения:

1. В канале https://t.me/iu8info будет выложено домашнее задание для прохода на спецкурс
2. Все кто выполнят ДЗ (*) будут допущены до спецкурса
3. Проведение 8 занятий в НОЦ ИБ с периодичностью один раз в две недели

С 2020 года спеукурс является обязательным для прохода на спецкурс "Data Science в ИБ"

О языке Python и зачем он нужен ИБ-шнику

Язык Python – это мощный интерпретируемый язык широкого назначения. Два самых распространённых способа работы с Python:

1. самый верхний язык бизнес-процессов (конкурирует с PHP, Scala, частично с Go)
2. в качестве языка для анализа данных (конкурирует с R).
3. язык быстрого прототипирования и проверки гипотез (скритпты Meterpreter)

В спецкурсе будет кратко рассмотрены оба аспекта языка Python. На примере бизнес-процессов процессинговой системы.

-- TODO Коль, нельзя из Сбера какие-нибудь старые и неактуальные данные взять? (разумеется обезличенные!) -- Наверное это было бы более интересно для безопасников

В качестве задания студентам будет предложено разработать собственную процессинговую систему по крауленгу определённых веб-сайтов, извлечения, упаковки, систематизации информации и разработка простого модуля анализа данных (без Data Science, или с элементарным Data Science).

-- TODO написать про скрипты Meterpreter и т.д. Напиши Даше Щ. и Мариам А. -- они помогут.

Темы спецкурса

-- TODO Коль, предлагаю примерно следующее. Поправь и

1. Язык Python, его преимущества и недостатки. Микросервисная архитектура. Современные Highload системы. Основные инструменты: RabbitMQ/Kafka, MySQL/Postgress, PyCharm, Jupyter. Data Analysis, Data Engenearing, Data Science. Пример на Python.

2. Data Engenearing & Data Science. Подробный разбор DE проекта.

3. Jupyter, Matplotlib и другие красивости

4. [Слипенчук] Основы прикладной статистики. Медиана, мода, среднее. Перцентили. Визуальное представление информации. Априорная и апостериорная вероятности. Принцип Монте-Карло. Частые ошибки при работе со статисчическими данными.

5. Сбор данных. Краулинг. На примере …. …. .

6. RabbitMQ и Kafka

7. SQL

8. …..

Список литературы

Задание для прохода

Будет опубликовано в канале https://t.me/iu8info не позднее -- TODO указать дату.