Этот репозиторий содержит материалы для курса по эффективному глубокому обучению. Курс предназначен для бакалавров и магистров и может быть зачтен как дисциплина по выбору.
На курсе вы сможете узнать:
- Какими способами можно сжимать модельки
- Как автоматически находить архитектуры
- Как работать с не самыми стандартными доменами данных
- Об особенностях современных генеративных моделей
Курс "Эффективное глубокое обучение" охватывает основные концепции и методы глубокого обучения, а также рассматривает современные подходы и техники для повышения эффективности моделей. Курс включает в себя теоретические лекции, практические задания и проекты.
- Время: пятница 10:30-12:05
- Аудитория: 507 (ВМК / 2ГУМ)
- Начало: 20 сен 2024
В курсе планируются два домашних задания:
- Методы сжатия нейронных сетей
- Работа с нетипичными для глубокого обучения данными
За каждое домашнее задание можно получить зачет или незачет. Если зачтены оба домашних задания, то за курс ставится оценка "отлично". Если одно, то оценка "хорошо". В остальных случаях курс не считается сданным.
Записи занятий на YouTube в плейлисте.
| № | Дата | Занятие | Материалы |
|---|---|---|---|
| 1 | 20.09.2024 | Дистилляция знаний | Презентация Ноутбук |
| 2 | 04.10.2024 | Квантизация и спарсификация | Презентация Ноутбук |
| 3 | 11.10.2024 | PEFT & NAS | Презентация Ноутбук |
| 4 | 18.10.2024 | Временные ряды | Конспект Ноутбук |
| 5 | 26.10.2024 | Рекомендательные системы | Слайды Конспект |
| 6 | 01.11.2024 | Текстовый поиск. RAG | Слайды Ноутбук |
| 7 | 08.11.2024 | Обработка графов, графовые нейронные сети | Слайды Пример работы с DGL |
| 8 | 15.11.2024 | Табличный DL | - |
| 9 | 22.11.2024 | Диффузионные модели, дискретное и непрерывное время | Слайды |
| 10 | 29.11.2024 | Единое представление диффузии. Солверы ОДУ/СДУ | Слайды Ноутбук |
| 11 | 06.12.2024 | Stable diffusion. Применение диффузии в качестве функции потерь | Слайды |
Для успешного прохождения курса рекомендуется
- Иметь базовые знания в области программирования на Python и PyTorch
- Иметь представление о глубоком обучении (backpropagation, gradient optimization etc)
- Быть знакомым с устройством полносвязных, свёрточных, рекуррентных сетей и трансформеров
Если у вас есть вопросы или предложения, пожалуйста, свяжитесь с нами в тг: @TrandeLik, @voorhs, @welmud
