Фундаментальные концепции ИИ 2024

Страница курса "ФКИИ" IT магистратур МАИ.

Автор 😀: Вадим Кондаратцев

• 📧 vadim@mai-ai-lab.ru
• tg: @Winer_Hopf

Время занятий 🕧

• 18:15 - 21:30 понедельник

Место проведения занятий:airplane:

• МАИ, ГУК А, IT этаж, IT-5

Формат зачета:mortar_board:

• Экзамен или зачет с оценкой на основе выполенных лабораторных работ + экзаменационный билет с теорией.

Вопросы к экзамену:page_facing_up:

• I семестр: теория

---

Полезные ссылки и материалы

• Облако с учебниками, книжками и презентациями
• Хендбук Яндекс Академии по ML
• ML Mindmap
• paperswithcode.com
• Курс по ML от ODS
• Курс по DL от MIT

---

Лекции

1. Введение в ИИ и машинное обучени
   1. Что есть ИИ, в чеи отличие AI, ML, DL
   2. Что такое биологические модели нейронов и зачем они нужны
   3. Какие есть основные источники для изучения машинного обучения
   4. Формальная постановка задачи машинного обучения
   5. Материалы
      1. Презентация с лекции
      2. Статья про проблемы современного машинного обучения
2. Введение в оптимизацию. Градиентный спуск
   1. Таксономия разделов теории оптимизации
   2. Градиентный спуск
   3. Стохастический градиентный спуск
   4. Моментные модицикации
   5. Адаптивные модификации
   6. Управление темпом обучения
   7. Проблемы сорвеменного машинного обучения с точки зрения оптимизации
   8. Материалы
      1. презентация с лекции
      2. Статья про проблемы современного машинного обучения (оптимизация)
      3. Про методы оптимизации в Я.Хендбуке
      4. Про модификации градиентного спуска на хабре
      5. Условие Каруша-Куна-Таккера
3. Метаэвристическая глобальная оптимизация.
   1. Глобальная оптимизация и эвристики
   2. Генетические алгоритмы
   3. Устройство фреймворка pygmo

---

Лабораторные работы

1. Градиентный спуск и его модификации
   • Выбрать тестовые функции оптимизации (2 шт)
   • Запрограммировать собственнуб реализацию классического градиентного спуска
   • Запрограммировать пайлайн тестирования алгоритма оптимизации
     • Визуализации функции и точки оптимума
     • Вычисление погрешности найденного решения в сравнение с аналитическим для нескольких запусков
     • Визуализации точки найденного решения (можно добавить анимацию на плюс балл)
   • Запрограммировать метод вычисления градиента
     • Передача функции градиента от пользователя
     • Символьное вычисление градиента (например с помощью sympy) (на доп балл)
     • Численная аппроксимация градиента (на доп балл)
   • Запрограммировать одну моментную модификацию и протестировать ее
   • Запрограммировать одну адаптивную модификацию и протестировать ее
   • Запрограммировать метод эфолюции темпа обучения и/или метод выбора начального приближения и протестировать их
   • Will be unclocked afetr Lecture №5
2. Глобальная оптимизация и метаэврестические алгоритмы
   1. В Pygmo запрогроммировать две своих тестовых функции и найти их оптимум 3 разными алгоритмами доступными в библиотеке и получить таблицу сравнения