Занятие 1.

📄 Материалы. 📝 Записи. 📼 Видео.

Вводное занятие. Обзор практических задач оптимизации.

Занятие 2.

📄 Материалы. 📝 Записи. 📼 Видео.

Матрично-векторное дифференцирование.

Занятие 3.

📄 Материалы. 📝 Записи. 📼 Видео.

Выпуклость. Выпуклые множества. Выпуклые функции.

Занятие 4.

📄 Материалы. 📝 Записи. 📼 Видео.

Сопряженные множества. Сумма Минковского.

Занятие 5.

📄 Материалы. 📝 Записи. 📼 Видео.

Сопряженные функции. Преобразование Лежандра. Сопряженная норма.

Занятие 6.

📄 Материалы. 📝 Записи. 📼 Видео.

Субградиент. Субдифференциал.

Занятие 7.

📄 Материалы. 📝 Записи. 📼 Видео.

Условия оптимальности. Теорема Каруша - Куна - Таккера.

Занятие 8.

📄 Материалы. 📝 Записи. 📼 Видео.

Введение в двойственность. Двойственная функция. Двойственная задача.

Занятие 9.

📄 Материалы. 📝 Записи. 📼 Видео.

Двойственность. Приложения.

Занятие 10.

📄 Материалы. 📝 Записи. 📼 Видео.

Задача линейного программирования 1. Приложения линейного программирования.

Занятие 11.

📄 Материалы. 📝 Записи. 📼 Видео.

Задача линейного программирования 2. Симплекс метод. Приложения линейного программирования.

Занятие 12.

📄 Материалы. 📝 Записи. 📼 Видео.

Практика: работа с библиотекой CVXPY 🐍 code. Практика: оптимизация финансового портфеля на примере реальных данных фондового рынка. 🐍 code

Занятие 13.

📄 Материалы. 📝 Записи. 📼 Видео.

Некоторые сюжеты о двойственности. Подведение итогов.

Занятие 14.

📄 Материалы. 📝 Записи. 📼 Видео.

Классификация и обозначения в задачах оптимизации. Скорость сходимости. Одномерный поиск.

Занятие 15.

📄 Материалы. 📝 Записи. 📼 Видео.

Методы нулевого порядка. Генетические алгоритмы. Метод имитаци отжига. Метод Нелдера - Мида. Оптимизация гиперпараметров модели машинного обучения.

Занятие 16.

📄 Материалы. 📝 Записи. 📼 Видео.

Градиентный спуск. Оценки сходимости. Способы выбора шага. Метод наискорейшего спуска.

Занятие 17.

📄 Материалы. 📝 Записи. 📼 Видео.

Субградиентный спуск. Оценки сходимости. Специфика негладких задач оптимизации. Примеры. Бэктрекинг. Условия Армихо, Вульфа.

Занятие 18.

📄 Материалы. 📝 Записи. 📼 Видео.

Метод проекции субградиента. Некоторые сюжеты о градиентных методах. Приложения градиентных методов.

Занятие 19.

📄 Материалы. 📝 Записи. 📼 Видео.

Введение в метод Ньютона.

Занятия 20-21.

📄 Материалы. 📝 Записи. 📼 Видео 1. 📼 Видео 2.

Метод сопряженных градиентов.

Занятие 22.

📄 Материалы. 📝 Записи. 📼 Видео.

Ускорение градиентных методов - ускоренный метод Нестерова, метод тяжелого шарика. Экспоненциальное взвешивание.

Занятие 23.

📄 Материалы. 📝 Записи. 📼 Видео.

Метод стохастического градиентного спуска. Расписания, адаптивные методы. Применение SGD для обучения нейронных сетей.