Занятие 1.
📄 Материалы. 📝 Записи. ▶️ YouTube
Вводное занятие. Обзор практических задач оптимизации. Повторение основ линейной алгебры.
Занятие 2.
📄 Материалы. 📝 Записи. ▶️ YouTube
Матрично-векторное дифференцирование. Градиент. Гессиан.
Занятие 3.
📄 Материалы. 📝 Записи. ▶️ YouTube
Подсчет гессианов. Идея автоматического дифференцирования.
Занятие 4.
📄 Материалы. 📝 Записи. ▶️ YouTube
Выпуклость. Выпуклые множества.
Занятие 5.
📄 Материалы. 📝 Записи. ▶️ YouTube
Выпуклые функции. Сильно выпуклые функции. Условия оптимальности.
Занятие 6.
📄 Материалы. 📝 Записи. ▶️ YouTube
Условия оптимальности. Оптимизация финансового портфолио. Решение линейной системы как задача оптимизации.
Занятие 7.
Градиентный спуск и его окрестности.
Занятие 8.
Ускоренный градиентный спуск и его окрестности.
🛸: Дополнительные материалы.
Занятие 9.
Методы проекции градиента. Метод условного градиента.
Занятие 10.
Задачи с ограничениями простой структуры. Задачи с афинными ограничениями.
🛸: В этой книге в главе 1 можно прочитать про SGD для случая евклидовой нормы. Для неевклидовой нормы стоит смотреть, например, сюда.
Занятие 11.
Квазиньютоновские методы.
Занятие 12.
Занятия 13-14.
🤖 Ноутбук. 🤖 Ноутбук. ▶️ YouTube
Приложения: PCA, SVM, Повторение условий оптимальности.
Занятия 15-16.
🤖 Ноутбук. 🤖 Ноутбук. 🤖 Ноутбук. 🤖 Ноутбук. 📜 Записи 1. 📜 Записи 2. ▶️ YouTube
Приложения: SVM, линейное программирование, оптимальный транспорт.
Занятиe 17.
🤖 Стохастические градиентные методы. 🤖 Задачи оптимизации в нейронных сетях. 🤖 Поверхность функции потерь нейронной сети ▶️ YouTube
Применение стохастических градиентных методов для обучения нейронных сетей. Батчи, эпохи, расписания. Другие задачи оптимизации, связанные с нейронными сетями.