2025
Нейробайесовские модели
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для разреживания современных нейросетевых дискриминативных моделей; о байесовской интерпретации современных методов регуляризации нейронных сетей; о построения генеративных моделей с помощью вариационного вывода и стохастических дифференциальных уравнений.
Также в курсе будут обсуждаться некоторые открытые проблемы глубинного обучения.
Преподаватели спецкурса
Аланов Айбек
к.ф.м.н., преподаватель кафедры ММП ВМК МГУ
Научные интересы: глубинное обучение, компьютерное зрение, генеративные модели
Елистратов Семен Юрьевич
математик кафедры ММП ВМК МГУ
Основные научные интересы: методы оптимизации в глубинном обучении, свойства ландшафта функции потерь нейронных сетей, архитектуры нейронных сетей для задач с длинным контекстом
Чимбулатов Егор Феликсович
Магистрант кафедры математических методов прогнозирования
Основные научные интересы: генеративные модели, диффузионные модели в генерации текстов
Оганов Александр Артурович
Магистрант кафедры математических методов прогнозирования
Основные научные интересы: диффузионные модели, методы ускорения генерации для моделей диффузии, генеративные потоковые нейронные сети
Требования к слушателям
Курс рассчитан на студентов бакалавриата и магистратуры, имеющих знания в области линейной алгебры, теории
вероятностей и математической статистики, владеющих основами программирования и машинного обучения.
- Стохастический вариационный вывод (SVI)
- Дважды стохастический вариационный вывод
- Байесовские нейронные сети
- Вариационный автокодировщик, нормализующие потоки для вариационного вывода
- Методы снижения дисперсии в моделях со скрытыми переменными
- Открытые проблемы глубинного обучения и свойства ландшафта функции потерь
- Диффузионные модели I & II
- Нейросетевые методы MCMC
В рамках курса предполагается выполнение четырех практических заданий на следующие темы:
- Разреживающий вариационный дропаут
- Нормализующие потоки
- Вариационный автокодировщик
- Диффузионные модели
Студенты, прослушавшие курс, узнают о различных вариациях методов байесовского вывода; научатся анализировать теоретические свойства рассматриваемых алгоритмов машинного обучения; получат опыт работы с современными явными и полунеявными генеративными моделями; обучатся масштабированию вероятностных методов обработки данных; успешно применят байесовский подход для сжатия нейронных сетей; изучат эвристики для ускорения работы нейробайесовских алгоритмов и для снижения дисперсии стохастических градиентов; получат представление об основах теории стохастических дифференциальных уравнений и о том как их можно применять в глубинном обучении.