2024
Нейробайесовские модели
Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для разреживания современных нейросетевых дискриминативных моделей; о байесовской интерпретации современных методов регуляризации нейронных сетей; о построения генеративных моделей с помощью вариационного вывода и стохастических дифференциальных уравнений.
Также в курсе будут обсуждаться некоторые открытые проблемы глубинного обучения.
Преподаватели спецкурса
Бадмаев Тингир Мингиянович
Южаков Тимофей Алексеевич
Мещанинов Вячеслав Павлович
Требования к слушателям
Курс рассчитан на студентов бакалавриата и магистратуры, имеющих знания в области линейной алгебры, теории
вероятностей и математической статистики, владеющих основами программирования и машинного обучения.
- Стохастический вариационный вывод
- Дважды-стохастический вариационный вывод
- Байесовские дискриминативные нейронные сети
- Вариационный автокодировщик
- Диффузионные модели
- Нейросетевые методы МСМС
В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Разреживающий вариационный дропаут, нормадизационные потоки, вариационный автокодировщик, диффузионные модели.
Студенты, прослушавшие курс, узнают о различных вариациях методов байесовского вывода; научатся анализировать теоретические свойства рассматриваемых алгоритмов машинного обучения; получат опыт работыс явными и полунеявными генеративными моделями; обучатся масштабированию вероятностных методов обработки данных; успешно применят байесовский подход для сжатия нейронных сетей; изучат эвристики для ускорения работы нейробайесовских алгоритмов и для снижения дисперсии стохастических градиентов; получат представление об основах теории стохастических дифференциальных уравнений и о том как их можно применять в глубинном обучении.