2024
Байесовские методы
в машинном обучении
Изучение дисциплины нацелено на освоение т. н. байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределенности. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности.
В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Целью курса также является освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения. Байесовский подход позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза.
Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр.
Профессор-исследователь факультета компьютерных наук НИУ ВШЭ
Заведующий центром глубинного обучения и байесовских методов НИУ ВШЭ
Требования к слушателям
Курс расчитан на студентов бакалавриата и магистратуры, имеющих знания в области линейной алгебры, теории вероятностей и математической статистики, владеющих основами программирования и машинного обучения
2. Байесовский выбор модели. Принцип наибольшей обоснованности. Интерпретация понятия обоснованности, ее геометрический смысл, иллюстративные примеры, связь с принципом Оккама.
3. Модель релевантных векторов для задачи регрессии. Модель релевантных векторов для задачи классификации. Обобщенные линейные модели, вероятностная модель линейной регрессии. Метод релевантных векторов, вывод формул для регрессии. Свойства решающего правила. Матричные вычисления и нормальное распределение. Логистическая и мультиномиальная регрессия. Метод релевантных векторов для задачи классификации. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки.
4. ЕМ-алгоритм EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем. ЕМ-алгоритм для задачи разделения смеси нормальных распределений. Байесовский метод главных компонент.
5. Вариационный подход Приближенные методы байесовского вывода. Минимизация дивергенции Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для вариационной смеси нормальных распределений.
6. Методы Монте Карло по схеме марковских цепей (МСМС). Стохастические методы МСМС Методы генерации выборки из одномерных распределений. Методы MCMC для оценки статистик вероятностных распределений. Теоретические свойства марковских цепей. Схема Метрополиса-Хастингса и схема Гиббса. Примеры использования. Продвинутые методы самплирования, использующие градиент лог-правдоподобия. Динамика Гамильтона и Ланжевена. Масштабируемые обобщения этих методов
7. Гауссовские процессы для регрессии и классификации Гауссовские случайные процессы. Выбор наиболее адекватной ковариационной функции
8. Тематическая модель Latent Dirichlet Allocation (LDA) Обучение и вывод в модели LDA с помощью вариационного подхода. Вывод в модели LDA с помощью схемы Гиббса. Способы использования LDA.
9. Стохастический вариационный вывод. Вариационный автокодировщик Схема масштабируемого вариационного вывода. Дважды стохастическая процедура настройки байесовских нейросетевых моделей на примере модели нелинейного понижения размерности.
Каждая лекция сопровождается семинаром, на котором с помощью Питон-ноутбука рассматривается какой-то практический аспект этой задачи.
По каждой теме также дается домашнее практическое задание, предполагающее написание программы с автоматической проверкой, набором тестов, отдельные конкурсные задания и наборы тестов.