2024
Интеллектуальные методы
обработки видео
В основной части курса рассматриваются задачи обработки видео (повышение разрешения, обнаружение смен сцен, удаление нежелательных объектов, замена фона, моделирование внимания зрителя).
Для каждой из задач помимо традиционных подходов к решению рассматриваются современные подходы на основе нейронных сетей.
Помимо этого в курсе рассматриваются новые форматы видео и изображений: стереоскопический, пленоптический и 360/VR. В частности, затрагиваются вопросы получения, оценки качества и обработки контента этих типов.
Преподаватели спецкурса
Ватолин Дмитрий Сергеевич
Кандидат физико-математических наук
Старший научный сотрудник, заведующей лабораторией компьютерной графики и мультимедиа, ВМК
МГУ
Старший научный сотрудник, заведующей лабораторией компьютерной графики и мультимедиа, ВМК
МГУ
Основные научные интересы: Video Compression, Video Processing, Stereo Processing, 3D Video, Video Quality
Ерофеев Михаил Викторович
Требования к слушателям
Знание математического анализа и линейной алгебры в объеме первого курса технического факультета. Базовое знание языка программирования Python.
1. Фото и видео контент. Задача сжатия контента, компенсации движения. Устройство видеокодека.
2. Обработка видео. Определение смены сцен.
3. 3D видео, особенности формата. Прошлое, настоящее и будущее.
4. Задачи низкоуровневой обработки. Деинтерлейсинг и super-resolution.
5. Нейросети в обработке видео. Маттирование, салиентность, оптический поток.
6. Оценка качества изображений и видео. Объективные и субъективные способы оценки, их особенности.
7. VR180/360 видео.
8. Пленоптика. Вычислительная фотография и видео.
9. Video Super Resolution. Современные алгоритмы повышение разрешения в видео.
2. Обработка видео. Определение смены сцен.
3. 3D видео, особенности формата. Прошлое, настоящее и будущее.
4. Задачи низкоуровневой обработки. Деинтерлейсинг и super-resolution.
5. Нейросети в обработке видео. Маттирование, салиентность, оптический поток.
6. Оценка качества изображений и видео. Объективные и субъективные способы оценки, их особенности.
7. VR180/360 видео.
8. Пленоптика. Вычислительная фотография и видео.
9. Video Super Resolution. Современные алгоритмы повышение разрешения в видео.
Курс содержит три практических задания цель которых познакомить слушателя с основными способами обработки и анализа видео-контента.
В первом задании слушателям предлагается реализовать алгоритм обнаружения смен сцен в видео.
Второе задание заключается в разработке и обучении нейросетевого алгоритма для решения задачи деинтерлейсинга.
Третье задание призвано познакомить слушателя с базовыми концептами обработки световых полей.
В первом задании слушателям предлагается реализовать алгоритм обнаружения смен сцен в видео.
Второе задание заключается в разработке и обучении нейросетевого алгоритма для решения задачи деинтерлейсинга.
Третье задание призвано познакомить слушателя с базовыми концептами обработки световых полей.
Изучат основные подходы обработки видео-контента, приобретут навыки создания алгоритмов обработки видео, применения методов машинного и глубокого обучения для его обработки.