2025
Анализ неструктурированных данных
Курс рассчитан на студентов 3-4 курсов как практико-ориентированный курс для освоения основ современных технологий искусственного интеллекта.
Из всех видов обработки неструктурированных данных (текстов, изображений и др.) преимущественно рассматриваются задачи анализа текстовых данных. Изучаются инструментальные средства и базовые этапы обработки текстов на естественном языке, а также возможности векторной семантики слов в нейросетевых языковых моделях. Обзорно рассматриваются основные архитектуры нейронных сетей и средства их разработки. Показываются пути применения методов машинного обучения для решения ряда прикладных задач анализа данных.
Теоретический материал доступен в виде презентаций лекций в системе moodle, он подкрепляется практическими семинарскими занятиями и домашними работами.
Доцент кафедры алгоритмических языков ВМК МГУ
Доцент департамента анализа данных и искусственного интеллекта НИУ ВШЭ
Доцент кафедры алгоритмических языков ВМК МГУ
Требования к слушателям
Прохождение курса требует базовых знаний математики и программирования в объеме первых двух курсов ВМК МГУ; знание языка Python3 приветствуется.
- Введение: неструктурированные данные и пути их обработки
- Базовые этапы анализа текста: токенизация и сегментация, морфологический и лексический анализ текста
- Текстовые коллекции и N-граммная языковая модель
- Машинное обучение в задачах классификации и кластеризации текстов
- Нейронные сети для анализа данных: архитектуры и принципы обучения
- Предсказательные (нейросетевые) языковые модели
- Современные прикладные задачи анализа неструктурированныхданных
- Библиотечные средства токенизации, сегментации и лемматизации текстов
- Статистический анализ текстов, N-граммная языковая модель и перплексия
- Распознавание рукописных символов на базе библиотеки Keras (TensorFlow)
- Предсказание элементов текста (символа, слова) на основе рекуррентной нейросети
- Поиск и кластеризация близких по смыслу слов на базе предобученных языковых моделей Word2Vec и FastText, с визуализацией результатов
- регулярные (по очередной теме курса)
- большое задание на 2-4 недели. Составление программы лексического анализа текста (10 вариантов − на выбор, например: анализ сложности текста), с последующей ее доработкой для решения прикладной задачи (например: вычисление индекса читабельности текста)
- изучат базовые этапы анализа текстов на естественном языке и статистические особенности текстовых данных
- получат представление о принципах обучения нейронных сетей, их архитектурах и основных проблемах обучения
- узнают об особенностях нейросетевых языковых моделей и порождаемых ими векторных представлений слов
- получат практический опыт в применении инструментальных средств для обработки неструктурированных данных