2024
Методы интеллектуального анализа данных на языке Python. Практикум
Область Data Mining имеет большое практическое применение. Системы интеллектуального анализа данных представляют собой класс программных систем поддержки принятия решений, задачей которых является поиск скрытых, ранее неизвестных, содержательных и потенциально полезных закономерностей в больших объемах разнородных, сложно структурированных данных.
Для получения качественных моделей необходимо провести множество этапов анализ данных: анализ предметной области, формирование и подготовка данных, формализация решаемой задачи, разработка и применение алгоритма для выявления закономерностей, валидация моделей и представление результатов анализа и применение построенных моделей на новых данных.
В рамках курса, участникам предлагается набор практических заданий в интерактивной среде программирования, нацеленных на работу с современными алгоритмами и методами интеллектуального анализа данных, а также сопровождающие методические материалы для самостоятельного ознакомления. В материалах рассматриваются области решения задач поиска
ассоциативных правил, тематического моделирования, кластеризации, классификации, поиска аномалий и прогнозирования.
В рамках курса рассматриваются транзакционные, табличные, числовые и специализированные данные.
Практические задания нацелены на решение реальных задач анализа данных на языке Python. В курсе рассматриваются процедурные, функциональные и объектно-ориентированные средства языка Python, а также современные пакеты машинного обучения. Также, выполнение заданий позволит участникам проявить умения исследовательской работы: аргументированно выбирать
модели под каждую задачу, предоставлять альтернативные способы формализации и решения задач, объяснять полученные результаты.
Для успешного прохождения курса требуется элементарное умение разработки программ на языке Python, а также знание основ математического анализа и линейной алгебры.
Васильев Юлий Алексеевич
Петровский Михаил Игоревич
Доцент кафедры Интеллектуальных информационных технологий ВМК МГУ
Требования к слушателям
Курс предназначен для студентов кафедры ИИТ 4 курса бакалавриата. Для успешного прохождения курса требуется
элементарное умение разработки программ на языке Python, а также знание основ математического анализа и линейной алгебры.
2. Кластеризация. Необходимо проанализировать набор данных участников баскетбольных матчей, провести кластеризацию и анализ кластеров. Рассматриваются модели иерархической кластеризации, к-средних, а также модели SOM (самоорганизующиеся карты Кохонена).
3. Прогнозирование. kNN и регрессии. Необходимо проанализировать набор данных субъективных оценок сортов вина, спрогнозировать оценку эксперта в зависимости от объективных химических показателей вина и выявить важные признаки. В задании используются методы понижения размерности (метод главных компонент и кластеризация переменных), методы отбора признаков. Рассматриваются модели ближайших соседей, PLS/PCR, а также LARS + LASSO.
4. Поиск аномалий. Необходимо проанализировать набор данных рукописных цифр и на основе методов обучения без учителя построить модель одноклассовой классификации, которая максимально качественно отделит аномалии от основной выборки. Для выполнения задания необходимо настроить целевой алгоритм, а также при необходимости преобразовать и отобрать переменные без использования информации об отклике так, чтобы уменьшить EER (Equal Error Rate) модели из заданного семейства. Рассматриваются модели к-средких и одноклассовый метод опорных векторов.
5. Исследовательское задание. Целью является освоение алгоритмов и методов прогнозирования для решения учебной задачи анализа данных в условиях, близких к реальным условиям, возникающим при решении прикладных задач анализа данных. В рамках задания необходимо проанализировать набор данных банковских вкладов, построить модель прогнозирования для бинарной переменной и достичь заданного качества на тестовом наборе (целевая переменная скрыта, оценка качества на тестовом наборе будет проводиться проверяющим).
практике многие из них