2026
Основы обучения больших языковых моделей
Спецкурс проходит на факультете ВМК в весеннем семестре и посвящен вопросам работы современных больших языковых моделей (LLM).
Курс содержит в себе теоретическую базу, необходимую для понимания того, что происходит, когда мы отправляем свой вопрос в условный ChatGPT, а также ряд практических аспектов, связанных с вопросами инференса, обучения и выравнивания (alignment) LLM. В рамках домашних заданий слушателям курса будет необходимо использовать техники промптинга, дообучать небольшую LLM инструкциям, а также создать вопросно-ответную систему, используя подход Retrieval Augmented Generation (RAG). Отдельная лекция будет посвящена вопросам локального развертывания LLM с использованием фреймворков ollama, vLLM.
Курс содержит в себе теоретическую базу, необходимую для понимания того, что происходит, когда мы отправляем свой вопрос в условный ChatGPT, а также ряд практических аспектов, связанных с вопросами инференса, обучения и выравнивания (alignment) LLM. В рамках домашних заданий слушателям курса будет необходимо использовать техники промптинга, дообучать небольшую LLM инструкциям, а также создать вопросно-ответную систему, используя подход Retrieval Augmented Generation (RAG). Отдельная лекция будет посвящена вопросам локального развертывания LLM с использованием фреймворков ollama, vLLM.
Преподаватели спецкурса
Тихомиров Михаил Михайлович
Кандидат физико-математических наук
Старший научный сотрудник лаборатории анализа информационных ресурсов НИВЦ МГУ
Один из авторов проекта Ruadapt по адаптации больших языковых моделей на русский язык
Старший научный сотрудник лаборатории анализа информационных ресурсов НИВЦ МГУ
Один из авторов проекта Ruadapt по адаптации больших языковых моделей на русский язык
Основные научные интересы: большие языковые модели, графы знаний, обработка естественного языка, информационный поиск
Требования к слушателям
Необходимы базовые знания по python и машинному обучению.
1. История развития больших языковых моделей (LLM/БЯМ)
2. Механизм внимания, архитектура трансформер
3. Представление текста для LLM, токенизация
4. Оценка качества LLM
5. BERT, Sentence BERT,
6. Векторные БД, RAG
7. Промптинг, zero-shot/few-shot
8. Инференс, квантизация
9. Fine-tuning, Alignment, LoRa
10. Данные, continuous pretraining, методы оптимизации обучения
11. Рассуждающие модели
12. MoE, DeepSeek, Qwen3
13. Агентность
14. Альтернативные архитектуры и подходы к языковым моделям: State Space Model, диффузионные LLM.
2. Механизм внимания, архитектура трансформер
3. Представление текста для LLM, токенизация
4. Оценка качества LLM
5. BERT, Sentence BERT,
6. Векторные БД, RAG
7. Промптинг, zero-shot/few-shot
8. Инференс, квантизация
9. Fine-tuning, Alignment, LoRa
10. Данные, continuous pretraining, методы оптимизации обучения
11. Рассуждающие модели
12. MoE, DeepSeek, Qwen3
13. Агентность
14. Альтернативные архитектуры и подходы к языковым моделям: State Space Model, диффузионные LLM.
В процессе прохождения курса студентам будет необходимо выполнять домашние задания, которые будут направлены на: самостоятельный запуск LLM в google colab, промптинг LLM, оценка качества LLM, дообучение LLM инструкциям, реализация вопросно-ответной системы на основе RAG.
Студенты, прослушавшие курс, получат базовые знания в области больших языковых моделей, навыки самостоятельной работы с LLM (в частности дообучения LLM) и понимание основополагающих принципов работы систем на основе LLM.