Основы обучения больших языковых моделей

Спецкурс проходит на факультете ВМК в весеннем семестре и посвящен вопросам работы современных больших языковых моделей (LLM).
Курс содержит в себе теоретическую базу, необходимую для понимания того, что происходит, когда мы отправляем свой вопрос в условный ChatGPT, а также ряд практических аспектов, связанных с вопросами инференса, обучения и выравнивания (alignment) LLM. В рамках домашних заданий слушателям курса будет необходимо использовать техники промптинга, дообучать небольшую LLM инструкциям, а также создать вопросно-ответную систему, используя подход Retrieval Augmented Generation (RAG). Отдельная лекция будет посвящена вопросам локального развертывания LLM с использованием фреймворков ollama, vLLM.