Запись [OTUS] LLM Driven Development. Разработка и эксплуатация AI: полный курс для профессионалов

​

Для кого этот курс?
Этот курс для вас, если вы хотите внедрить AI на основе LLM в свой проект или сервис, но не знаете, как это сделать.

• Python-разработчики, желающие выйти за рамки классического программирования и освоить прикладное AI
• DevOps-инженеры, которым важно понять, как разворачивать и поддерживать крупные AI-системы
• Data-инженеры, аналитики данных и специалисты по Data Science, стремящиеся глубже интегрировать языковые модели в пайплайны и сервисы

Необходимые знания

• Желательно базовое знание Python. Многие темы курса на курсе не требуют знания языков программирования, но отдельные примеры работы будут именно на Python

Что даст вам этот курс
Курс охватывает полный цикл разработки и внедрения больших языковых моделей — от основ архитектуры AI и подготовки данных до тонкостей MLOps, мониторинга и оптимизации. Программа основана на реальных кейсах и инструментах, которые уже сейчас востребованы в индустрии.

На курсе вы

• Изучите фундаментальные принципы AI-архитектуры и трансформеров
• Освоите практики LLMOps: от развёртывания и автоматизации до мониторинга и обновления крупных моделей
• Разберётесь в токенизации, контекстных окнах и научитесь эффективно управлять памятью для больших LLM
• Освоите фреймворки для интеграции LLM (LangChain, LlamaIndex, vllm и другие) и научитесь работать с мультиагентными системами
• Научитесь применять retrieval-augmented generation (RAG) вместе с векторными базами данных и внедрять AI-функциональность в классические backend-проекты
• Поймёте, как проводить fine-tuning и оптимизацию LLM, включая вызов внешних функций
• Узнаете о когнитивных архитектурах, принципах мультимодальных моделей и методах тестирования AI-решений

После курса вы будете готовы внедрять LLM-сервисы в реальные продукты: разрабатывать, тестировать, поддерживать и оптимизировать AI-приложения на продвинутом уровне.

Программа

Архитектура трансформеров

В этом модуле вы научитесь анализировать архитектурные ограничения RNN и преимущества self-attention, объяснять механику трансформеров и интерпретировать работу attention-слоёв.

Тема 1: Базовые принципы трансформеров (от RNN к Self-Attention)

Тема 2: Token Embedding, позиционные вектора и QKV

Тема 3: Визуализация Attention и эволюция (BERT, GPT, T5) // ДЗ

Введение в AI Engineering
В этом модуле вы освоите выбор и адаптацию русскоязычных LLM под прикладные задачи. А также рассмотрите LLM-пайплайны и применение инженерных практик в работе с моделями.

Тема 1: Эволюция AI и фундаментальные модели (ChatGPT, Mistral, Llama, Deepseek)

Тема 2: Подходы к локализации (SberGPT, YandexLLM, ruGPT-3)

Тема 3: Работа с данными в Python и подготовка данных для LLM // ДЗ

Основы LLMOps
В этом модуле вы научитесь настраивать мониторинг и отслеживание работы LLM, использовать соответствующие инструменты и интегрировать модели в CI/CD-процессы для обеспечения надёжной и стабильной эксплуатации.

Тема 1: Принципы LLMOps, автоматизация развертывания

Тема 2: Оптимизация и поддержка LLM

Тема 3: CI/CD для LLM и инструменты (Triton, MLflow, vLLM) // ДЗ

Оценка, токенизация и контекст
В этом модуле вы овладеете методами оценки качества генерации, применением метрик и управлением длиной контекста и token streaming.

Тема 1: Специализированные бенчмарки и метрики (GLUE, SQuAD и др.) // ДЗ

Тема 2: Токенизация, контекстные окна, test time scaling

Интеграция и практика
В этом модуле вы научитесь конструировать и защищать промпты, реализовывать Retrieval-Augmented Generation и интегрировать LLM через API и middleware.

Тема 1: Работа с фреймворками и агентами (LangChain, LlamaIndex, Ollama, Haystack) // ДЗ

Тема 2: Мониторинг моделей с LangChain Observability, LangSmith, Langfuse

Тема 3: Векторные БД и Retrieval Augmented Generation (Pinecone, Chroma, Milvus, Clickhouse) // ДЗ

Тема 4: Промпт-инжиниринг (Chain-of-thought, защита от некорректных промптов)

Разработка и оптимизация LLM
В этом модуле вы изучите, как дообучать и оптимизировать LLM, расширяя их функциональность через Fine-tuning, вызов внешних функций, локальный запуск и извлечение информации из текста.

Тема 1: Fine-tuning (LoRA, PEFT) и вызов внешних функций из LLM // ДЗ

Тема 2: Локальное использование LLM (CPU/GPU), оптимизация

Тема 3: Извлечение данных из текста (NER, IE), разработка приложений // ДЗ

Тема 4: Автоматизация тестирования LLM, CI/CD жизненного цикла // ДЗ

Когнитивные архитектуры и RAG
В этом модуле вы научитесь строить когнитивные системы на базе Retrieval-Augmented Generation (RAG), проектировать архитектуры AI-приложений с учётом профилирования производительности и обеспечением надёжности, а также оптимизировать отклик и мониторинг.

Тема 1: Основы RAG, онтологические графы, LangGraph

Тема 2: Проектирование когнитивных архитектур (QA, чат-боты, документооборот)

Тема 3: Архитектуры AI-приложений, профилирование inference

Тема 4: Тестирование AI-приложений (мониторинг, оптимизация задержек)

Продвинутые архитектуры и паттерны
В этом модуле вы изучите современные подходы к построению эффективных и масштабируемых LLM-систем: от сжатия и оптимизации моделей до внедрения мультимодальности и реализации семантического поиска.

Тема 1: Сжатие моделей: квантование (GGUF, AWQ), дистилляция, pruning

Тема 2: Семантический поиск и мультимодальность (текст + изображение/аудио) // ДЗ

Тема 3: Продвинутое обучение (contrastive fine-tuning, in-context learning), интерпретируемость (SHAP, LIME)

Проектная работа
Заключительный месяц курса посвящен проектной работе. Проект – это самая интересная часть обучения. Вы будете разрабатывать его на основе полученных на курсе навыков и компетенций. В процессе работы над проектом можно получить консультацию преподавателей.

Тема 1: Выбор темы и организация проектной работы // Проект

Тема 2: Консультация по проектам и домашним заданиям

Тема 3: Защита проектных работ

Тема 4: Подведение итогов курса