В результате обучения: Узнаете или повторите архитектуру трансформеров и особенности NLP-домена Научитесь ускорять и деплоить LLM Узнаете, как эффективно тюнить свои модели Освоите фреймворки для решения LLM-задач: RAG, Agents, Tools, Function Calling и др. Научитесь работать с доступными LLM и выбирать модель под проект Курс для тех, кто планирует или уже работает с LLM DL-инженеры с опытом в LLM Закроете пробелы в знаниях, наберетесь советов и улучшите проекты ML/CV-инженеры без опыта в LLM Разберетесь в теории, отточите практику, структурировано и без воды Python-разработчики С нуля познакомитесь с NLP и инструментами для работы с LLM Спойлер: Программа курса: 01. Введение в NLP. Классические подходы и RNN Особенности домена Виды NLP-задач Модели на основе подсчетов Дистрибутивная гипотеза Эмбеддинги Рекуррентные сети Token classification 02. Введение в NLP. Seq2Seq и Трансформеры Seq-to-seq Attention Трансформер BERT Почему трансформеры победили T5 03. Основы LLM. Архитектура трансформера LSTM имплементации Полный трансформер Архитектура GPT Эмбеддинги Attention Нормализации Superposition 04. Основы LLM. Модификации трансформеров Attentions (sliding, streaming, group query) Embeddings (ROPE, ALIBI, NOPE) Knowledge fusion Circuits and W-compositions LLM Surgery 05. Доступные LLMs Обзор основных игроков индустрии Open source LLM и датасеты Открытые бенчмарки и арены Сервисы для сервинга LLM Как выбрать LLM для своей задачи и нужна ли она вообще 06. Prompt Engineering Instruct LLM Что такое промпт и почему это работает, zero shot learning Примеры промптов к разным моделям Промпты в LangChain Форматированный ответ Извлечение ответа из промпта Few Shot learning Борьба с галлюцинацией Tips and tricks Примеры Function calling Защита от инъекций 07. Tools and Agents Function call / Tools Structured output Примеры сценариев LLM Agents ReAct 08. Fine-tuning Управление памятью и точностью вычислений Multi-GPU, Multi-Host training, FSDP/ZeRO Оптимизация и квантизация Легковесные дообучения адаптеров Фреймворки и инструменты 9. Alignment Мотивация: safety, robustness, predictability Обзор подходов: RLHF, RLAIF, Reward Hacking (Overoptimization), DPO, KTO TRL библиотека для дообучения Less Is More for Allignment Источники данных: User feedback, Crowdsourcing, Synthetic 10. RAG Что такое RAG Векторный поиск Векторные БД Полнотекстовый поиск Проблемы поиска Оценка качества Практические советы 11. Деплой Схемы деплоя Фреймворки для инференса: torch.compile, onnx, trtllm, vllm, tgi, lmdeploy Разбор преимуществ фреймворков Техники ускорения инференса Мониторинги 12. Ускорение LLM Flash attention Квантизации bitsandbytes Различные методы квантования Speculative decoding Sparse Matrix multiplication (статьи SpQR и butterfly от Tri Dao) Инициатива LocalLlama (gguf) Архитектурные решения: MoE, medusa, и multitoken prediction 13. Multimodal models Задачи мультимодального домена Метрики CLIP LLaVA Тариф Основы + LLM 9 лекций про LLM 4 лекции основ NPL и LLM 13 практических заданий Проверка заданий от спикеров Семинары со спикерами Поддержка в чате
