Изучаем самые актуальные технологии и архитектуры, связанные с LLM и трансформерными моделями, которые стали стандартом в области работы с текстом. Генеративные LLM, такие как ChatGPT и GPT4 позволяют решать огромное множество задач на высоком уровне. На рынке IT есть потребность в специалистах, которые владеют технологиями работы с этими моделями на уровне архитектуры и умеют адаптировать их для своих бизнес-задач. Для кого этот курс Этот курс для тех, кто хочет за минимальный срок на высоком уровне освоить самые продвинутые методы LLM и сразу начать применять их на практике. Практикующие DS специалисты, которые хотят получить углубленные знания по трансформерным моделям и научиться работать с LLM на высоком уровне; Выпускники курсов Machine Learning. Professional, Machine Learning. Advanced, NLP / Natural Language Processing, которые хотят освоить самые передовые методы работы с LLM; ИТ-специалисты, которым на работе приходиться работать с текстовыми данными и внедрять методы работы с трансформерными моделями и LLM. Необходимые знания Базовая высшая математика: умение работать с матрицами и векторами, базовое знание математической статистики, теории вероятности и мат. анализа; Методы классического ML, умение работать с классическими ML моделями; Основы Deep Learning, базовое представление о pytorch; Программирование на Python для машинного обучения. Что даст вам этот курс Вы научитесь Работать с LLM (большими языковыми моделями) на высоком уровне; Самым передовым методам работы с LLM и трансформерными моделями; Применять самые продвинутые архитектуры и адаптировать их под широкий круг бизнес-задач; Дообучать языковые модели под свои задачи; Поднимать модели в телеграм-боте. Программа Базовые понятия трансформерных моделей В данном модуле вы познакомитесь с фундаментальным понятием NLP и трансформерных моделей. Рассмотрите архитектуру трансформера, механизм внимания и применение трансформеров в задачах машинного перевода и языкового моделирования. Тема 1: Задача языкового моделирования и понятие языковой модели Тема 2: Архитектура трансформер и задача машинного перевода // ДЗ Тема 3: BERT и другие трансформерные энкодеры // ДЗ Тема 4: GPT и другие декодерные модели для генерации текста Тема 5: Seq2seq модели. Дообучение трансформеров на практическом примере // ДЗ Тема 6: Методы за ChatGPT + Q&A сессия Новая эра LLM: базовые методы В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга. Тема 1: Современные LLM и оптимизация архитектуры Тема 2: Практическое занятие: теория промптинга LLM // ДЗ Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ Тема 5: Мультиязычные трансформеры Тема 6: Работа с длинным контекстом Тема 7: Q&A сессия и дискуссионный клуб Продвинутые методы работы с LLM В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга. Тема 1: Современные LLM и оптимизация архитектуры Тема 2: Практическое занятие: теория промптинга LLM // ДЗ Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ Тема 5: Мультиязычные трансформеры Тема 6: Работа с длинным контекстом Тема 7: Q&A сессия и дискуссионный клуб Доп. главы работы с LLM В данном модуле вы узнаете о дополнительных аспектах работы с LLM, которые выходят за рамки стандартной программы. Тема 1: Оценка LLM Тема 2: Распределенное обучение Тема 3: Практическое занятие: интеграция LLM в тг-бота // ДЗ Тема 4: Q&A сессия и дискуссионный клуб Трансформеры для других модальностей В данном модуле вы ознакомитесь с применением трансформеров в мультимодальных задачах. Тема 1: Мультимодальные и Vision трансформеры Тема 2: Практическое занятие по работе с мультимодальными моделями Тема 3: Введение в AI агентов // ДЗ Тема 4: Трансформеры для временных рядов Тема 5: Трансформеры для табличных данных Тема 6: Q&A сессия и дискуссионный клуб Тема 7: Собеседование. Как подготовиться и что нужно знать Проектная работа Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе. Тема 1: Выбор темы и организация проектной работы Тема 2: Консультация по проектам и домашним заданиям Тема 3: Защита проектных работ Тема 4: Подведение итогов курса Преподаватели Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания Мария Тихонова, Алексей Клочков, Раиль Сулейманов, Александр Брут-Бруляко, Дмитрий Гайнуллин, Андрей Носов, Никита Овчинников
