Запись [Stepik] Анализ данных Python: с 0 до уверенного бизнес-пользователя (Никита Сергеев)

​

Предмет данного курса - простой, лаконичный, удобочитаемый и кроссплатформенный язык программирования Python. Он используется в разработке веб-приложений, анализе данных, искусственном интеллекте, автоматизации, кибербезопасности и многих других областях - и наша область его применения в данном курсе это анализ данных

В вакансиях технических компаний за последние 3 года Python входит в ТОП-1 требуемых технических навыков в области Data Science и Аналитика Данных

Этот курс - это способ максимально быстро ознакомиться с возможностями Python с точки зрения аналитика (бизнес-пользователя). Он спроектирован так, чтобы в самый короткий строк и без излишеств сделать из новичка уверенного бизнес-пользователя основных возможностей Python для анализа данных

Освещенных в курсе возможностей Python достаточно для решения основных бизнес-задач по извлечению, преобразованию\подготовке, визуализации и анализу данных данных. Обучение заточено не просто на заучивание команд и синтаксиса Python, а и на то, чтобы научить "думать на Python" (т.е., сформировать понимание логики его работы и логики разных конкретных библиотек).

Курс сфокусирован не только и не столько на демонстрацию экрана с кодом в ~200 лекциях, а на практическое освоение языка. Поэтому он насыщен практическими заданиями (более 170 ЗАДАНИЙ!), которые не только отлично прорабатывают лекционный материал, а формируют прикладные навыки использования Python

Курс от профессионала в анализе данных: владеющего навыками от обработки данных в MS Excel (вкл. надстройки семейства Power) и статанализа с предиктивной аналитикой в спецпрограммах (SPSS, JASP, Statistica...) - и до языков и методов Data Science применяемых в разработке систем "искусственного интеллекта" (Python, R).

Создатель курса - автор популярной бизнес -литературы (доступна в крупнейших магазинах: Amazon, Ozon, ЛитРес, Ridero...). В частности, автор одного из русскоязычных бестселлеров в категории "Анализ данных" - книги "Аналитика и Data Science для не-аналитиков и даже 100% гуманитариев", а также одной из первых книг отечественных авторов по работе с компонентом ETL Power Query для Excel и Power BI "Power Query: учебное руководство";

Невзирая на массу современных инструментов визуальных инструментов подключения и извлечения данных из баз - Python популярен не только в среде ИТшников, а и обычных бизнес-пользователей (в первую очередь аналитиков). Это как раз тот навык, потраченное на изучение которого время отличная инвестиция!

Курс не заточен под конкретную предметную область (учет, коммерция, розница, маркетинг, закупки, проекты, кадры, медицина, строительство и т.д.): он формирует чистое понимание, знания и навыки Python для анализа данных - и с этими знаниями Вы, как эксперт в своей собственной предметной области (отрасли, дисциплине, сфере, функции...), сможете легко их применить для решения именно Ваших прикладных задач

Обратите внимание, что курс именно о языке Python для бизнес-пользователей и только под задачи анализа данных: а поэтому в нем НЕ БУДЕТ разбора (а если где-то вдруг будет, то поверхностный минимум достаточного для целей данного курса и без углубления в тему) использование его в таких направлениях, к примеру:

• Web-разработка
• GUI-разработка
• разработка ПО
• ООП (объектно-ориентированного программирования) и понятия классов, связанных с ними объектов, разбора полиморфизма, наследования, абстракции, инкапсуляции
• Статистика и теория вероятности
• и т.д.

Чему вы научитесь

• Основы Python, типов данных и вычислений
• ETL (извлечение, преобразования\подготовка\вычисления и загрузка данных) - Pandas
• Визуализация данных (на основе Pandas под капотом которого Matplot + немного Seaborn и чуточку Plotly)
• Описательные статистики (Pandas)
• Сравнение групп (тесты и проверка гипотез) - Pingouin
• Поиск скрытых связей между переменными - Pingouin
• Классификация объектов, предсказание их принадлежности к определенной группе sklearn
• Анализ временных рядов и прогнозирование будущих трендов - statsmodels.TSA

Для кого этот курс

• Планирующим двигаться в ИТ: будущим программистам, тестировщикам, data science-специалистам...
• Профессионалам любых специальностей (обычным бизнес-пользователям), интересующихся темой анализа данных
• Аналитикам данных любой области \ отрасли

Начальные требования

• Базовое умение устанавливать приложения\ПО на свой ПК следуя инструкциям - для прохождения курса нужно будет установить Anaconda\Jupiter Lab (или как альтернатива уметь самостоятельно пользоваться онлайн инструментами совместимыми с Python)
  
  
• Около5 Гб свободного места на ПК для установки рабочей среды (бесплатной)
  
  
• Навыки базовых операций с файлами в офисных приложениях: умение открывать, сохранять, удалять, переименовывать, копировать\вставлять, вырезать и т.д.
  
  
• Понимание базовых математических операций, правил учета скобок; желательно еще основы текстовых операций, а также работы с датами. Понимание структуры\элементов таблицы (строки, столбцы, различать заголовки столбцов и значения на пересечении строк и столбцов). В идеале ориентировочное знание\понимание табличных вычислений (по столбцу целиком) и преобразований (транспонирование, отмена свертывания\мельтинг, join'ы и union'ы....)
  
  
• Никакой специализированной предварительной подготовки в плане основ программирования или теории вероятности с матстатистикой от студента не требуется - курс реально "с нуля". Важно только желание освоить Python для анализа данных.
  
  
• Желательно понимание структуры файлов\источников данных с которыми Вы работаете на практике (например, что книга Excel содержит внутри Листы; а XML-файл имеет узлы; а SQL база состоит из схем; и т.д.)
  
  
• Желательно знание что такое таблицы и диаграммы (визуализации), и умение их "читать" (как минимум базовые: столбиковые, круговые, графики\линии, точечные)

Спойлер: Программа курса

Введение

1. Пару слов о курсе
2. Просто зашли поинтересоваться?
3. Как мы будем учиться

Знакомство с основами Python, его синтаксисом и мат. логикой

1. О языке Python
2. Популярные рабочие среды для Python
3. Знакомство с Jupyter Labs
4. Работа ячеек и ядра в Jupiter Labs
5. Нумерация и извлечение элементов в Python
6. Основы и особенности написания и оформления кода: синтаксис
7. Типы данных
8. Переменные
9. Динамическая типизация
10. Числовой калькулятор
11. Текстовые вычисления
12. А как дела с датами?
13. Мидквэл-лекция о модулях
14. Операторы сравнения
15. Логические операторы: and, or, not
16. Оператор принадлежности: in \ not in
17. Условные вычисления: if
18. Функции: def
19. Не о Half-Life: lambda-выражения
20. Итоги знакомства: что из этих основ может пригодиться в анализе

Углубление в основы: основные управляющие потоком конструкции

1. Что это за инструкции\конструкции
2. Условное принятие решений: логика if, elif, else
3. Условное принятие решений: паттерны\шаблоны match
4. Комбинация конструкций (на примере match и if)
5. Циклы: for и while
6. Управление\изменение поведения циклов: break и continue
7. Обработчики исключений\ошибок: try...except
8. Управление ресурсами: with (проба работы с файлами)
9. Итоги инструкций контроля потоков выполнения программы

О библиотеках: предназначение, подключения, использования

1. Что такое библиотеки или "забудьте (почти)все что мы учили ранее
2. Массивы и Таблицы
3. NumPy и SciPy для вычислений
4. Pandas и Polars: предназначение, отличия, подключение
5. Matplotlib, Seaborn, Plotly:предназначение, отличия, подключение
6. StatsModels с TSA: предназначение, отличия, подключение
7. ML (scikit-learn) с бустингом (...boost)
8. Вызов подсказок и справок по объектам в библиотеках
9. Библиотечные итоги

Основы для быстрого старта: как это все работает в комлексе

1. Большая картина: врубаемся что вообще происходит
2. Подготовка к написанию кода: подключаем библиотеки
3. Загрузка данных
4. Преобразование: очистка данных
5. Преобразование: добавление новых столбцов
6. Анализ данных: описательные статистики
7. Визуализация данных
8. Анализ данных: аналитическая статистика
9. Итоги раздела

ETL: извлечение, преобразование и загрузка данных

1. Общий процесс работы с данными и место в нем ETL
2. Series, DataFrame, векторные вычисл.(обработка столбцов целиком)
3. Навигация и отбор из датафрейма нужных данных
4. Подключение к csv
5. Подключение к Excel
6. Самостоятельное задание: проба загрузки таблицы из SPSS
7. ДатаФрейм и его Представление в Jupyter
8. Вывод ВСЕХ строк и столбцов
9. Выгрузка только нужных столбцов
10. Мидквел:мастер-класс по базовому пониманию справочных материалов
11. Изменения названий\имен\заголовков столбцов
12. Перемещение\Изменение порядка столбцов
13. Типы данных для столбцов: int, float, datetime, string
14. Выбор столбцов по типу данных
15. Систематизация чтений\подключений
16. Вычисление новых столбцов: числовые столбцы
17. Вычисление новых столбцов: разделение и объединение столбцов
18. Вычисление новых столбцов: текстовые столбцы
19. Вычисление новых столбцов: столбцы с датами
20. Вычисление новых столбцов: условный столбец\перекодировка
21. Вместо условного столбца: разбиение значений на группы (cut)
22. Из одного столбца сделать много столбцов с 0\1
23. Удаление лишних\ненужных столбцов
24. Систематизация работы со столбцами
25. Тест по столбцам
26. Оставление нужных строк сверху\снизу таблицы
27. Удаление лишних\ненужных строк (порядок, дубликаты)
28. Фильтрация\Отбор строк для анализа: условие c | и &
29. Тест по строкам
30. Стратегии работы с пустыми значениями
31. Удаление пустых строк и столбцов
32. Заполнение пустых значений другими значениями
33. Заполнение вниз\вверх
34. Интерполяция "пустышек" во времени (периодичные данные)
35. Комплексные функционалы для АНАЛИЗА пропущенных значений
36. Тест по пропускам
37. Стратегии проверки данных: опечатки, смысл, не тот тип
38. Мидквел-лекция: Основы оконных вычислений
39. Группировка\Агрегирование: понижение гранулярности таблицы
40. Транспонирование DataFrame\таблицы
41. Сводные таблицы (Pivot, Pivot Table, Crosstab)
42. Мельтинг\Отмена свертывания\Unpivot
43. Тест по изменению таблицы
44. Слияние нескольких массивов\таблиц: добавление строк
45. Слияние нескольких таблиц: добавление столбцов (с исп.ключей)
46. Тест по джойнам и юнионам
47. Сохранение данных в файл
48. Итоги загрузки, очистки и подготовки данных

Описательные статистики

1. Что такое описательные статистики
2. Частотный анализ (частотное распределение)
3. Частоты под несколько переменных
4. 4 группы мер в описательной статистике
5. Меры центральной тенденции: среднее, мода, медиана
6. Меры точек относительного разделения : процентили и квартили
7. Меры рассеивания\вариативности: дисперсия, ст.отклонение, размах
8. IQR и выбросы\outliers
9. Комлексный анализ описательных статистик: describe
10. Ящик с усами: визуал для среднего,квартилей,мин и макс, выбросов
11. Меры формы распределения: асимметрия и эксцесс
12. Итоги раздела

Визуализации данных

1. Что такое визуализации?
2. Воспоминания как строятся диаграммы
3. Агрегирующие и неагрегирующие диаграммы
4. "Плавный" аналог гистограммы: агрегирующая KDE
5. Столбиковые\Линейчатые диаграммы: вертикальные и горизонтальные
6. Разбор и управление элементами диаграмм
7. Цветовое форматирование визуальных элементов
8. Группировка с распаковкой индекса: метод .groupby() с .unstack()
9. Столбцы на разные диаграммы (subplots)
10. Столбиковые диаграммы: с группировкой и с наложением
11. Погрешности\Коридор прогноза на диаграммах
12. График
13. Вторая Y-ось
14. Комбинированная диаграмма
15. График\диаграмма с областями
16. Круговые диаграммы
17. Диаграмма рассеивания\точечная
18. Превращаем точки в "пузыри"
19. Матрица скаттерплотов
20. Как забрать диаграммы в Power Point
21. Таблица - также визуальный элемент
22. Подводим итоги визуализаций

Анализ данных: Сравнение групп

1. Основные блоки задач, решаемые при анализе данных
2. Генеральная совокупность и выборка
3. Гипотезы и вероятность ошибки\значимость
4. Параметрика\непараметрика
5. Проверка распределения "на нормальность"
6. Зависимые (парные, связанные) и Независимые группы
7. Тест: Систематизация основных понятий
8. Сравнение независимых групп: 2 группы, параметрика
9. О навигации по таблицам результатов (вспомним датафреймы)
10. Сравнение независимых групп: 2 группы, непараметрика
11. Тест 2-х групп (почти самостоятельное задание)
12. Сравнение незав. групп:более 2-х групп,параметрика,с пост-хок
13. Сравнение незав. групп:более 2-х групп,непараметрика, с пост-хок
14. Сравнение парных\связанных групп: 2 группы, параметрика
15. Сравнение парных\связанных групп: 2 группы, непараметрика
16. Сравнение парных групп: более 2-х групп, параметрика, с пост-хок
17. Помиксуем-ка мы сами...: парные и независимые группы вместе
18. Сравнение парных групп: более 2-х групп,непараметрика,с пост-хок
19. Таблицы сопряженности: Хи2 для категориальных признаков, независ
20. Таблицы сопряженности: МакНемар для категор. признаков в завис.
21. Разговоры о красивом
22. Групповые итоги

Анализ данных: связи между переменными

1. Рассуждения о связях между переменными
2. Сила, Направленность и Значимая\Неслучайна статистическая связь
3. Корреляции
4. Мидквел: многомерность выбросов
5. Мидквел: многомерная нормальность
6. Мидквел: корреляционная красота
7. Корреляция для повторных замеров
8. Ложные (частные\получастные) корреляции
9. Анализ надежности-согласованности
10. Линейная регрессия
11. Понятие нормализации данных
12. А если связи нелинейные?
13. Квантильная регрессия (библиотека statsmodels)
14. Что такое факторный анализ
15. Факторный анализ (библиотека factor_analyzer)
16. Итоги раздела

Анализ данных: классификация

1. Переходим к классификации и кластеризации
2. Кто учит алгоритмы? Обучение с учителем
3. Бинарная логистическая регрессия
4. Как понять хороша ли модель: Precision, Recall, ROC-AUC
5. Мультиномиальная логистическая регрессия
6. Порядковая логистическая регрессия
7. Ближайшие соседи k-NN
8. Деревья решений
9. Ансамбли: RandomForest (случайный лес) как бэггинг подход
10. Ансамбли: бустинги - каждая модель исправляет предыдущую
11. А если никто не учит? Обучение без учителя.
12. Кластерный анализ методом К-средних
13. Кластеризация на основе плотности DBSCAN
14. Визуализация кластеров на плоскости t-SNE
15. Нейросети как сложные классификаторы
16. Многослойный перцептрон MLP: с учителем
17. Болцмановские машины (RBM): без учителя
18. Итоги раздела

Мидквэл:анализ и прогнозирование временных рядов statsmodels.tsa

1. Что такое временной ряд и работа с ним
2. Главная ловушка при анализе временных рядов
3. Основные задачи анализа временных рядов
4. Компоненты временного ряда: тренд, сезонность, цикл, всплеск
5. С чего начинается: смотрим "на глазок"
6. Подавление "шумов":HPF(Hodrick-Prescott Filter) отделение тренда
7. Анализ сезонности (на ряду с другими компонентами)
8. (s)ARIMA(x): обучение на временном ряде и его прогнозирование
9. Итоги временных прогнозов

Небольшой факультатив:обзор других отдельных аналитических возм.

1. Используем SQL-скрипты в JupiterLabs
2. Использование Python в Excel 365
3. Не таблицами едиными: анализ текста, изображений, аудио, видео..
4. Разработка аналитических приложений
5. ИИ-помощники при работе с Python

Послесловие

1. Обобщение курса
2. Напутствие
3. Бонус-лекция

Спойлер: Об авторе

Никита Сергеев

Cтратегия и оргразвитие, анализ данных, управление проектами.
Автор курсов - профессиональный аналитик, сертифицированный менеджер проектов, консультант по стратегии и оргразвитию.

Ведущий инструктор русскоязычных курсов и программ в категории «Бизнес», "Бизнес-анализ" и "Data Science" на отечественных и международных платформах онлайн-образования. За плечами ряд крупных реорганизаций и преобразований \ трансформаций компаний.

Человек с уникальным сочетанием академической подготовки (организационная психология, управление международными проектами, степень МВА) и обширного бизнес-опыта. Автор прикладной бизнес-литературы.

Сотрудничает как с крупнейшими телеком- и промгигантами; компаниями финансового, нефтегазового и госсектора; так и с небольшими компаниями. Участвовал в ряде проектов и трансформационных программ (в т.ч. совместно с ведущими консалтинговыми компаниями).

В качестве преподавателя-инструктора за плечами прикладные тренинги и обучающие мероприятия для руководителей старшего и высшего менеджмента крупных компаний, а также преподавание учебных дисциплин на МВА-программах в России, СНГ и ЦВЕ.