На курсе вы: Научитесь строить дата-пайплайны и выстраивать эффективную работу дата-архитектуры Разберетесь в инструментах для управления данными Выполните реальный проект на собственных данных под руководством опытных экспертов Какие инструменты освоите? Python, AirFlow, Bash, NiFi, Hadoop, Kafka, Spark, Neo4j, PostgreSQL, MongoDBl, ClickHouse ПРОГРАММА КУРСА 1. Введение. 2. Python и терминал для задач Data Engineering. - Установочная сессия. 3. Распределенные файловые системы. Hadoop. Map-Reduce. 4. Spark for Data Engineering. - Встреча по темам 2-4. 5. Реляционные базы данных. 6. NOSQL базы данных и введение в методологии построения хранилищ. 7. Процессинг и перекладывание (перекладка) данных. 8. Оркестраторы данных. AirFlow. - Встреча по темам 5-8. 9. Шины данных. Kafka. Принципы построения систем потоковой аналитики. 10. ETL-инструменты. NiFi. 11. Архитектура хранилищ данных. 12. Аналитика. Жизненный цикл данных и оценка data quality. - Встреча по темам 9-12. 13. Работа с собственным проектом в финальном модуле. 14. Заключение
