Код курса.
У каждого курса есть свой уникальный код. Зная этот код вы можете быстро найти курс в форме поиска.
Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Москва
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Практический курс Apache Airflow для инженеров данных
Вендор
Тематика
Длительность
24 ак. часов
Ближайшая дата
21 сен 2026
Стоимость
76 800 RUB
Описание
Надоели запутанные cron-задачи и ручной запуск скриптов? Наш углубленный 24-часовой курс обучения Apache Airflow поможет освоить самый популярный инструмент для оркестрации, который используют в ведущих IT-компаниях. Вы научитесь превращать хаос в данных в управляемые, автоматизированные data pipelines, став настоящим архитектором данных.
Забудьте о медленных процессах. С Apache Airflow вы научитесь создавать и отслеживать сложные рабочие процессы как код. Этот практический тренинг проведет вас от создания первого DAG до продвинутых техник, включая настройку отказоустойчивых конвейеров и интеграцию с Big Data. Наш курс Apache Airflow — это ваша прямая инвестиция в карьерный рост.
Кому полезен курс
- Инженер данных
Устали от ручных запусков и непрозрачных скриптов? На курсе вы научитесь проектировать отказоустойчивые конвейеры данных, интегрировать Airflow с экосистемой Big Data (Spark, Kafka) и уверенно поддерживать пайплайны в production-среде, перейдя на подход «workflows as code».
- Аналитик данных
Хотите самостоятельно автоматизировать сбор и подготовку данных, не ожидая инженеров? Вы научитесь создавать DAG для автоматического обновления отчетов и витрин. Получите полный контроль над своими аналитическими скриптами и значительно ускорьте получение результатов.
- Разработчик DHW
Ищете надежный инструмент для оркестрации загрузки данных в DWH? Вы глубоко разберетесь в архитектуре Airflow, научитесь управлять конвейерами как кодом (DevOps-подход) и сможете проектировать масштабируемые и легко поддерживаемые data pipelines для хранилищ данных.
Необходимая подготовка
- Знание базовых команд Linux
- Базовый опыт программирования на Python/bash
- Опыт программирования на SQL и понимание принципов работы реляционных баз данных
Ваш результат обучения
После прохождения курса вы сможете самостоятельно решать полный спектр задач, связанных с оркестрацией данных. От написания простых DAG до production развертывания:
- Проектировать и писать DAG-файлы: Вы освоите синтаксис и лучшие практики создания DAG, научитесь определять зависимости между задачами, использовать шаблоны Jinja и макросы для создания динамических пайплайнов.
- Использовать ключевые операторы и сенсоры: На практике поработаете с
BashOperator,PythonOperator,PostgresOperator,ExternalTaskSensorи другими, чтобы выполнять скрипты, работать с базами данных и реагировать на внешние события. - Управлять потоком выполнения: Глубоко разберетесь в
Trigger Rulesдля создания сложных правил запуска задач, освоитеBackfillиCatchupдля перезапуска исторических данных. - Обмениваться данными между задачами: Научитесь использовать
XComsиVariablesдля передачи информации и параметров между операторами в рамках одного DAG. - Оптимизировать и отлаживать пайплайны: Вы научитесь анализировать логи, находить «узкие» места, использовать
TaskGroupдля структурирования сложных DAG и применять продвинутые техники для повышения производительности. - Интегрировать Airflow с экосистемой Big Data: Научитесь подключать Airflow к PostgreSQL, Kafka, Spark и другим системам для построения комплексных конвейеров обработки данных.
Главная ценность для вас — это глубокое изучение технологии, которая является стандартом индустрии, и получение практических навыков, которые можно сразу же применить в работе.
Программа курса
Наше обучение Apache Airflow разработано для IT-специалистов, которые хотят систематизировать и углубить свои знания в области оркестрации данных. Программа курса по Airflow построена от простого к сложному и на 70% состоит из практики, где вы сможете применить полученные знания на реальных задачах.
* Программа курса на сайте, носит информационный характер, может незначительно отличаться от фактической и меняться без предварительного уведомления.
* Программа курса на сайте, носит информационный характер, может незначительно отличаться от фактической и меняться без предварительного уведомления.
1. ВВЕДЕНИЕ В APACHE AIRFLOW: КЛЮЧЕВЫЕ КОНЦЕПЦИИ И ПОДГОТОВКА К РАБОТЕ
Что такое Airflow и зачем он нужен- Роль Airflow в построении современных дата-пайплайнов
- Основные принципы работы: оркестрация, расписания, мониторинг, устойчивость
- Сравнение с конкурентами
- Когда Airflow — оправданный выбор, а когда — нет
Архитектура и ключевые элементы
- DAG: что это такое, как живет и исполняется
- Operators: виды и применимость
- Понимание жизненного цикла задач
Практическая часть
- Подготовка рабочей среды на виртуальных машинах
- Развёртывание Airflow
- Создание первого DAG и выполнение простых задач с Bash и Python
2. ОСНОВЫ РАБОТЫ С AIRFLOW: ОТ ТЕОРИИ К ПЕРВОМУ КОНВЕЙЕРУ ДАННЫХ
Архитектура и компоненты
- Scheduler, Workers, Metadata DB, Web UI — как всё взаимодействует
- Executors: Sequential, Local, Celery и их сценарии использования
- Роль API и возможностей интеграции
Работа с DAG’ами
- Параметры расписаний: schedule_interval, start_date
- Ограничения и параллелизм: concurrency, max_active_runs
- Введение в TaskFlow API
Практическая часть
- Создание второго DAG с параметрами
- Знакомство с Web UI и базовыми возможностями
- Запуск и управление DAG’ами вручную и по расписанию
3. УПРАВЛЕНИЕ ЛОГИКОЙ ВЫПОЛНЕНИЯ: КОМПОЗИЦИЯ, ПЕРЕМЕННЫЕ И ОБМЕН ДАННЫМИ
Композиция задач и зависимости- Подходы к объявлению связей между задачами
- Композиция через операторы и bit-shift синтаксис
- Организация читаемых пайплайнов
Работа с конфигурацией и состоянием
- Переменные (Variables): хранение параметров и конфигураций
- XCom: обмен данными между задачами, типичные кейсы и антипаттерны
- Практика Backfill & Catchup — как запускать прошлые периоды безопасно
Практическая часть
- Лабораторные упражнения на композицию и использование переменных
- Построение DAG’ов с передачей данных через XCom
4. ИНТЕГРАЦИИ И ОЖИДАНИЕ ВНЕШНИХ СОБЫТИЙ: SENSORS, CONNECTIONS И TRIGGER RULES
Интеграции через Connections- Настройка подключений и безопасное хранение секретов
- Типовые сценарии интеграций
Sensors и работа с событиями
- Принцип работы сенсоров
- ExternalTaskSensor: синхронизация разных DAG’ов
- Trigger Rules: контроль выполнения в зависимости от результатов предыдущих задач
- Условное ветвление и Branch-логика
Практическая часть
- Практика по Sensors и Trigger Rules
- Взаимодействие с PostgreSQL
5. ШАБЛОНЫ, И РАСШИРЕННЫЕ ИНТЕГРАЦИИ: СОЗДАНИЕ ГИБКИХ ПАЙПЛАЙНОВ
Гибкость и параметризация- Templates & Macros — динамическое формирование задач и путей
- Hooks: использование готовых коннекторов для внешних систем
Работа с хранилищами и БД
- Построение пайплайнов с загрузкой и проверкой данных
- Использование шаблонов в SQL и Python-тасках
Практическая часть
- Задачи, завязанные на S3-файлы
- Использование PostgreSQL, шаблонов и макросов в реальных сценариях
6. СОЗДАНИЕ ПРОДВИНУТЫХ END-TO-END ПАЙПЛАЙНОВ
Продвинутые конструкции
- TaskGroup — структурирование сложных DAG’ов
- Dynamic Tasks — генерация задач на лету
- Datasets — управление зависимостями на уровне данных
- Лучшие практики и анти-паттерны в продакшене
- Мониторинг, метрики и операционная поддержка
- Способы изоляции окружений в AirFlow
Итоговая практическая работа “Создание связанной системы из нескольких DAG’ов”
- генерация данных и выгрузка их в S3
- чтение, обработка и передача данных через XCom
- запись результата в базу
- использование всех изученных инструментов в одном пайплайне
! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)
Доступные формы обучения
Описание фомата
Дистанционное (онлайн) обучение проводится с применением Системы Дистанционного обучения УЦ Микротест - системы Mirapolis. По форме и содержанию дистанционное обучение полностью совпадает с аналогичными очными курсами.
Занятие длится 8 академических часов в день, стандартное время проведения обучения с 10:00 до 17.00.
Обучение проходит в реальном времени с преподавателем. В процессе обучения вы сможете задавать вопросы – в чате или голосом во время занятия. В зависимости от программы курса, каждому студенту предоставляется доступ к стенду с лабораторными работами. Для закрепления материала курса вам будут доступны записи прошедших вебинаров в вашем личном кабинете в ЛК Mirapolis.
Данный формат обучения позволяет существенно сократить командировочные издержки.
Расписание курса
FAQ
Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.
Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.
Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.
Очное обучение проходит на территории Учебного центра Микротест по адресу: 127083, г. Москва, ул. Мишина, дом 35
За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.
Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.
- Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
- Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
- Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
- Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.
По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).
Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.
В основном корпусе в Москве по адресу ул. Мишина, дом 35. Рядом муниципальная платная парковка на всех прилегающих улицах.
По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.
Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках.
Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.
Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)
Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.
Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза
экспертиза
Эксперты в обучении:
- Сети передачи данных и связь
- ОС Linux и платформы виртуализации
- Центры обработки данных и СХД
Опытные преподаватели с мультивендорной экспертизой
Расширенный лабораторный полигон для практики
Подготовка ИТ-специалистов по государственным профессиональным стандартам
Образовательный девелопер
Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»
Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды
Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами
Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры
Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!
Оставить заявку
Оставить заявку