Код курса.
У каждого курса есть свой уникальный код. Зная этот код вы можете быстро найти курс в форме поиска.
Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Санкт-Петербург
Новосибирск
Сочи
Тбилиси
Москва
Москва
Алматы
Екатеринбург
Тюмень
Санкт-Петербург
Новосибирск
Сочи
Тбилиси
Эксплуатация Apache NIFI
Вендор
Тематика
Тип курса
Авторский
Длительность
24 ак. часов
Стоимость
77 040 RUB
Описание
Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять конвейерами обработки данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Этот отказоустойчивый ETL-фреймворк с наглядным GUI и открытым исходным кодом обеспечивает визуальное проектирование потоковых конвейеров и их надежную реализацию с гарантированной доставкой потоков данных и возможность хранить их до выгрузки их во внешние системы.
На практике Apache NiFi широко используется в следующих задачах:
- распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
- ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
- средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
- маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
- шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.
Кому полезен курс
- Инженеры данных, cистемные администраторы, системные архитекторы, разработчики Hadoop
- Желающие получить практические навыки по установке, настройке и управлению потоками данными (Data pipeline) с использованием кластера Apache NiFi
Необходимая подготовка
- Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
- Начальный опыт работы с Hadoop или NiFi
Программа курса
1. День 1
1. Введение в Apache NiFi
-
- Архитектура Hadoop Data Flow
- Архитектура решения и ключевые концепции Apache NiFi: Принципы потоковой обработки данных
- Data Lineage и Data Provenance (Data Provenance Events)
- Функционал NiFi по управлению потоковой обработкой данных: гарантированная доставка, управление каналом (буферизация, pressure), QoS, версионность
2. Создание DataFlow
-
- Создание dataflow: работа с атрибутами FlowFile, маршрутизация, source и sink
- Репозитории FlowFile Repository, Content Repository, Provenance Repository. Анатомия FlowFile, процессоры и коннекторы
- Мониторинг dataflow
- Параметризация dataflow: переменные и параметры
День 2
3. Программная обработка FlowFile
-
- Использование скриптов в NiFi: работа с атрибутами и данными FlowFile,
программная маршрутизация FlowFile - Сбор данных в месте их производства с помощью Apache minifi
- Использование скриптов в NiFi: работа с атрибутами и данными FlowFile,
4. Работа с Records и Local State
-
- Controlling service и работа с Records и State: формат FlowFile и его
преобразование, State Manager и его использование - Reporting tasks и обработка результатов
- Происхождение данных: анализ provenance и lineage
- Apache NiFi Registry версионность и поддержка production deployment
- Controlling service и работа с Records и State: формат FlowFile и его
День 3
5. Интеграция и масштабирование
-
- Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
- Доступные расширения и готовые «из коробки» процессоры и коннекторы
- Возможности интеграции кластера NiFi (consumer/provider) с Kafka
- Интеграция Apache Kafka, NiFi
- Типовые сценарии/схемы потоковой обработки данных
- Процессорные группы (Remote Processor Group)
6. Задачи администрирование NiFi
-
- Установка и настройка кластера Apache NiFi
- Управление кластером NiFi
- Оптимизация DataFlow
- Инструменты мониторинга и уведомлений NiFi
- Безопасность для Apache NiFi (SSL, Аутентификация LDAP)
! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)
FAQ
Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.
Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.
Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.
Очное обучение проходит на территории Учебного центра Микротест по адресу: Москва, Дербеневская наб. д. 7 стр.5, 5 этаж.
За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.
Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.
- Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
- Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
- Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
- Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.
По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).
Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.
В основном корпусе в Москве по адресу Дербеневская набережная д.7 стр.5, БЦ «Оазис», парковки, к сожалению, нет. Зато есть муниципальная платная парковка на всех прилегающих улицах.
По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.
Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках. Помимо этого, в обеденный перерыв будет предложен полноценный горячий обед.
Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.
Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)
Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.
Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза
экспертиза
Эксперты в обучении:
- Сети передачи данных и связь
- ОС Linux и платформы виртуализации
- Центры обработки данных и СХД
Опытные преподаватели с мультивендорной экспертизой
Расширенный лабораторный полигон для практики
Подготовка ИТ-специалистов по государственным профессиональным стандартам
Образовательный девелопер
Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»
Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды
Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами
Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры
Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!
Оставить заявку
Оставить заявку