Код курса.
У каждого курса есть свой уникальный код. Зная этот код вы можете быстро найти курс в форме поиска.
Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Москва
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Основы работы с Apache NiFi на базе платформы Arenadata Streaming
Вендор
Тематика
Направление
Тип курса
Авторизованный
Длительность
24 ак. часов
Стоимость
122 000 RUB
Описание
Курс «Основы работы с Apache NiFi на базе платформы Arenadata Streaming» будет полезен дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение курса поможет получить практические навыки по созданию и управлению потоками Apache NiFi в составе кластера Arenadata Streaming.
Трёхдневный практический курс
Поможет получить практические навыки по созданию и управлению потоками Apache NiFi в составе кластера Arenadata StreamingЧто представляет собой курс
«Основы работы с Apache NiFi на базе платформы Arenadata Streaming» − трёхдневный практический курс по разработке и кастомизации инструментов ETL-обработки средствами Apache NiFi, направленный на изучение ключевых аспектов разработки ETL-конвейеров.
Кому полезен курс
Аудитория курса включает IT-специалистов, которые хотят повысить квалификацию в области разработки ETL-процессов Apache NiFi в составе платформы Arenadata Streaming. Курс предназначен для дата-инженеров и будет полезен как начинающим, так и опытным специалистам, стремящимся расширить свои знания и навыки.
Необходимая подготовка
Слушателям необходимо обладать следующим уровнем подготовки:
- знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
- опыт работы с SQL.
Ваш результат обучения
Сертификация
- Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
- Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.
Программа курса
Модуль 1
Модуль 2
Модуль 3
Модуль 4
Модуль 5
Модуль 6
Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
- Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Prosperity, Arenadata Cluster Manager.
- Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
- Arenadata Streaming Control.
- Arenadata Platform Security.
Модуль 2
Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi
- Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
- Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
- Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
- Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).
- Мониторинг ADS (Prometheus): архитектура сервиса.
Модуль 3
Архитектура и инструменты Apache NiFi
- Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.
- Создание, настройка и управление процессорами, процессорными группами.
- Flow Files и атрибуты.
- FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.
- Content/Record-oriented подход.
Модуль 4
Администрирование и эксплуатация Apache NiFi
- Инструменты мониторинга и администрирования.
- Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей. Производительность и оптимизация потоков данных.
- Использование метадата-driven подхода для разработки потоков.
- Apache NiFi Registry версионность и поддержка production deployment (CI/CD).
Модуль 5
Работа с данными и маршрутизация в Apache NiFi
- Использование процессоров для обработки данных.
- Работа с метаданными и контентом flowfiles.
- Основы Expression Language.
- Параметризация DataFlow: параметры, провайдеры.
- Сериализация и десериализация данных. Схемы данных. AVRO-схемы.
- Подключение источников (File, Apache Kafka, СУБД, S3, HDFS, возможные Endpoints).
- Работа с текстом, JSON, XML (jolt, jslt, xslt).
- Трансформация и фильтрация данных (ConvertRecord, UpdateRecord, QueryRecord, jolt-transform-record, LookupRecord).
- Разделение, объединение и агрегация данных.
- Использование процессоров для маршрутизации.
- Обработка ошибок.
- Работа с ADB, трансформация и загрузка (ETL).
Модуль 6
Кастомизация Apache NiFi
- Кастомизация и создание Extensions. Создание собственного процессора (преимущества/недостатки).
- Использование скриптов.
- Разработка скрипта трансформации (Scripted-transform-record).
Итоговое тестирование
! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)
FAQ
Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.
Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.
Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.
Очное обучение проходит на территории Учебного центра Микротест по адресу: 127083, г. Москва, ул. Мишина, дом 35
За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.
Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.
- Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
- Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
- Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
- Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.
По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).
Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.
В основном корпусе в Москве по адресу ул. Мишина, дом 35. Рядом муниципальная платная парковка на всех прилегающих улицах.
По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.
Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках.
Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.
Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)
Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.
Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза
экспертиза
Эксперты в обучении:
- Сети передачи данных и связь
- ОС Linux и платформы виртуализации
- Центры обработки данных и СХД
Опытные преподаватели с мультивендорной экспертизой
Расширенный лабораторный полигон для практики
Подготовка ИТ-специалистов по государственным профессиональным стандартам
Образовательный девелопер
Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»
Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды
Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами
Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры
Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!
Оставить заявку
Оставить заявку