Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Личный кабинет СДО
Выберите городМосква
Москва
Екатеринбург
Тюмень
Сочи
Москва+7 495 231-23-51
Екатеринбург
Тюмень
Сочи
NIFI3

Эксплуатация Apache NIFI

Вендор
Тип курса
Авторский
Длительность
24 ак. часов
Стоимость
76 800 RUB
Описание

Вы ищете способ кардинально упростить и ускорить процессы работы с данными? Хотите перейти от написания сложных скриптов к визуальному проектированию конвейеров? Наш курс Эксплуатация Apache NiFi — это ваш самый быстрый путь к освоению ведущего low-code инструмента для автоматизации потоков данных.

Этот курс полностью построен на новейшей версии Apache NiFi 2, что гарантирует вам самые актуальные знания и навыки. Забудьте о рутине, ошибках в коде и проблемах с интеграцией. NiFi позволяет в графическом интерфейсе соединять любые системы, преобразовывать данные на лету и контролировать каждый шаг их перемещения. Вы научитесь не просто настраивать, а эффективно эксплуатировать эту мощную платформу, обеспечивая стабильную и надежную доставку данных для решения критически важных бизнес-задач.

О курсе

Этот интенсивный 3-дневный практикум даст вам все необходимые навыки для уверенной эксплуатации Apache NiFi 2. Программа построена «от простого к сложному»: мы начнем с основ архитектуры и low-code принципов, а закончим продвинутыми задачами по мониторингу, оптимизации и обеспечению безопасности в промышленной среде.

Основной фокус курса — практика. Вы не просто смотрите, а делаете: разворачиваете кластер, проектируете dataflow в новом интерфейсе NiFi 2, интегрируете его с Apache Kafka и решаете типовые задачи, с которыми сталкиваются специалисты в реальной работе. После курса обучение Apache NiFi станет для вас понятным и управляемым процессом.

Формат и расписание

Интенсивное 3х дневное обучение онлайн, с 10:00 до 18:00 (МСК), с 2 перерывами и обедом. Интерактивные лекции и практические занятия на индивидуальных кластерах. Видеоконференция с записью трансляций. Доступ к лабораторным стендам 24 часа (круглосуточно) в течении 2 недель с даты начала обучения. Вы успеете все!

Индивидуальный кластер

50% курса — практика. Доступ к персональному 4х узловому кластеру Apache NiFi 24/7. Сквозной практикум от установки кластера до настройки Kerberos, интеграция с Kafka, использование Remote Processor group и  Site2Site коннекторов. Бонусные лабы!

Запись и поддержка

Все видеозаписи лекций, презентации и дополнительные бонусные материалы доступны во время и после курса в системе дистанционного обучения или чате группы. Чат группы обучения остается активным и после завершения курса для обеспечения поддержки по любым вопросам.

Кому полезен курс
  • Инженер данных

    Вы научитесь проектировать и внедрять сложные конвейеры для сбора, маршрутизации и преобразования данных. Курс даст вам глубокое понимание архитектуры NiFi, его процессоров и служб контроллеров, что позволит вам строить эффективные решения для наполнения Data Lake и интеграции с Kafka, ClickHouse.

  • Аналитик данных

    Вы получите в руки инструмент, который позволит самостоятельно и быстро собирать данные из источников (API, БД, файлы), не ожидая помощи от разработчиков. Low-code подход NiFi даст вам возможность автоматизировать подготовку данных для анализа, что многократно ускорит вашу работу и проверку гипотез.

  • Администратор NiFi

    Вы освоите установку и развертывание кластера Apache NiFi, настройку безопасности с  SSL/LDAP, оптимизацию производительности и управление ресурсами. Вы сможете гарантировать стабильность и надежность потоков данных в промышленной эксплуатации.

  • Разработчики

    Вы научитесь использовать NiFi как платформу для интеграции приложений и микросервисов. Поймете, как low-code позволяет реализовывать сложные сценарии маршрутизации данных, сокращая время разработки с недель до дней, фокусируясь на бизнес-логике, а не на написании шаблонного кода.

Необходимая подготовка
  • Технические требования

    Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами, конфигурирование systemd, Kerberos). Желательно иметь опыт ра,оты с распределенными системами или начальный опыт работы с Hadoop, SQL от 1 года

Ваш результат обучения

Успешно выполнив все лабораторные практикумы нашего курса по эксплуатации кластера Apache NiFi вы будете обладать практическими навыками, которые сразу сможете применить в работе. Спрашивайте,  если что-то не получается. Хотя Apache Nifi относится к линейке low-code инструментов по работе с большими данными в нем много особенностей и скрытых возможностей. Теория важна для понимания секретов и особенностей построения рабочих схем работы Apache Nifi c MiNiFi в распределенной многоуровневой архитектуре Data Flow и взаимодействия с источниками данных и их приемниками. Снова спрашивайте, если что-то не понятно. Тогда после обучения вы сможете:

  • Проектировать и создавать сложные конвейеры потоковой обработки данных (DataFlows) с использованием визуального интерфейса NiFi.
  • Уверенно работать с ключевыми компонентами: FlowFile, процессорами, коннекторами и службами контроллеров.
  • Автоматизировать сбор, преобразование и маршрутизацию данных из разнородных источников: от баз данных и API до лог-файлов и IoT-устройств.
  • Интегрировать Apache NiFi с другими системами, в первую очередь с Apache Kafka, для построения комплексных платформ обработки данных.
  • Развертывать и администрировать кластер Apache NiFi, включая настройку безопасности, мониторинг и оптимизацию производительности.
  • Расширять функционал NiFi с помощью скриптов там, где это действительно необходимо.
  • Применять лучшие практики по версионированию и развертыванию потоков в production-среде с использованием Apache NiFi Registry.
Программа курса

1. Введение в Apache NiFi

  • Архитектура Hadoop Data Flow
  • Архитектура решения и ключевые концепции Apache NiFi: Принципы потоковой обработки данных
  • Data Lineage и Data Provenance (Data Provenance Events)
  • Функционал NiFi по управлению потоковой обработкой данных: гарантированная доставка, управление каналом (буферизация, pressure), QoS, версионность

Лабораторная работа: Установка Single Node Apache NiFi и построение потока данных.

2. Создание DataFlow

  • Создание dataflow: работа с атрибутами FlowFile, маршрутизация, source и sink
  • Репозитории FlowFile Repository, Content Repository, Provenance Repository. Анатомия FlowFile, процессоры и коннекторы
  • Мониторинг dataflow
  • Параметризация dataflow: переменные и параметры

Лабораторная работа: Применение политик доступа.

3. Программная обработка FlowFile

  • Использование скриптов в NiFi: работа с атрибутами и данными FlowFile, программная маршрутизация FlowFile
  • Сбор данных в месте их производства с помощью Apache minifi

Лабораторная работа:JSON процессинг в Apache Nifi

4. Работа с Records и Local State

  • Controlling service и работа с Records и State: формат FlowFile и его
  • преобразование, State Manager и его использование
  • Reporting tasks и обработка результатов
  • Происхождение данных: анализ provenance и lineage
  • Apache NiFi Registry версионность и поддержка production deployment

Лабораторная работа: Отслеживание изменений и версионный контроль DataFlow

5. Интеграция и масштабирование

  • Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
  • Доступные расширения и готовые «из коробки» процессоры и коннекторы
  • Возможности интеграции кластера NiFi (consumer/provider) с Kafka
  • Интеграция Apache Kafka, NiFi
  • Типовые сценарии/схемы потоковой обработки данных
  • Процессорные группы (Remote Processor Group)

Лабораторная работа: Интеграция  MySQL и Apache NiFi:Работа с SQL.

Лабораторная работа: CDC для отслеживания изменений данных в NiFi

6. Задачи администрирование NiFi

  • Установка и настройка кластера Apache NiFi
  • Управление кластером NiFi
  • Оптимизация DataFlow
  • Инструменты мониторинга и уведомлений NiFi
  • Безопасность для Apache NiFi (SSL, Аутентификация LDAP)

Лабораторная работа: Настройка распределенного кластера Apache Nifi.  Лабораторная работа: Настройка аутентификации Kerberos для кластера Nifi.















! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)

Слушатели рекомендуют нас
yandexКод PHP">
5.0
googleКод PHP">
5.0
FAQ

Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.

Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.

Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.

Очное обучение проходит на территории Учебного центра Микротест по адресу: 127083, г. Москва, ул. Мишина, дом 35

За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.

Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.

  1. Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
  2. Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
  3. Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
  4. Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.

По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).

Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.

В основном корпусе в Москве по адресу ул. Мишина, дом 35. Рядом муниципальная платная парковка на всех прилегающих улицах.

По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.

Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках.

Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.

Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)

Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.

Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза

Эксперты в обучении:

  • Сети передачи данных и связь
  • ОС Linux и платформы виртуализации
  • Центры обработки данных и СХД

Опытные преподаватели с мультивендорной экспертизой

Расширенный лабораторный полигон для практики

Подготовка ИТ-специалистов по государственным профессиональным стандартам

Образовательный девелопер

Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»

Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды

Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами

Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры

Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!