Главная
Все курсы
Arenadata
Основы работы с Apache Kafka на базе платформы Arenadata Streaming

ADS- DEV-Kafka

Основы работы с Apache Kafka на базе платформы Arenadata Streaming

Вендор

Arenadata

Тематика

Big Data

Тип курса

Авторизованный

Длительность

24 ак. часов

Стоимость

122 000 RUB

Описание

Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming» − трехдневный практический тренинг, посвящённый использованию Apache Kafka в среде Arenadata Streaming, а также разработке и запуску приложений с использованием Kafka API на Java.

Трёхдневный практический курс

Практический тренинг, посвящённый использованию Apache Kafka в среде Arenadata Streaming, а также разработке и запуску приложений с использованием Kafka API на Java

Кому полезен курс

Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными кластеров Apache Kafka в составе платформы Arenadata Streaming. Курс предназначен для начинающих разработчиков, инженеров данных и архитекторов. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области работы с распределенной системой потоковой обработки данных − Arenadata Streaming.

Необходимая подготовка

Слушателям необходимо обладать следующим уровнем подготовки:

опыт в программирования на современном языке (предпочтительно Java);
знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
опыт работы с SQL.

Ваш результат обучения

В рамках курса участники получат теоретические знания и практический опыт по:

архитектуре Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
архитектуре и инструментам Apache Kafka (Consumers, Producers, Topics, Kafka Connect, Debezium, MirrorMaker, Schema Registry, Kafka REST Proxy, KSQL DB, Kafka Streams);
использованию Arenadata Streaming Control (ADS Control) для управления кластерами Arenadata Streaming;
пониманию принципов подготовки окружения, установки, настройки и мониторинга (Prometheus) кластера Kafka;
пониманию принципов работы Arenadata Cluster Manager, включая развертывание и конфигурирование кластеров Arenadata Streaming и Arenadata Streaming Control;
использованию средств IDE для работы с Kafka API (Consumer, Producer, Admin Client, Kafka Streams), включая настройку и использование инструментов сборки, таких как Maven;
использованию Schema Registry для управления схемами и обеспечения совместимости;
настройке Kafka Connect и созданию собственных плагин-коннекторов;
использованию Debezium и MirrorMaker для репликации данных;
интеграции и применению Kafka REST Proxy и KSQL DB для обработки потоков данных;
пониманию возможностей Kafka Streams API.

Сертификация

Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

Программа курса

Модуль 1

Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
Arenadata Streaming Control.
Arenadata Platform Security.

Модуль 2

Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control

Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы. Лабораторная работа.
Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka).
Мониторинг ADS Prometheus: архитектура сервиса/кластера мониторинга. Лабораторная работа.
Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI, базовые операции.

Модуль 3

Архитектура и инструменты Apache Kafka

Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
Topics Kafka:
1. Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compression, retention).
2. Настройка программных инструментов: Java IDE (IntelliJ IDEA CE, OpenIDE), Build Tool (Apache Maven).
3. AdminClient API. Примеры программного использования. Лабораторная работа.
Гарантии надежности Kafka (доставка/потребление).
Контроллер Kafka. ZooKeeper/KRaft.
Producers Kafka:
1. Запись сообщений в Kafka, console Producer.
2. Настройка Producers.
3. Producer API. Пример настройки Auth.
Consumers Kafka:
1. Сonsumer groups, ребалансировка разделов.
2. Настройка Consumers.
3. Consumer API. Пример настройки Auth.
Schema Registry:
1. Архитектура. Типы схем. Lifecycle. Schema compatibility. Пример эволюции схем (Kafka Java Clients).
Kafka REST Proxy:
1. Основные возможности и примеры использования.

Модуль 4

Kafka Connect

Основные понятия и инструменты. API. Установка Self-Managed Connectors. Пример использования (FileStream Connectors).
Создание собственных Plugin Connectors. Пример создания, упаковки и тестирования собственного Plugin Connector (Maven, Java).
Основные операции ADS Control: управление и добавление коннекторов. Настройка MirrorMaker, Mirror Connectors. Пример настройки. Лабораторная работа.
CDC Debezium: архитектура; пример использования (MS SQL); JDBC sink. Лабораторная работа.
SMT (Single Message Transforms). Основные возможности. Debezium Transformation/собственный класс трансформации. Примеры реализации.

Модуль 5

ksqlDB

Основные возможности и примеры использования. Управление потоками.

Модуль 6

Kafka Streaming API

Основные понятия, архитектура и инструменты.
Пример приложения Kafka Streams c использованием SpringBoot API (Java).

Итоговое тестирование

! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)

Слушатели рекомендуют нас

yandexКод PHP">

5.0

googleКод PHP">

5.0

FAQ

Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.

Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.

Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.

Очное обучение проходит на территории Учебного центра Микротест по адресу: 127083, г. Москва, ул. Мишина, дом 35

За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.

Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.

Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.

По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).

Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.

В основном корпусе в Москве по адресу ул. Мишина, дом 35. Рядом муниципальная платная парковка на всех прилегающих улицах.

По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.

Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках.

Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.

Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)

Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.

Не нашли подходящиего курса?

Оставьте заявку на обучение для вашей организации

Почему выбирают обучение у нас

Техническая
экспертиза

Эксперты в обучении:

Сети передачи данных и связь
ОС Linux и платформы виртуализации
Центры обработки данных и СХД

Опытные преподаватели с мультивендорной экспертизой

Расширенный лабораторный полигон для практики

Подготовка ИТ-специалистов по государственным профессиональным стандартам

Образовательный девелопер

Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»

Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды

Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами

Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры

Узнать подробнее про Учебный центр

Специальные предложения

Скидки физическим лицам

Скидка 10% для физических лиц на любой курс.

Подробнее

Скидка для новых клиентов

Первый раз в УЦ Микротест? Для Вас подарок! Скидка 10% на первый курс.

Воспользоваться

Мы используем файлы cookie, чтобы обеспечить корректную работу сайта, персонализировать контент и рекламу, а также анализировать трафик. Продолжая пользоваться сайтом, вы даёте согласие на обработку файлов cookie в соответствии с нашей Политикой конфиденциальности.

Принять