Код курса.
У каждого курса есть свой уникальный код. Зная этот код вы можете быстро найти курс в форме поиска.
Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Москва
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Администрирование кластера Kafka
Вендор
Тематика
Тип курса
Авторский
Длительность
24 ак. часов
Стоимость
76 800 RUB
Описание
3х дневный практический курс администрирования Apache Kafka создан для администраторов, дата-инженеров и специалистов, которые стремятся научиться строить высоконагруженные, отказоустойчивые конвейеры потоковых данных (data pipelines), обрабатывать миллионы сообщений в секунду и управлять сложными распределенными системами.
Современный мир Big Data требует мгновенной реакции на события. Забудьте об ограничениях пакетной обработки и медленных ETL-процессах. После обучения на курсе Apache Kafka вы сможете создавать системы, которые анализируют данные в режиме реального времени, обеспечивая бизнес актуальной информацией для принятия критически важных решений. Наш программа проведет вас от фундаментальных концепций архитектуры Kafka, Zookeeper или KRaft режима до продвинутых техник администрирования, настройки безопасности с Kerberos и оптимизации производительности кластера. Мы предлагаем не сухую теорию, а максимум практики на реальных кластерах Kafka в облаке.
Курс Apache Kafka построен на балансе теории и практики (50/50). Вся практическая работа выполняется на индивидуальных лабораторных стендах в облаке доступных в течении 2 недель с момента начала курса. Вам будет достаточно времени, чтобы после курса, просмотреть дополнительные видео модули и сделать дополнительные лабораторные работы, которые мы для Вас приготовили.
Программа обучения Apache Kafka предназначена в большей степени для администраторов и инженеров данных в обязанности которых входит выполнение задач настройки и обслуживания инфраструктуры потоковой обработки данных Data Flow.
Формат и расписание
Интенсивное 3х дневное обучение онлайн, с 10:00 до 18:00 (МСК), с двумя перерывами и 1 час обед. Живые лекции и практические занятия на платформе для видеоконференций с записью трансляций. Доступ к лабораторным стендам 24 часа (круглосуточно) в течении 2 недель с даты начала обучения.
Индивидуальный кластер Kafka
50% курса — практика. Доступ к персональному 3х узловому кластеру Kafka. Сквозной практикум от установки кластера до настройки Kerberos и репликации Mirror Maker на другой датацентр. Бонусные лабы!
Вспомнить все
Все видеозаписи лекций, презентации и дополнительные бонусные материалы доступны во время и после курса в системе дистанционного обучения или чате группы.
Онлайн поддержка
Чат группы обучения остается активным и после завершения курса для обеспечения поддержки как по теме курса так и по вопросам трудоустройства. Вы можете задать вопрос даже через год после обучения и найти поддержку от ваших одногруппников, преподавателей и менеджеров
Кому полезен курс
Админы и DevOps
Изучите все необходимые навыки для развертывания, мониторинга и эксплуатации продуктивного кластера Kafka. Курс охватывает темы от установки и базовой настройки до вопросов безопасности, резервного копирования, восстановления и оптимизации производительности.
Дата инженеры
Вы сможете спроектировать и поддерживать эффективные и масштабируемые конвейеры данных. Детально разберетесь в архитектуре Kafka, научитесь настраивать топики, партиции и репликацию для обеспечения гарантированной доставки сообщений и отказоустойчивости всей системы.
Дата архитекторы
Получите полное представление о роли Kafka в современной архитектуре данных. Научитесь проектировать решения, где Kafka выступает как центральная шина данных для сбора и распределения данных между различными компонентами: от кликстрим источников и баз данных до систем аналитики и ML.
Необходимая подготовка
-
Минимальные требования
Уверенное знание команд Linux (опыт работы с командной строкой, файловой системой, POSIX, systemd, текстовыми редакторами). Базовые знания настройки компонент безопасности (Kerberos, PKI, LDAP). Попробуйте пройти наше бесплатное тестирование по Linux для определения степени готовности к курсу!
Ваш результат обучения
Чему вы научитесь после курса Apache Kafka
После обучения на нашем курсе KAFKA: Apache Kafka администрирование вы сможете уверенно решать повседневные рабочие задачи.
- Разворачивать и настраивать высокодоступные кластеры Apache Kafka с нуля, как с использованием Zookeeper, так и в современном KRaft-режиме.
- Администрировать кластер на профессиональном уровне: управлять брокерами, топиками, партициями и потребителями через CLI и UI-инструменты.
- Обеспечивать безопасность кластера с помощью SSL/TLS для шифрования, SASL, Kerberos, OAUTH для аутентификации, а также настраивать детальные права доступа через ACL.
- Оптимизировать производительность и масштабировать кластер под высокие нагрузки, правильно подбирать конфигурации и выполнять балансировку партиций.
- Настраивать мониторинг с помощью популярных инструментов, таких как Prometheus и Grafana, для проактивного отслеживания состояния кластера и предотвращения сбоев.
- Проектировать отказоустойчивые решения, настраивать репликацию данных и репликацию между дата-центрами с помощью MirrorMaker 2.
- Планировать и проводить миграцию со старых версий Kafka на новые, включая переход на архитектуру без Zookeeper.
- Интегрировать Kafka с другими системами экосистемы Big Data, такими как Apache NiFi, Hadoop, ClickHouse, Greenplum для построения комплексных конвейеров данных.
Программа курса
МОДУЛЬ 1. ВВЕДЕНИЕ В APACHE KAFKA
- Что такое Apache Kafka
- Сценарии использования Kafka
- Компоненты Kafka и Kafka экосистемы
- Архитектура Kafka 4
- Эволюция Kafka: от Zookeeper к KRaft
- Новая архитектура без Zookeeper (KIP-500, KIP-866)
- Что нового в Apache Kafka 4.0: ключевые функции, изменения и совместимость
- Кластер Zookeeper (опционально)
Лабораторная работа 1: Установка single-node кластера Apache Kafka.
МОДУЛЬ 2. ОСНОВНЫЕ КОНЦЕПЦИИ KAFKA И КОМПОНЕНТЫ
- Как работает Apache Kafka: Топики (Topics) и партиций (Partitions)
- Репликация данных.Брокеры (Brokers): Развертывание. Конфигурация Multibroker
- Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
- Потребители данных (Consumers): Очереди Consumers.
- Архитектура с KRaft Controller’ами
- Новый механизм управления метаданными
- Логическая структура брокеров и quorum.
МОДУЛЬ 3. УСТАНОВКА КЛАСТЕРА APACHE KAFKA
- Установка распределенного кластера Apache Kafka 4.0 в KRaft-режиме
- Минимальные требования
- Установка Kafka без Zookeeper
- Настройка KRaft controllers и quorum voters
- Примеры конфигурации kraft-controller mode
- Sizing и планирование развертывания кластера
- Установка Kafka c Zookeeper (обзорно)
- Процедуры миграции с Apache Kafka 3.х на 4.0
Лабораторная работа 2: Установка распределенного 3х узлового кластера Apache Kafka 4.0 в Kraft режиме. (дополнительно с Zookeeper)
МОДУЛЬ 4. БАЗОВЫЕ ОПЕРАЦИИ В APACHE KAFKA
- Операции с Топиками (Topic).
- Публикация данных с консольного Producer
- Получение данных с консольного Consumer
- Пользовательские интерфейсы для работы с Kafka: kafka-manager, Conductor, RedPanda GUI, etc
Лабораторная работа 3: Графические консоли GUI для управления и работы с Apache Kafka (follow режим)
МОДУЛЬ 5. ОПТИМИЗАЦИЯ КЛАСТЕРА APACHE KAFKA
- Оптимизация производительности компонент кластера
- Масштабирование кластера
- Балансировка разделов(partition) и использование Partition Reassignment Tools
- Best Practices Kafka — Мониторинг кластера Kafka
- Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana
- Настройка алертинга кластера Kafka
Лабораторная работа 4: Балансировка партиций и тестирование отказоусточивости кластера Apache Kafka.
Лабораторная работа 5: Мониторинг производительности кластера Apache Kafka с использование Prometheus, Grafana, JMX exporter, KMinion.
Лабораторная работа 6: Настройка алертинга для кластера Apache Kafka с использование Prometheus, Grafana и Telegram(email).
МОДУЛЬ 6. ИНТЕГРАЦИЯ С APACHE KAFKA (ОБЗОРНО)
- Использование Apache NiFi
- Интеграция Apache Hadoop с Kafka
- Сценарии интеграции с Apache Kafka (ClickHouse, Greenplum)
** Дополнительные модули по интеграции для самостоятельного изучения (видеоматериалы)
МОДУЛЬ 7. РАСШИРЕННАЯ КОНФИГУРАЦИЯ КЛАСТЕРА KAFKA
- Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
- Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
логов (Log Cleanup Policy). Сжатие и консолидация данных в логах. - REST Proxy. Schema Registry (обзорно)
- Репликация кластера с использованием Mirror Maker 2
- Новые подходы к rolling-обновлениям в кластере без Zookeeper
Лабораторная работа 7: Настройка MirrorMaker 2.0 для катастрофоустойчивости (DR) для кластера Apache Kafka. (follow режим)
МОДУЛЬ 8. БЕЗОПАСНОСТЬ В APACHE KAFKA 3.0/4.0
- Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов
- Аутентификация SSL/SASL
- Аутентификация OAuth
- Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
- Авторизация в Kafka
- Управление списками управления доступом (ACL)
- Настройка ACL в KRaft-режиме и KIP-866
Лабораторная работа 8: Настройка шифрования TLS для кластера Apache Kafka.
Лабораторная работа 9: Настройка двусторонней аутентификации с сертификатами TLS для кластера Apache Kafka.
Лабораторная работа 10: Настройка аутентификации Kerberos (MIT) для кластера Apache Kafka.
Лабораторная работа 11: Настройка авторизации и управления доступом на базе SASL/SSL для кластера Apache Kafka. (** дополнительные материалы)
Лабораторная работа 12: Настройка авторизации c использованием SASL/OAUTHBEARER на базе Keycloak для кластера Apache Kafka. (** дополнительные материалы)
БОНУС: +12 ЧАСОВ МАТЕРИАЛОВ ДЛЯ ГЛУБОКОГО ПОГРУЖЕНИЯ!
-
Для подготовленных администраторов кластера Apache Kafka и дата инженеров которые выполняют задачи обслуживания и администрирования кластеров Kafka мы записали дополнительные модули которые могут быть полезны для освоение сверх плановых модулей.
После просмотра видеоуроков, вы сможете задать вопросы преподавателю и выполнить дополнительные ( ** дополнительные) лабораторные работы для закрепления материала на практике.-
-
5 часов дополнительных лекцийпо продвинутым темам администрирования, обслуживания и интеграции.
-
7 часов дополнительных лабораторных работдля оттачивания навыков настройки и сопровождения распределенных кластеров по управлением Apache Kafka.
-
-
! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)
FAQ
Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.
Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.
Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.
Очное обучение проходит на территории Учебного центра Микротест по адресу: 127083, г. Москва, ул. Мишина, дом 35
За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.
Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.
- Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
- Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
- Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
- Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.
По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).
Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.
В основном корпусе в Москве по адресу ул. Мишина, дом 35. Рядом муниципальная платная парковка на всех прилегающих улицах.
По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.
Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках.
Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.
Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)
Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.
Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза
экспертиза
Эксперты в обучении:
- Сети передачи данных и связь
- ОС Linux и платформы виртуализации
- Центры обработки данных и СХД
Опытные преподаватели с мультивендорной экспертизой
Расширенный лабораторный полигон для практики
Подготовка ИТ-специалистов по государственным профессиональным стандартам
Образовательный девелопер
Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»
Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды
Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами
Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры
Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!
Оставить заявку
Оставить заявку