Код курса.
У каждого курса есть свой уникальный код. Зная этот код вы можете быстро найти курс в форме поиска.
Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Москва
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Apache Kafka для инженеров данных
Вендор
Тематика
Тип курса
Авторский
Длительность
24 ак. часов
Ближайшая дата
13 июл 2026
Стоимость
76 800 RUB
Описание
В мире, где данные генерируются каждую миллисекунду, умение работать с потоками информации в реальном времени — это не просто навык, а ключевое преимущество. Apache Kafka стала золотым стандартом для построения высокопроизводительных и отказоустойчивых систем, способных обрабатывать миллионы событий в секунду. Если вы готовы перейти на новый уровень в инженерии данных и создавать сложные, масштабируемые решения, наш углубленный курс Apache Kafka — это ваш прямой путь к цели.
Этот 5-дневный практический интенсив предназначен для разработчиков и инженеров, которые хотят не просто изучить теорию, а получить реальные навыки программирования для распределенной обработки потоков событий (Event Stream Processing). Вы научитесь писать код для работы с распределенным журналом Kafka, использовать его в парадигмах Publish/Subscribe и Message Queue, а также освоите лучшие практики обработки потоковых данных. Наше Apache Kafka обучение построено на реальных кейсах, что позволит вам сразу после курса применять знания в рабочих проектах.
Практический курс по Apache Kafka и интеграции ее с другими системами ориентирован на программистов, разработчиков Big Data и специалистов, которые хотят:
- изучить базовые методы программного взаимодействия с Kafka (Producer и Consumer API)
- научиться использовать Kafka Streams API (как низкоуровневое Processor API, так и декларативный Stream DSL);
- понять методы интеграции Apache Kafka с внешними системами
- освоить лучшие практики (best practices) по реализации процессов автоматического обмена данными между Apache Kafka и внешними системами
Дистанционный формат
Обучение проходит онлайн 5 дней, по 5 академических часов. Обучение проходит в режиме реального времени на платформе для видеоконференций. Вы сможете задавать вопросы преподавателю голосом или в чате, как в обычной аудитории.
Практика на стендах
Доступ к лабораторным стендам 24 часа (круглосуточно) в течении 2 недель с даты начала обучения
Доступ к записям
Все занятия записываются и доступны в вашем личном кабинете на следующий день после проведения.
Поддержка в чате
На протяжении всего обучения вас будет поддерживать преподаватель в закрытом чате, где можно задавать вопросы и общаться с одногруппниками. Чат сохраняется и после курса.
Кому полезен курс
Developer Java, Python, Scala
Научитесь строить отказоустойчивые микросервисы. Вы освоите Producer и Consumer API для интеграции приложений с Kafka, сможете работать с асинхронной архитектурой и обрабатывать сообщения в реальном времени под высокими нагрузками.
DevOps инженер
Получите знания для развертывания, мониторинга и поддержки кластеров Kafka. Вы научитесь обеспечивать отказоустойчивость, оптимизировать производительность и автоматизировать эксплуатацию, гарантируя стабильность и производительность всей IT-инфраструктуры.
Дата Инженер
Научитесь строить надежные конвейеры данных. Вы освоите установку и настройку Kafka, а также Kafka Connect и Streams для создания мощных ETL/ELT-процессов. Сможете эффективно перемещать и трансформировать большие объемы данных между различными системами (PostgreSQL, Spark, Hadoop).
Архитекторы
Вы проектируете архитектуру корпоративных систем. Вы глубоко поймете принципы событийно-ориентированной архитектуры (EDA) и научитесь использовать Apache Kafka как центральный элемент для построения масштабируемых и гибких решений, способных обрабатывать данные в реальном времени.
Необходимая подготовка
Требуется начальный опыт работы в Unix и программирования на Java или Python.
Ваш результат обучения
Чему вы научитесь на практике после обучения Apache Kafka?
Теория важна, но реальные навыки приобретаются только в бою. Наш курс, Apache Kafka для разработчиков, делает акцент на практических задачах, которые вы будете решать на протяжении всего обучения.
- Разработка Producer и Consumer приложений: Вы напишете с нуля собственные приложения на Java для отправки и чтения сообщений из Kafka. На практике разберетесь с механизмами сериализации/десериализации, обработкой ошибок и гарантией доставки сообщений (at-least-once, at-most-once, exactly-once).
- Построение систем потоковой обработки данных: Используя Kafka Streams API, вы создадите приложение, которое в реальном времени будет обогащать и агрегировать данные. Например, разработаете систему для анализа логов или обработки финансовых транзакций.
- Интеграция с внешними системами: С помощью Kafka Connect вы научитесь настраивать коннекторы для передачи данных из реляционных баз данных (например, PostgreSQL) в Kafka и обратно без написания единой строчки кода.
- Оптимизация и мониторинг: Вы научитесь настраивать производительность продюсеров и консьюмеров, работать с партициями для масштабирования нагрузки и использовать инструменты для мониторинга состояния кластера.
- Работа с различными форматами данных: Вы освоите работу с Avro и Schema Registry для обеспечения совместимости данных и управления схемами в распределенной системе.
- Проектирование событийно-ориентированной архитектуры: На примере реальных бизнес-кейсов вы научитесь проектировать микросервисные системы, где Kafka выступает в роли центральной нервной системы, обеспечивая надежный обмен данными.
Программа курса
МОДУЛЬ 1. ВВЕДЕНИЕ В APACHE KAFKA КЛЮЧЕВЫЕ КОНЦЕПЦИИ И АРХИТЕКТУРА
Введение в Apache Kafka:
-
- Архитектура и история возникновения Kafka.
- Основные компоненты: брокеры, Zookeeper, KRAFT mode.
- Основные API Apache Kafka и принципы их взаимодействия и killer features.
Topic, partition и offset в Apache Kafka:
-
- Управление топиками.
- Отслеживание последнего прочитанного сообщения.
- Семантика доставки сообщений (at least once, at most once, exactly once)
Комплексная практика:
- Работа из командной строки:Управление топиками и обмен сообщениями через консольные утилиты Kafka.
МОДУЛЬ 2. ВЗАИМОДЕЙСТВИЕ С KAFKA: PRODUCER И CONSUMER API
Producer API
-
- Настройка и использование Producer API для публикации сообщений
Consumer API
-
- Принципы работы Consumer API
- Consumer Group для параллельной обработки.
- Сериализация данных.
Комплексная практика:
- Разработка Producer/Consumer: Создание базового приложения для отправки и чтения данных на Java и Python.
- Разработка Producer/Consumer: Создание базового приложения для отправки и чтения данных на Java и Python.
МОДУЛЬ 3. ПОТОКОВАЯ ОБРАБОТКА: KAFKA STREAMS DSL
Потоковая обработка:
- Архитектура Kafka Streams.
- Основные абстракции Kafka Streams
- Изучение декларативного DSL для описания трансформаций.
- Обзор stateless и stateful операций (фильтрация, агрегация, оконные функции).
Комплексная практика:
- Конвейер обработки на Kafka Streams DSL: Построение потокового приложения для трансформации данных в реальном времени.
- Сериализация Avro: Пример типизированной сериализации данных с использованием Schema Registry и Avro.
- ksqlDB: Интерактивные запросы к потокам данных в Kafka с помощью ksqlDB.
МОДУЛЬ 4. ПРОДВИНУТАЯ ОБРАБОТКА: PROCESSOR API
Processor API:
-
- Изучение низкоуровневого Processor API для создания кастомных топологий.
- Работа с State Store и использование Punctuator для задач по расписанию.
Комплексная практика:
- Кастомная логика на Processor API: Реализация сложной логики обработки с помощью низкоуровневого API.
- Кастомная логика на Processor API: Реализация сложной логики обработки с помощью низкоуровневого API.
МОДУЛЬ 5. ИНТЕГРАЦИЯ С ЭКОСИСТЕМОЙ: KAFKA CONNECT
Kafka Connect
-
- Архитектура Kafka Connect
- Обзор доступных коннекторов и их режимов работы (standalone и distributed).
Комплексная практика:
- Интеграция через Kafka Connect: Настройка готовых коннекторов для интеграции Kafka с файловой системой.
- Интеграция через Kafka Connect: Настройка готовых коннекторов для интеграции Kafka с файловой системой.
! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)
Доступные формы обучения
Описание фомата
Дистанционное (онлайн) обучение проводится с применением Системы Дистанционного обучения УЦ Микротест - системы Mirapolis. По форме и содержанию дистанционное обучение полностью совпадает с аналогичными очными курсами.
Занятие длится 8 академических часов в день, стандартное время проведения обучения с 10:00 до 17.00.
Обучение проходит в реальном времени с преподавателем. В процессе обучения вы сможете задавать вопросы – в чате или голосом во время занятия. В зависимости от программы курса, каждому студенту предоставляется доступ к стенду с лабораторными работами. Для закрепления материала курса вам будут доступны записи прошедших вебинаров в вашем личном кабинете в ЛК Mirapolis.
Данный формат обучения позволяет существенно сократить командировочные издержки.
Расписание курса
FAQ
Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.
Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.
Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.
Очное обучение проходит на территории Учебного центра Микротест по адресу: 127083, г. Москва, ул. Мишина, дом 35
За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.
Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.
- Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
- Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
- Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
- Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.
По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).
Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.
В основном корпусе в Москве по адресу ул. Мишина, дом 35. Рядом муниципальная платная парковка на всех прилегающих улицах.
По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.
Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках.
Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.
Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)
Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.
Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза
экспертиза
Эксперты в обучении:
- Сети передачи данных и связь
- ОС Linux и платформы виртуализации
- Центры обработки данных и СХД
Опытные преподаватели с мультивендорной экспертизой
Расширенный лабораторный полигон для практики
Подготовка ИТ-специалистов по государственным профессиональным стандартам
Образовательный девелопер
Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»
Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды
Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами
Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры
Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!
Оставить заявку
Оставить заявку