Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Санкт-Петербург
Новосибирск
Сочи
Тбилиси
Москва
Алматы
Екатеринбург
Тюмень
Санкт-Петербург
Новосибирск
Сочи
Тбилиси
Личный кабинет
Выберите городМосква
Москва
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
Москва+7 495 231-23-51
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
FLINK

Потоковая обработка данных с помощью Apache Flink

Вендор
Тип курса
Авторский
Длительность
16 ак. часов
Ближайшая дата
13 мая 2024
Стоимость
48 000 RUB
48 000 RUB
Описание
2-хдневный курс обучения по Flink позволит вам получить и систематизировать знания по использованию Flink для построения систем потоковой обработки данных. Курс нацелен на вопросы использования возможностей Apache Flink для обработки прежде всего потоковых данных, включая нюансы извлечения меток времени и генерации watermarks, лучшие практики (best practices) использования механизмов временных окон, работы с локальным состоянием, вопросы эффективности и параллелизма обработки, тонкости работы с источниками данных и многое другое. Вы изучите необходимый теоретический минимум, чтобы понять основные концепции фреймворка Flink, его подходы к преобразованию потока данных, нюансы работы с потоком в терминах времени событий или времени обработки (event vs processing time), виды сохраняемого состояния (state type and primitives), работу с источниками потоковых данных. Преподаватель курса “Потоковая обработка данных с помощью Apache Flink” подробно объяснит все тонкости и особенности настройки механизмов извлечения времени, работы с состоянием и локальным кластером Apache Flink с тем, чтобы вы могли самостоятельно разрабатывать собственные системы потоковой обработки данных по окончании курса. На практике вы реализуете собственные потоковые процессоры с помощью Apache Flink, научитесь работать с метками времени и watermarks, сможете выполнять базовые трансформации потоковых данных, использовать временные окна, обрабатывать данные из Apache Kafka и файловых источников. Во время курса вы также получите информацию о сравнении возможностей Apache Flink с аналогами (Kafka Streams и Spark Structured Streaming). Курс предполагает использование языка Scala.
Кому полезен курс
Дата-инженеры и специалисты по данным, которые хотят изучить необходимый теоретический минимум по Apache Flink, чтобы понять основные концепции фреймворка, stateful преобразований и доставки данных из сторонних систем, а также узнать особенности подхода Flink к построению масштабируемых надежных конвейеров обработки потоковых данных.
Необходимая подготовка
Уверенное знание базовых команд Linux (опыт работы с командной строкой), знания языка Scala (способность создания не сложных OOP приложений).
Программа курса


1.      Введение и архитектура Apache Flink

·         Потоковая и Batch обработка

·         Основные понятия и особенности потоковой обработки

·         Встречаем Flink: компоненты и первое приложение

·         Основные API

2.      Datastream API: Базовые трансформации и работа с источниками данных

·         Основные операторы (трансформации)

·         Роллинг агрегации и reduce

·         Работа с источниками (Apache Kafka, файловые источники)

3.      Datastream API: Работа с учетом времени

·         Архитектура Apache Flink

·         Event Time Processing

·         Оконные операции и джойны

4.      Datastream API: Работа с состоянием

·         Низкоуровневые «process» функции и управление состоянием

·         Checkpoints, savepoints

5.      Другие API, языки и системы

·         Flink Table API и SQL

·         Flink и python

·         Сравнение Flink с Kafka Streams и Spark Structured Streaming




! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)

Доступные формы обучения
Описание фомата

Дистанционное (онлайн) обучение проводится с применением Системы Дистанционного обучения УЦ Микротест - системы Mirapolis. По форме и содержанию дистанционное обучение полностью совпадает с аналогичными очными курсами.

Занятие длится 8 академических часов в день, стандартное время проведения обучения с 10:00 до 17.00.

Обучение проходит в реальном времени с преподавателем. В процессе обучения вы сможете задавать вопросы – в чате или голосом во время занятия. В зависимости от программы курса, каждому студенту предоставляется доступ к стенду с лабораторными работами. Для закрепления материала курса вам будут доступны записи прошедших вебинаров в вашем личном кабинете в ЛК Mirapolis.

Данный формат обучения позволяет существенно сократить командировочные издержки.

Описание фомата

Очная форма – это классическая форма обучения. Студенты посещают занятия в специально оборудованном классе на территории учебного центра в соответствии с установленным расписанием.

Занятие длится 8 академических часов в день, стандартное время начала обучения – 10:00.

Преимущество очного обучения – это личный контакт с тренером-преподавателем и с остальными студентами курса. Во время обучения студенты сдают лабораторные работы вендоров, к которым предоставляется доступ, а также лабораторные работы, специально разработанные тренерами-преподавателями. Обучающиеся выполняют практические занятия, получая доступ к оборудованию или при помощи его эмуляции.

Расписание курса
Выберите удобную для вас дату
мая 2024
13 мая - 14 мая
Москва
Дистанционная Дистанционная
Преподаватель курса
Ожидается назначение
Стоимость
48 000 RUB
мая 2024
13 мая - 14 мая
Москва
Очная Очная
Преподаватель курса
Ожидается назначение
Стоимость
48 000 RUB
Если в расписании нет удобных для Вас дат, напишите нам - мы разработаем удобные варианты специально для Вас!
Слушатели рекомендуют нас
5.0
5.0
FAQ

Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.

Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.

Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.

Очное обучение проходит на территории Учебного центра Микротест по адресу: Москва, Дербеневская наб. д. 7 стр.5, 5 этаж.

За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.

Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.

  1. Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
  2. Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
  3. Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
  4. Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.

По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).

Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.

В основном корпусе в Москве по адресу Дербеневская набережная д.7 стр.5, БЦ «Оазис», парковки, к сожалению, нет. Зато есть муниципальная платная парковка на всех прилегающих улицах.

По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.

Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках. Помимо этого, в обеденный перерыв будет предложен полноценный горячий обед.

Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.

Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)

Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.

Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза

Эксперты в обучении:

  • Сети передачи данных и связь
  • ОС Linux и платформы виртуализации
  • Центры обработки данных и СХД

Опытные преподаватели с мультивендорной экспертизой

Расширенный лабораторный полигон для практики

Подготовка ИТ-специалистов по государственным профессиональным стандартам

Образовательный девелопер

Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»

Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды

Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами

Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры

Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!