Код курса.
У каждого курса есть свой уникальный код. Зная этот код вы можете быстро найти курс в форме поиска.
Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Москва
Москва
Алматы
Екатеринбург
Тюмень
Новосибирск
Сочи
Описание
Курс «Основы работы с Apache Spark в экосистеме Arenadata Hyperwave» поможет получить актуальные знания по основам работы с Apache Spark и успешно применять их на практике
Курс единственного в мире вендора-разработчика открытого дистрибутива Hadoop.
Arenadata — единственный вендор, который на базе Apache Hadoop, open-source компонентов и проприетарных решений разрабатывает собственный дистрибутив, адаптированный для корпоративного использования и предназначенный для хранения, обработки и анализа данных любой структуры и объёма.Что представляет собой курс
«Основы работы с Apache Spark в экосистеме Arenadata Hyperwave» — четырёхдневный практический курс по основам Apache Spark.
Кому полезен курс
Курс будет интересен разработчикам, аналитикам и архитекторам в области Data Sciencе, которые хотят получить знания и опыт по основам разработки Apache Spark на языке Scala в экосистеме продуктов Arenadata.
Необходимая подготовка
Знания с нуля
Слушатели курса без предварительных знаний научатся использовать современные инструменты для разработки (IDE, интерактивные), сборки (Maven, sbt) и запуска приложений Apache Spark на языке программирования Scala (Python, Java), включая различные режимы и способы размещения приложений в Arenadata Hyperwave.
Ваш результат обучения
Теоретические знания и практический опыт
В рамках курса участники:- ознакомятся с основам языка Scala и инструментами разработки;
- начнут разбираться в архитектуре Apache Spark и её базовых возможностях — RDD, DataFrame, DataSet;
- смогут настраивать производительность и управлять памятью;
- получат знания по обработке данных из различных источников (файлы, СУБД, потоки);
- изучат дополнительные возможности обработки и алгоритмы Spark GraphX и Spark MLlib.
Сертификация:
- Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
- Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.
Программа курса
Модуль 1
Модуль 2
Обзор экосистемы Arenadata Enterprise Data Platform (EDP)
- Экосистема Arenadata Hyperwave (HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, ZooKeeper, Airflow, Zeppelin).
- Экосистема EDP: Arenadata Streaming, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
Модуль 2
Apache Spark: работа с большими данными
- Введение в Apache Spark. Архитектура и рабочий процесс. Абстракции. Компоненты. RDD, DataFrame, DataSet
- Настройка окружения и запуск приложений:
- инструменты разработки и сборки (PyCharm, IntelliJ Idea, Maven, sbt);
- среды исполнения (IDE, Livy, Zeppelin, spark-shell, spark-submit (Python, Java, Scala);
- способы запуска программ (client/cluster).
- Основы Scala: синтаксис, классы и объекты, иерархия классов, основные конструкции.
- Потребление данных из файлов: CSV, XML, JSON, Avro, ORC и Parquet. API абстракций. Схемы данных.
- Потребление данных из СУБД (MySQL, PostgreSQL). Apache Spark SQL. Потребление данных из экосистемы Arenadata EDP.
- Управление памятью и производительностью в Apache Spark. DataFrame API: SparkSession. Кеширование и копирование данных.
- Преобразование структурированных данных. Выполнение соединений. Использование пользовательских функций (UDF, UDAF).
- Apache Spark Streaming. Работа с потоками. Структуры. Примеры.
- MLlib: использование Apache Spark для ML. Модели. Pipelines. Примеры.
- GraphX: работа с графами в Apache Spark. Объекты и операции. Примеры.
Итоговое тестирование
! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)
Доступные формы обучения
Описание фомата
Дистанционное (онлайн) обучение проводится с применением Системы Дистанционного обучения УЦ Микротест - системы Mirapolis. По форме и содержанию дистанционное обучение полностью совпадает с аналогичными очными курсами.
Занятие длится 8 академических часов в день, стандартное время проведения обучения с 10:00 до 17.00.
Обучение проходит в реальном времени с преподавателем. В процессе обучения вы сможете задавать вопросы – в чате или голосом во время занятия. В зависимости от программы курса, каждому студенту предоставляется доступ к стенду с лабораторными работами. Для закрепления материала курса вам будут доступны записи прошедших вебинаров в вашем личном кабинете в ЛК Mirapolis.
Данный формат обучения позволяет существенно сократить командировочные издержки.
Расписание курса
FAQ
Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.
Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.
Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.
Очное обучение проходит на территории Учебного центра Микротест по адресу: 127083, г. Москва, ул. Мишина, дом 35
За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.
Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.
- Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
- Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
- Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
- Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.
По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).
Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.
В основном корпусе в Москве по адресу ул. Мишина, дом 35. Рядом муниципальная платная парковка на всех прилегающих улицах.
По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.
Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках.
Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.
Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)
Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.
Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза
экспертиза
Эксперты в обучении:
- Сети передачи данных и связь
- ОС Linux и платформы виртуализации
- Центры обработки данных и СХД
Опытные преподаватели с мультивендорной экспертизой
Расширенный лабораторный полигон для практики
Подготовка ИТ-специалистов по государственным профессиональным стандартам
Образовательный девелопер
Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»
Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды
Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами
Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры
Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!
Оставить заявку
Оставить заявку