Выберите городМосква
Москва
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
Москва+7 495 231-23-51
Екатеринбург
Тюмень
Санкт-Петербург
Тбилиси
Личный кабинет
Выберите городМосква
Москва
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
Москва+7 495 231-23-51
Екатеринбург
Тюмень
Санкт-Петербург
Тбилиси
Big Data
HADMНовый

Администрирование кластера Hadoop

Вендор
Тип курса
Авторский
Формы обучения
Смешанная
СмешаннаяСмешанная
Длительность, формат и расписание ежедневных занятий для каждого курса индивидуальны и будут высланы каждому слушателю до начала обучения.
Длительность
40 ак. часов
Ближайшая дата
17 мая / Москва
Стоимость
90 000.00 RUB
90 000.00 RUB
Описание

Курс администрирование кластера Hadoop построен на сквозных практических примерах развертывания и администрирования распределенной вычислительной среды: локально и в облачной инфраструктуре. Вы изучите особенности использования компонент Hadoop для запуска задач распределенных вычислений с  тестовыми данными. Практические занятия выполняются в кластерной среде Amazone Web Services с использованием дистрибутивов Cloudera Distributed HadoopHortonWorks и Arenadata Hadoop (российский дистрибутив Hadoop в рамках программы  импортозамещения), а также программного обеспечения управления кластером Cloudera Manager/ Arenadata Hadoop / HortonWorks. 5 дней практического обучения работе с кластером Hadoop: установка и настройка,  обеспечение безопасности (KerberosApache Ranger), мониторинг, репликация и резервное копирование,  взаимодействие с компонентами экосистемы Hadoop (Apache SparkHiveSqoop, Flume), работа с HDFS и MapReduce.

Соотношение теории к практике 40/60

Сегодня Apache Hadoop является самой популярной открытой платформой для распределенных вычислений и главной технологией больших данных (Big Data). Данный курс для администраторов Big Data содержит всю необходимую теоретическую информацию по планированию и развертыванию распределенных вычислительных кластеров на базе дистрибутивов Hadoop. Рассматриваются процессы мониторинга и оптимизации производительности системы, резервному  копированию и аварийному восстановлению узлов кластера и отдельных компонент. Особое внимание уделено настройкам безопасности системы Kerberos (Active Directory и MIT/FreeIPA)   на базе Hadoop.

Профиль аудитории

Практический курс Администрирование кластера Hadoop предназначен для системных администраторов, архитекторов, DevOps-инженеров и разработчиков Big Data, которые хотят освоить прикладные навыки установки, конфигурирования, обслуживания, управления и администрирования кластера Hadoop на базе дистрибутивов Cloudera и Cloudera Manager, HortonWorks или Arenadata Hadoop.

Необходимая подготовка
  • Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vinano)
Программа курса
  1. Введение в Big Data

    • Что такое Big Data. Понимание проблемы Big Data
    • Эволюция систем распределенных вычислений Hadoop
    • Принципы формирования Data Lake и pipelines
  2. Архитектура Apache Hadoop

    • Hadoop сервисы и основные компоненты. Name nodeData Node.
    • YARN сервис — планировщик
    • HDFS
    • Отказоустойчивость и высокая доступность
  3. Hadoop Distributed File System

    • Архитектура HDFS. Блоки HDFS.
    • Основные команды работы с HDFS.
    • Операции чтения и записи, назначения HDFS
    • Дисковые квоты. Поддержка компрессии
    • Основные форматы хранения данных TXTAVROORCParquetSequence файлы
    • Импорт (загрузка) данных на HDFS
    • Организация Tiering для хранения данных
    • Архивное хранение HDFS
    • Локальное чтение и распределенное кэширование
  4. Map Reduce

    • Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduceYARN MapReduce v2/3
    • Ограничения и параметры MapReduce и YARN
    • Управление запуском пользовательских задач (jobs) под MapReduce
  5. Дизайн кластера Hadoop

    • Сравнение дистрибутивов и версий Hadoop 2/3 (Cloudera Distributed HadoopMapR, HortonWorks Data Platform, Arenadata Hadoop): различия и ограничения
    • Требования программного и аппаратного обеспечения
    • Планирование кластера
    • Масштабирование кластера Hadoop. Отказоустойчивость Hadoop
    • Federated NameNodeHadoop в облаке.
    • Сравнение Cloud решений для Hadoop. Amazon EMR
    • Интеграция с другими решениями: streaming (DataFlow), NoSQL.
  6. Установка кластера

    • Установка Hadoop кластера
    • Выбор начальной конфигурации
    • Оптимизация уровня ядра для узлов
    • Начальная конфигурация HDFS и MapReduce
    • Файлы логов и конфигураций
    • Установка Hadoop клиентов
    • Установка Hadoop кластера в облаке
    • Автоматические варианты установки
    • Установка и настройка кластера Hadoop в изолированном окружении (offline).
  7. Операции обслуживания кластера Hadoop

    • Дисковая подсистема
    • Квоты
    • Остановка, запуск, перезапуск(Graceful Shutdown)
    • Управление узлами
    • Управление обновлениями и создание локального репозитория
  8. Оптимизация и управление ресурсами

    • Поиск узких мест.
    • Производительность. Файловая система. Data Node и data layout и партиционирование, bucketing
    • ПланировщикиFIFO scheduler. Планировщик емкости (Capacity scheduler). Гранулярное управление ресурсами (Fair scheduler). Защита очередей и доминантное управление ресурсами DRF.
    • Особенности управления ресурсами для разных дистрибутивов
  9. Управление кластером Hadoop с использованием Cloudera Manager/Apache Ambari

    • Установка Cloudera Manager/Apache Ambari
    • Основные операции и задачи Cloudera Manager/Apache Ambari
    • Мониторинг с Cloudera Manager/Apache Ambari/ Grafana
    • Диагностика и разрешение проблем с Cloudera Manager/Apache Ambari
  10. Безопасность Apache Hadoop

    • Безопасность по умолчанию
    • Многопользовательский режим
    • Аутентификация и авторизация с использованием Active Directory(Microsoft), REALM MIT/FreeIPA: Kerberoskeytabsprincipals. Установка и конфигурирование Kerberos в Hadoop
    • Обзор возможностей Apache Sentry, Cloudera Navigator, Apache Ambari, Apache Ranger, Apache Knox, Apache Atlas
    • Резервное копирование и аварийное восстановление
    • Репликация данных и snapshoting. Конфигурирование высокой доступности Name node (HA)
    • Компоненты безопасности Hadoop
    • Best practices Cloudera / HortonWorks/ArenaData
  11. Мониторинг Apache Hadoop

    • Apache Zookeeper
    • Встроенные средства мониторинга Cloudera Manager/Apache Ambari
    • Логи сервисов и компонент
    • Внешние системы мониторинга: ZabbixJMXGrafana
  12. Troubleshooting

    • Data Node
    • Name Node
    • Восстановление Name Node
  13. Инструментарий Apache Hadoop экосистемы

    • Графический интерфейс сервиса HUE
    • Назначение  Apache Zookeeper
    • Основы Apache Pig — установка и выполнение базовых операций
    • Введение в Apache Hive, понятие Hive таблицы, установка Hive
    • Использование Apache Sqoop — установка и выполнение базовых операций
    • Базовые операции Apache Flume — установка и выполнение базовых операций
    • Обзор и назначение компонент: Cloudera ImpalaApache NiFi,  Apache HBaseApache Kafka, Apache Zookeeper, Apache Oozie

Примерный список практических занятий:

  • Ручная установка кластера Hadoop с дистрибутива Cloudera Distributed
  • Hadoop/HortonWorks/Arenadata Hadoop на локальной системе 3-узловый кластер
  • Установка 3-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager/Apache Ambari
  • Базовые операции с кластером Hadoop и файловые операции HDFS.
  • Управление ресурсами и запуском задач с использованием YARN MapReduce/Tez.
  • Управление кластером с использованием Cloudera Manager/Apache Ambari(развертывание сервисов, репликация, мониторинг, alerting и т.д.)
  • Конфигурирование системы аутентификации Kerberos для кластера Hadoop под управление Cloudera Manager/Apache Ambari
  • Установка и выполнение базовых операций в Apache HiveApache sqoopApache Flume
  • Выполнение задач в веб-интерфейсе HUE/Apache Ambari View
  • Мониторинг кластера Hadoop с использованием Zabbix (опционально)
  • HA высокая доступность (High Availablility) Name Node и YARN (ресурс-менеджер) .

Примечание:
Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу).
Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей

Доступные формы обучения
Описание фомата

Смешанное обучение совмещает в себе очные и дистанционные форматы. Часть программы студенты могут пройти удаленно, а часть – в учебном центре. Некоторые темы в программе не требуют личного присутствия обучающегося, а более сложные для объяснения элементы (в основном уровня advanced) рассматриваются непосредственно в аудитории-лаборатории. Практические занятия проходят под руководством опытного инструктора на территории учебного центра, в то время как теорию обучающиеся проходят в удаленной форме под дистанционным контролем.

Длительность, формат и расписание ежедневных занятий для каждого курса индивидуальны и будут высланы каждому слушателю до начала обучения.

Смешанный формат позволяет оптимизировать процесс обучения и сократить время на ежедневную логистику «до» и «от» учебного центра в часы пик.

Расписание курса
Выберите удобную для вас дату
мая 2021
17 - 21 мая
Москва
СмешаннаяСмешанная
Преподаватель курса
Ожидается назначение
Стоимость
90 000.00 RUB
Если в расписании нет удобных для Вас дат, напишите нам - мы разработаем удобные варианты специально для Вас!
FAQ

По окончании обучения слушатели получают либо Сертификат Учебного Центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении). Для получения Свидетельства необходимо, чтобы длительность обучения превышала 16 академических часов, а также необходимо предоставить оригинал Диплома о профессиональном или высшем образовании государственного образца.

Помимо этого, по факту прохождения авторизованных курсов вендоров Cisco, Postgres, AstraLinux, Microsoft, ICAgile выдается электронный сертификат вендора.

Возьмите паспорт и Диплом об окончании профессионального или высшего образования. Диплом понадобится для получения Удостоверения о повышении квалификации (в случае отсутствия Диплома, по окончании курса будет выдан Сертификат Учебного Центра, подтверждающий факт пройденного обучения).

За несколько дней до начала обучения (обычно за неделю) все слушатели получают приглашение по указанной электронной почте (если обучение заказывалось централизованно, ваш персональный мейл могли не передать - обратитесь к специалисту вашей организации, кто заказывал курсы, приглашение есть у него). В приглашении указан адрес и прочая полезная для слушателя информация. Если вы не получили приглашение – обратитесь к нам любым удобным для вас способом, и мы сообщим адрес и продублируем приглашение на вашу почту.

В основном корпусе в Москве по адресу Дербеневская набережная д.7 стр.5, БЦ «Оазис», парковки, к сожалению, нет. Зато есть муниципальная платная парковка на всех прилегающих улицах.

По поводу остальных филиалов и корпусов – уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.

Да, во время занятий для слушателей всегда доступны чай, кофе, прохладительные напитки и орешки, печеньки и другие снеки на кофе-брейках. Помимо этого, в обеденный перерыв будет предложен полноценный горячий обед.

Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.

Обо всех специальных условиях читайте в разделе Спецпредложения.

Недостаточно информации? Напишите нам, и мы сделаем вам предложение, от которого невозможно отказаться.

Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!