HADMНовый

Администрирование кластера Hadoop

Вендор

Big Data

Тематика

Big Data и машинное обучение, Big Data School, Hadoop

Тип курса

Авторский

Длительность

40 ак. часов

Ближайшая дата

Отсутствует

Стоимость

100 000.00 RUB

Формируем расписание курса

Оставьте заявку, и мы проинформируем вас когда все будет готово.

Описание

Курс администрирование кластера Hadoop построен на сквозных практических примерах развертывания и администрирования распределенной вычислительной среды: локально и в облачной инфраструктуре. Вы изучите особенности использования компонент Hadoop для запуска задач распределенных вычислений с тестовыми данными. Практические занятия выполняются в кластерной среде Amazone Web Services с использованием дистрибутивов Cloudera Distributed Hadoop/ HortonWorks и Arenadata Hadoop (российский дистрибутив Hadoop в рамках программы импортозамещения), а также программного обеспечения управления кластером Cloudera Manager/ Arenadata Hadoop / HortonWorks. 5 дней практического обучения работе с кластером Hadoop: установка и настройка, обеспечение безопасности (Kerberos, Apache Ranger), мониторинг, репликация и резервное копирование, взаимодействие с компонентами экосистемы Hadoop (Apache Spark, Hive, Sqoop, Flume), работа с HDFS и MapReduce.

Соотношение теории к практике 40/60

Сегодня Apache Hadoop является самой популярной открытой платформой для распределенных вычислений и главной технологией больших данных (Big Data). Данный курс для администраторов Big Data содержит всю необходимую теоретическую информацию по планированию и развертыванию распределенных вычислительных кластеров на базе дистрибутивов Hadoop. Рассматриваются процессы мониторинга и оптимизации производительности системы, резервному копированию и аварийному восстановлению узлов кластера и отдельных компонент. Особое внимание уделено настройкам безопасности системы Kerberos (Active Directory и MIT/FreeIPA) на базе Hadoop.

Профиль аудитории

Практический курс Администрирование кластера Hadoop предназначен для системных администраторов, архитекторов, DevOps-инженеров и разработчиков Big Data, которые хотят освоить прикладные навыки установки, конфигурирования, обслуживания, управления и администрирования кластера Hadoop на базе дистрибутивов Cloudera и Cloudera Manager, HortonWorks или Arenadata Hadoop.

Необходимая подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)

Программа курса

Введение в Big Data
- Что такое Big Data. Понимание проблемы Big Data
- Эволюция систем распределенных вычислений Hadoop
- Принципы формирования Data Lake и pipelines
Архитектура Apache Hadoop
- Hadoop сервисы и основные компоненты. Name node. Data Node.
- YARN сервис — планировщик
- HDFS
- Отказоустойчивость и высокая доступность
Hadoop Distributed File System
- Архитектура HDFS. Блоки HDFS.
- Основные команды работы с HDFS.
- Операции чтения и записи, назначения HDFS.
- Дисковые квоты. Поддержка компрессии
- Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы
- Импорт (загрузка) данных на HDFS
- Организация Tiering для хранения данных
- Архивное хранение HDFS
- Локальное чтение и распределенное кэширование
Map Reduce
- Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2/3
- Ограничения и параметры MapReduce и YARN
- Управление запуском пользовательских задач (jobs) под MapReduce
Дизайн кластера Hadoop
- Сравнение дистрибутивов и версий Hadoop 2/3 (Cloudera Distributed Hadoop, MapR, HortonWorks Data Platform, Arenadata Hadoop): различия и ограничения
- Требования программного и аппаратного обеспечения
- Планирование кластера
- Масштабирование кластера Hadoop. Отказоустойчивость Hadoop
- Federated NameNode. Hadoop в облаке.
- Сравнение Cloud решений для Hadoop. Amazon EMR
- Интеграция с другими решениями: streaming (DataFlow), NoSQL.
Установка кластера
- Установка Hadoop кластера
- Выбор начальной конфигурации
- Оптимизация уровня ядра для узлов
- Начальная конфигурация HDFS и MapReduce
- Файлы логов и конфигураций
- Установка Hadoop клиентов
- Установка Hadoop кластера в облаке
- Автоматические варианты установки
- Установка и настройка кластера Hadoop в изолированном окружении (offline).
Операции обслуживания кластера Hadoop
- Дисковая подсистема
- Квоты
- Остановка, запуск, перезапуск(Graceful Shutdown)
- Управление узлами
- Управление обновлениями и создание локального репозитория
Оптимизация и управление ресурсами
- Поиск узких мест.
- Производительность. Файловая система. Data Node и data layout и партиционирование, bucketing
- Планировщики: FIFO scheduler. Планировщик емкости (Capacity scheduler). Гранулярное управление ресурсами (Fair scheduler). Защита очередей и доминантное управление ресурсами DRF.
- Особенности управления ресурсами для разных дистрибутивов
Управление кластером Hadoop с использованием Cloudera Manager/Apache Ambari
- Установка Cloudera Manager/Apache Ambari
- Основные операции и задачи Cloudera Manager/Apache Ambari
- Мониторинг с Cloudera Manager/Apache Ambari/ Grafana
- Диагностика и разрешение проблем с Cloudera Manager/Apache Ambari
Безопасность Apache Hadoop
- Безопасность по умолчанию
- Многопользовательский режим
- Аутентификация и авторизация с использованием Active Directory(Microsoft), REALM MIT/FreeIPA: Kerberos, keytabs, principals. Установка и конфигурирование Kerberos в Hadoop
- Обзор возможностей Apache Sentry, Cloudera Navigator, Apache Ambari, Apache Ranger, Apache Knox, Apache Atlas
- Резервное копирование и аварийное восстановление
- Репликация данных и snapshoting. Конфигурирование высокой доступности Name node (HA)
- Компоненты безопасности Hadoop
- Best practices Cloudera / HortonWorks/ArenaData
Мониторинг Apache Hadoop
- Apache Zookeeper
- Встроенные средства мониторинга Cloudera Manager/Apache Ambari
- Логи сервисов и компонент
- Внешние системы мониторинга: Zabbix, JMX, Grafana
Troubleshooting
- Data Node
- Name Node
- Восстановление Name Node
Инструментарий Apache Hadoop экосистемы
- Графический интерфейс сервиса HUE
- Назначение Apache Zookeeper
- Основы Apache Pig — установка и выполнение базовых операций
- Введение в Apache Hive, понятие Hive таблицы, установка Hive
- Использование Apache Sqoop — установка и выполнение базовых операций
- Базовые операции Apache Flume — установка и выполнение базовых операций
- Обзор и назначение компонент: Cloudera Impala, Apache NiFi, Apache HBase, Apache Kafka, Apache Zookeeper, Apache Oozie

Примерный список практических занятий:

Ручная установка кластера Hadoop с дистрибутива Cloudera Distributed
Hadoop/HortonWorks/Arenadata Hadoop на локальной системе 3-узловый кластер
Установка 3-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager/Apache Ambari
Базовые операции с кластером Hadoop и файловые операции HDFS.
Управление ресурсами и запуском задач с использованием YARN MapReduce/Tez.
Управление кластером с использованием Cloudera Manager/Apache Ambari(развертывание сервисов, репликация, мониторинг, alerting и т.д.)
Конфигурирование системы аутентификации Kerberos для кластера Hadoop под управление Cloudera Manager/Apache Ambari
Установка и выполнение базовых операций в Apache Hive, Apache sqoop, Apache Flume
Выполнение задач в веб-интерфейсе HUE/Apache Ambari View
Мониторинг кластера Hadoop с использованием Zabbix (опционально)
HA высокая доступность (High Availablility) Name Node и YARN (ресурс-менеджер) .

Примечание:
Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу).
Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей

Скачать расписание курса

FAQ

По окончании обучения слушатели получают либо Сертификат Учебного Центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении). Для получения Удостоверения необходимо, чтобы длительность обучения превышала 16 академических часов, а также необходимо предоставить оригинал Диплома о профессиональном или высшем образовании государственного образца.

Помимо этого, по факту прохождения авторизованных курсов вендоров Cisco, Postgres, AstraLinux, Microsoft, ICAgile выдается электронный сертификат вендора.

Возьмите паспорт и Диплом об окончании профессионального или высшего образования. Диплом понадобится для получения Удостоверения о повышении квалификации (в случае отсутствия Диплома, по окончании курса будет выдан Сертификат Учебного Центра, подтверждающий факт пройденного обучения).

За несколько дней до начала обучения (обычно за неделю) все слушатели получают приглашение по указанной электронной почте (если обучение заказывалось централизованно, ваш персональный мейл могли не передать - обратитесь к специалисту вашей организации, кто заказывал курсы, приглашение есть у него). В приглашении указан адрес и прочая полезная для слушателя информация. Если вы не получили приглашение – обратитесь к нам любым удобным для вас способом, и мы сообщим адрес и продублируем приглашение на вашу почту.

В основном корпусе в Москве по адресу Дербеневская набережная д.7 стр.5, БЦ «Оазис», парковки, к сожалению, нет. Зато есть муниципальная платная парковка на всех прилегающих улицах.

По поводу остальных филиалов и корпусов – уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.

Да, во время занятий для слушателей всегда доступны чай, кофе, прохладительные напитки и орешки, печеньки и другие снеки на кофе-брейках. Помимо этого, в обеденный перерыв будет предложен полноценный горячий обед.

Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.

Обо всех специальных условиях читайте в разделе Спецпредложения.

Недостаточно информации? Напишите нам, и мы сделаем вам предложение, от которого невозможно отказаться.

Не нашли подходящиего курса?

Оставьте заявку на обучение для вашей организации

Специальные предложения

Скидки и бонусы на треки

Предоставляем скидки, бесплатное тестирование, консультационную поддержку тренера при покупке трека обучения