Выберите городМосква
Москва
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
Москва+7 495 231-23-51
Екатеринбург
Тюмень
Санкт-Петербург
Тбилиси
Личный кабинет
Выберите городМосква
Москва
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
Москва+7 495 231-23-51
Екатеринбург
Тюмень
Санкт-Петербург
Тбилиси
Big Data
INTROНовый

Основы Hadoop

Вендор
Тип курса
Авторский
Формы обучения
Очная
ОчнаяОчная
Занятие длится 8 академических часов в день, стандартное время начала обучения – 10:00.
Длительность
24 ак. часов
Ближайшая дата
17 мая / Москва
Стоимость
54 000.00 RUB
54 000.00 RUB
Описание

Apache Hadoop — это основная технология хранения и обработки больших данных (Big Data), свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ на кластерах из сотен и тысяч узлов. Сегодня вокруг Apache Hadoop существует целая экосистема связанных проектов и технологий, которые используются для интеллектуального анализа больших данных (Data Mining), в том числе с помощью машинного обучения (Machine Learning) . 

Курс «Основы Hadoop» представляет сокращенную версию курса «Администрирование кластера Hadoop»  и проводится параллельно с данным курсом в 3 дня, согласно утвержденной программе, на платформе Cloudera, HortonWorks или ArenaData Hadoop  (по выбору).

Apache Hadoop — это основная технология хранения и обработки больших данных (Big Data), свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ на кластерах из сотен и тысяч узлов. Сегодня вокруг Apache Hadoop существует целая экосистема связанных проектов и технологий, которые используются для интеллектуального анализа больших данных (Data Mining), в том числе с помощью машинного обучения (Machine Learning) .

На практике Apache Hadoop используется во множестве компаний по всему миру для:

  • хранения множества информации в различных форматах;
  • сортировка огромных объемов данных и разбор содержимого чрезвычайно больших файлов;
  • аналитики поисковых запросов и пользовательских логов в высоконагруженных веб-сайтах и корпоративных информационных системах;
  • быстрая обработка графических данных.

Лучшие практики (best practices) и сценарии (use cases) прикладного использования Хадуп рассматриваются в нашем курсе «Основы Hadoop» от лицензированного учебного центра "Школа Больших Данных".

Соотношение теории к практике 50/50

Практический курс  «Основы Hadoop» содержит базовые сведения по установке, настройке и эксплуатации кластера Hadoop. Обучение Хадуп в нашем учебном центре включает теоретический минимум, необходимый для эффективной практической работы с кластером Apache Hadoop. 

Курс построен на сквозных практических примерах с тренировочными наборами данных для запуска пакетных (batch) и потоковых (streaming) задач в Hadoop кластере. Для каждого слушателя предоставляются индивидуальные кластера в облачной инфраструктуре Amazon Web Services (AWS), чтобы вы освоили все концепции и понятия на практике. Какой именно дистрибутив Хадуп выбрать, решаете вы: Cloudera Distributed Hadoop, HortonWorks HDP или ArenaData Hadoop. Также на наших курсах обучения основам Hadoop вы познакомитесь с программным обеспечением по управлению кластером  Cloudera Manager или Apache Ambari (на выбор).

Профиль аудитории

Курс «Основы Hadoop» ориентирован на начинающих и опытных ИТ-специалистов в области больших данных, которые хотят получить теоретические знания и прикладные навыки по установке, настройке и использованию кластера Apache Hadoop на базе дистрибутивов Cloudera и HortonWorks.

Необходимая подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vinano)

Цели курса

Практическое обучение Хадуп в «Школе Больших Данных» позволит системному администратору, архитектору и разработчику Big Data освоить следующие умения:

  • базовые установка и настройка кластера Hadoop в облаке
  • основные операции с файловой системой HDFS
  • запуск задач и управление ресурсами MapReduce и YARN
  • взаимодействие с компонентами экосистемы HadoopSparkHiveSqoopFlume.
Программа курса
  1. Основы Hadoop и Big Data

    • Что такое Big Data. Понимание проблемы Big Data. Эволюция систем распределенных вычислений Hadoop. Концепция Data Lake.
  2. Архитектура Apache Hadoop

    • Hadoop сервисы и основные компоненты: Name node, Data Node, YARN, HDFS.
    • Отказоустойчивость и высокая доступность.
    • Batch процессинг.
    • Потоковая обработка
  3. Распределенная файловая система HDFS

    • Основы HDFS: Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Дисковые квоты.
    • Архитектура HDFS. Управление репликацией. Политики гибридного хранения данных HDFS.
    • Основные форматы хранения данных TXTAVROORCParquetSequence файлы.
    • Влияние компрессии на производительность. Кодеки компрессии.
    • Импорт(загрузка) данных на HDFS
  4. MapReduce

    • Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduceYARN MapReduce v2. Ограничения и параметры MapReduce и YARN. Управление запуском пользовательских задач (jobs) под MapReduce.
  5. Установка кластера Hadoop

    • Установка Hadoop кластера.
    • Выбор начальной конфигурации.
    • Оптимизация уровня ядра для узлов.
    • Оптимизация Java, JVM, Heap size, Garbage Collection
    • Начальная конфигурация HDFS и MapReduce.
    • Файлы логов и конфигураций.
    • Настройка подключений Hadoop клиентов.
    • Установка кластера Hadoop в облаке.
    • Особенности настройки кластера Hadoop на физическом сервере (on-premises)
    • Топология кластера Hadoop
    • Tiering — многоуровневое хранение данных (Cold, Warm,Hot, RAM disk). Storage policy — полтиики хранения. Метки конфигураций узлов. RACK awareness.
  6. Архитектура YARN — планировщик и менеджер ресурсов

    • Поиск узких мест. Производительность. Файловая система. Data Node. Сетевая производительность.
    • FIFO scheduler
    • Capacity scheduler (Планировщик по мощности)
    • Fair scheduler (Гранулярное управление ресурсами)
    • Защита очередей и доминантное управление ресурсами DRF
  7. Инструментарий Hadoop экосистемы

    • Графический интерфейс сервиса HUE/Zeppelin
    • Базовые операции в  Apache Pig
    • Использование  Apache Hive для доступа к данным на HDFS  по SQL интерфейсу,  понятие Hive таблицы, HiveQL — базовый синтаксис.
    • Импорт и экспорт SQL таблиц с применением Apache sqoop
    • Настройка агентов для управления потоковыми операциями с Apache Flume
    • Базовые операции в Apache Spark

Примерный список практических занятий по курсу «Основы Hadoop»:

  • Установка 3х-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager/Apache Ambari
  • Базовые операции обслуживания кластера Hadoop и файловые операции HDFS
  • Управление ресурсами и запуском задач с использованием YARN и MapReduce
  • ETL операции преобразования с использованием Apache Pig
  • Знакомство с SQL интерфейсом доступа Apache Hive
  • Выполнение базовых операций  импорта/экспорта с применением Apache sqoop
  • Настройка агента потоковой обработки Apache Flume(опционально)
  • Применение веб-интерфейса HUE/Zeppelin (опционально)

Примечание:
• Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу)
• Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей

Доступные формы обучения
Описание фомата

Очная форма – это классическая форма обучения. Студенты посещают занятия в специально оборудованном классе на территории учебного центра в соответствии с установленным расписанием.

Занятие длится 8 академических часов в день, стандартное время начала обучения – 10:00.

Преимущество очного обучения – это личный контакт с тренером-преподавателем и с остальными студентами курса. Во время обучения студенты сдают лабораторные работы вендоров, к которым предоставляется доступ, а также лабораторные работы, специально разработанные тренерами-преподавателями. Обучающиеся выполняют практические занятия, получая доступ к оборудованию или при помощи его эмуляции.

Расписание курса
Выберите удобную для вас дату
мая 2021
17 - 19 мая
Москва
ОчнаяОчная
Преподаватель курса
Ожидается назначение
Стоимость
54 000.00 RUB
Если в расписании нет удобных для Вас дат, напишите нам - мы разработаем удобные варианты специально для Вас!
FAQ

По окончании обучения слушатели получают либо Сертификат Учебного Центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении). Для получения Свидетельства необходимо, чтобы длительность обучения превышала 16 академических часов, а также необходимо предоставить оригинал Диплома о профессиональном или высшем образовании государственного образца.

Помимо этого, по факту прохождения авторизованных курсов вендоров Cisco, Postgres, AstraLinux, Microsoft, ICAgile выдается электронный сертификат вендора.

Возьмите паспорт и Диплом об окончании профессионального или высшего образования. Диплом понадобится для получения Удостоверения о повышении квалификации (в случае отсутствия Диплома, по окончании курса будет выдан Сертификат Учебного Центра, подтверждающий факт пройденного обучения).

За несколько дней до начала обучения (обычно за неделю) все слушатели получают приглашение по указанной электронной почте (если обучение заказывалось централизованно, ваш персональный мейл могли не передать - обратитесь к специалисту вашей организации, кто заказывал курсы, приглашение есть у него). В приглашении указан адрес и прочая полезная для слушателя информация. Если вы не получили приглашение – обратитесь к нам любым удобным для вас способом, и мы сообщим адрес и продублируем приглашение на вашу почту.

В основном корпусе в Москве по адресу Дербеневская набережная д.7 стр.5, БЦ «Оазис», парковки, к сожалению, нет. Зато есть муниципальная платная парковка на всех прилегающих улицах.

По поводу остальных филиалов и корпусов – уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.

Да, во время занятий для слушателей всегда доступны чай, кофе, прохладительные напитки и орешки, печеньки и другие снеки на кофе-брейках. Помимо этого, в обеденный перерыв будет предложен полноценный горячий обед.

Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.

Обо всех специальных условиях читайте в разделе Спецпредложения.

Недостаточно информации? Напишите нам, и мы сделаем вам предложение, от которого невозможно отказаться.

Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!