Выберите городМосква
Москва
Алматы
Екатеринбург
Тюмень
Санкт-Петербург
Новосибирск
Сочи
Тбилиси
Москва
Алматы
Екатеринбург
Тюмень
Санкт-Петербург
Новосибирск
Сочи
Тбилиси
Личный кабинет
Выберите городМосква
Москва
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
Москва+7 495 231-23-51
Екатеринбург
Тюмень
Санкт-Петербург
Сочи
Тбилиси
INTR

Основы Hadoop

Вендор
Тип курса
Авторский
Длительность
24 ак. часов
Ближайшая дата
22 апр 2024
Стоимость
72 000 RUB
72 000 RUB
Описание

Apache Hadoop — это основная технология хранения и обработки больших данных (Big Data), свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ на кластерах из сотен и тысяч узлов. Сегодня вокруг Apache Hadoop существует целая экосистема связанных проектов и технологий, которые используются для интеллектуального анализа больших данных (Data Mining), в том числе с помощью машинного обучения (Machine Learning) . 

Курс «Основы Hadoop» представляет сокращенную версию курса «Администрирование кластера Hadoop»  и проводится параллельно с данным курсом в 3 дня, согласно утвержденной программе, на платформе Cloudera, HortonWorks или ArenaData Hadoop  (по выбору).

Apache Hadoop — это основная технология хранения и обработки больших данных (Big Data), свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ на кластерах из сотен и тысяч узлов. Сегодня вокруг Apache Hadoop существует целая экосистема связанных проектов и технологий, которые используются для интеллектуального анализа больших данных (Data Mining), в том числе с помощью машинного обучения (Machine Learning) .

На практике Apache Hadoop используется во множестве компаний по всему миру для:

  • хранения множества информации в различных форматах;
  • сортировка огромных объемов данных и разбор содержимого чрезвычайно больших файлов;
  • аналитики поисковых запросов и пользовательских логов в высоконагруженных веб-сайтах и корпоративных информационных системах;
  • быстрая обработка графических данных.

Лучшие практики (best practices) и сценарии (use cases) прикладного использования Хадуп рассматриваются в нашем курсе «Основы Hadoop» от лицензированного учебного центра "Школа Больших Данных".

Соотношение теории к практике 50/50

Практический курс  «Основы Hadoop» содержит базовые сведения по установке, настройке и эксплуатации кластера Hadoop. Обучение Хадуп в нашем учебном центре включает теоретический минимум, необходимый для эффективной практической работы с кластером Apache Hadoop. 

Курс построен на сквозных практических примерах с тренировочными наборами данных для запуска пакетных (batch) и потоковых (streaming) задач в Hadoop кластере. Для каждого слушателя предоставляются индивидуальные кластера в облачной инфраструктуре Amazon Web Services (AWS), чтобы вы освоили все концепции и понятия на практике. Какой именно дистрибутив Хадуп выбрать, решаете вы: Cloudera Distributed Hadoop, HortonWorks HDP или ArenaData Hadoop. Также на наших курсах обучения основам Hadoop вы познакомитесь с программным обеспечением по управлению кластером  Cloudera Manager или Apache Ambari (на выбор).

Кому полезен курс

Курс «Основы Hadoop» ориентирован на начинающих и опытных ИТ-специалистов в области больших данных, которые хотят получить теоретические знания и прикладные навыки по установке, настройке и использованию кластера Apache Hadoop на базе дистрибутивов Cloudera и HortonWorks.

Необходимая подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vinano)

Ваш результат обучения

Практическое обучение Хадуп в «Школе Больших Данных» позволит системному администратору, архитектору и разработчику Big Data освоить следующие умения:

  • базовые установка и настройка кластера Hadoop в облаке
  • основные операции с файловой системой HDFS
  • запуск задач и управление ресурсами MapReduce и YARN
  • взаимодействие с компонентами экосистемы HadoopSparkHiveSqoopFlume.
Программа курса
  1. Основы Hadoop и Big Data

    • Что такое Big Data. Понимание проблемы Big Data. Эволюция систем распределенных вычислений Hadoop. Концепция Data Lake.
  2. Архитектура Apache Hadoop

    • Hadoop сервисы и основные компоненты: Name node, Data Node, YARN, HDFS.
    • Отказоустойчивость и высокая доступность.
    • Batch процессинг.
    • Потоковая обработка
  3. Распределенная файловая система HDFS

    • Основы HDFS: Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Дисковые квоты.
    • Архитектура HDFS. Управление репликацией. Политики гибридного хранения данных HDFS.
    • Основные форматы хранения данных TXTAVROORCParquetSequence файлы.
    • Влияние компрессии на производительность. Кодеки компрессии.
    • Импорт(загрузка) данных на HDFS
  4. MapReduce

    • Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduceYARN MapReduce v2. Ограничения и параметры MapReduce и YARN. Управление запуском пользовательских задач (jobs) под MapReduce.
  5. Установка кластера Hadoop

    • Установка Hadoop кластера.
    • Выбор начальной конфигурации.
    • Оптимизация уровня ядра для узлов.
    • Оптимизация Java, JVM, Heap size, Garbage Collection
    • Начальная конфигурация HDFS и MapReduce.
    • Файлы логов и конфигураций.
    • Настройка подключений Hadoop клиентов.
    • Установка кластера Hadoop в облаке.
    • Особенности настройки кластера Hadoop на физическом сервере (on-premises)
    • Топология кластера Hadoop
    • Tiering — многоуровневое хранение данных (Cold, Warm,Hot, RAM disk). Storage policy — полтиики хранения. Метки конфигураций узлов. RACK awareness.
  6. Архитектура YARN — планировщик и менеджер ресурсов

    • Поиск узких мест. Производительность. Файловая система. Data Node. Сетевая производительность.
    • FIFO scheduler
    • Capacity scheduler (Планировщик по мощности)
    • Fair scheduler (Гранулярное управление ресурсами)
    • Защита очередей и доминантное управление ресурсами DRF
  7. Инструментарий Hadoop экосистемы

    • Графический интерфейс сервиса HUE/Zeppelin
    • Базовые операции в  Apache Pig
    • Использование  Apache Hive для доступа к данным на HDFS  по SQL интерфейсу,  понятие Hive таблицы, HiveQL — базовый синтаксис.
    • Импорт и экспорт SQL таблиц с применением Apache sqoop
    • Настройка агентов для управления потоковыми операциями с Apache Flume
    • Базовые операции в Apache Spark

Примерный список практических занятий по курсу «Основы Hadoop»:

  • Установка 3х-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager/Apache Ambari
  • Базовые операции обслуживания кластера Hadoop и файловые операции HDFS
  • Управление ресурсами и запуском задач с использованием YARN и MapReduce
  • ETL операции преобразования с использованием Apache Pig
  • Знакомство с SQL интерфейсом доступа Apache Hive
  • Выполнение базовых операций  импорта/экспорта с применением Apache sqoop
  • Настройка агента потоковой обработки Apache Flume(опционально)
  • Применение веб-интерфейса HUE/Zeppelin (опционально)

Примечание:
• Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу)
• Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей

! Данный курс может быть заказан согласно 44-ФЗ, 223-ФЗ (закупка, аукцион, запрос котировок, конкурсные процедуры)

Доступные формы обучения
Описание фомата

Очная форма – это классическая форма обучения. Студенты посещают занятия в специально оборудованном классе на территории учебного центра в соответствии с установленным расписанием.

Занятие длится 8 академических часов в день, стандартное время начала обучения – 10:00.

Преимущество очного обучения – это личный контакт с тренером-преподавателем и с остальными студентами курса. Во время обучения студенты сдают лабораторные работы вендоров, к которым предоставляется доступ, а также лабораторные работы, специально разработанные тренерами-преподавателями. Обучающиеся выполняют практические занятия, получая доступ к оборудованию или при помощи его эмуляции.

Описание фомата

Дистанционное (онлайн) обучение проводится с применением Системы Дистанционного обучения УЦ Микротест - системы Mirapolis. По форме и содержанию дистанционное обучение полностью совпадает с аналогичными очными курсами.

Занятие длится 8 академических часов в день, стандартное время проведения обучения с 10:00 до 17.00.

Обучение проходит в реальном времени с преподавателем. В процессе обучения вы сможете задавать вопросы – в чате или голосом во время занятия. В зависимости от программы курса, каждому студенту предоставляется доступ к стенду с лабораторными работами. Для закрепления материала курса вам будут доступны записи прошедших вебинаров в вашем личном кабинете в ЛК Mirapolis.

Данный формат обучения позволяет существенно сократить командировочные издержки.

Расписание курса
Выберите удобную для вас дату
апр 2024
22 апр - 26 апр
Москва
Очная Очная
Преподаватель курса
Ожидается назначение
Стоимость
72 000 RUB
апр 2024
22 апр - 26 апр
Москва
Дистанционная Дистанционная
Преподаватель курса
Ожидается назначение
Стоимость
72 000 RUB
Если в расписании нет удобных для Вас дат, напишите нам - мы разработаем удобные варианты специально для Вас!
Слушатели рекомендуют нас
5.0
5.0
FAQ

Онлайн обучение реализуется в Системе Дистанционного Обучения УЦ Микротест — Mirapolis и проходит в реальном времени с преподавателем. За несколько дней до начала обучения вы получаете необходимые ссылки для подключения к курсу и доступ к Личному кабинету.

Более подробно вы можете ознакомиться с информацией на странице дистанционного обучения.

Если у вас остались вопросы, то обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на все ваши вопросы.

Очное обучение проходит на территории Учебного центра Микротест по адресу: Москва, Дербеневская наб. д. 7 стр.5, 5 этаж.

За несколько дней до начала обучения участник получает приглашение, в котором указан адрес места проведения и другая полезная информация для обучения.

Если вы не получили приглашение — обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru), и мы ответим на ваши вопросы и продублируем приглашение на вашу почту.

  1. Обучение проходит в реальном времени с преподавателем, вы можете задавать свои вопросы и разбирать интересные кейсы сразу в процессе обучения.
  2. Вашу учебную группу будет сопровождать координатор, которому можно задавать организационные вопросы.
  3. Если вы по каким-то причинам пропустили онлайн-занятие, то все записи будут доступны 24/7 в вашем личном кабинете в Системе Дистанционного Обучения. Также вы можете их использовать для закрепления материала.
  4. Дополнительно для вашего удобства мы создаем чат в Telegram вашей группы, где вы сможете задавать вопросы преподавателю, координатору и обмениваться опытом с коллегами по обучению.

По итогу прохождения обучения слушатели получают либо Сертификат Учебного центра о прохождении курса, либо Удостоверение о повышении квалификации, зарегистрированное в ФРДО (Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении).

Помимо этого, по факту прохождения авторизованных курсов вендоров Eltex, PostgresPro, Astra Linux, QTECH, АЭРОДИСК и др. выдается электронный сертификат вендора.

В основном корпусе в Москве по адресу Дербеневская набережная д.7 стр.5, БЦ «Оазис», парковки, к сожалению, нет. Зато есть муниципальная платная парковка на всех прилегающих улицах.

По поводу остальных филиалов и корпусов — уточняйте информацию у наших менеджеров. Мы постараемся сделать всё возможное для вашего комфортного обучения.

Да, во время занятий для слушателей всегда доступны чай, кофе, печенье и другие снеки на кофе-брейках. Помимо этого, в обеденный перерыв будет предложен полноценный горячий обед.

Наш центр работает с корпоративными и частными клиентами. Для каждой категории клиентов мы разработали различные варианты сотрудничества, позволяющие гибко подходить к ценообразованию и вариантам оплаты.

Обо всех специальных условиях читайте в разделе Спецпредложения или обратитесь к нам любым удобным для вас способом (тел. +7(495) 231-23-51 или training@training-microtest.ru)

Также подпишитесь на новости нашего учебного центра, где вы первыми узнаете про интересные предложения от нас.

Не нашли подходящиего курса?
Оставьте заявку на обучение для вашей организации
Почему выбирают обучение у нас
Техническая
экспертиза

Эксперты в обучении:

  • Сети передачи данных и связь
  • ОС Linux и платформы виртуализации
  • Центры обработки данных и СХД

Опытные преподаватели с мультивендорной экспертизой

Расширенный лабораторный полигон для практики

Подготовка ИТ-специалистов по государственным профессиональным стандартам

Образовательный девелопер

Проектирование и реализация мультивендорных образовательных решений, программ «под ключ»

Разработка и реализация технологических решений для оценки компетенций: тесты, лабораторные полигоны и стенды

Большой опыт создания технологических партнерств с ИТ-вендорами, дистрибьюторами и крупными интеграторами

Пул экспертов в управлении образовательными проектами + разработчики, методологи, педагогические дизайнеры

Подпишитесь и будьте в курсе
Информация о новинках, скидках и акциях. Уже более 36 000 подписчиков!