Linux уровень 7. Администрирование высокодоступных сервисов и кластерного хранения Linux

Модуль 1. Архитектура высокой доступности в Linux-инфраструктуре

1.1. Цели высокой доступности

SLA, SLO, RTO, RPO, MTBF, MTTR. Отличие отказоустойчивости, катастрофоустойчивости и резервного копирования. Типовые причины недоступности сервисов.

1.2. Архитектурные модели

Active/Passive, Active/Active, N+1, shared-nothing, shared-disk, stateless и stateful-сервисы. Fault domains, quorum, split-brain, fencing, виртуальные IP-адреса.

1.3. Проектирование учебного стенда

Роли узлов, адресный план, сервисные VIP, backend-сервисы, выделение управляющей и клиентской сети. Требования к наблюдаемости и журналированию кластера.

Лабораторная работа 1. Проектирование HA-стенда и матрицы отказов.

Модуль 2. Балансировка нагрузки и сетевой failover

2.1. Сетевая готовность узлов к HA

Bonding, VLAN, MTU, policy routing, sysctl-параметры для балансировщиков, проверка асимметричной маршрутизации. Тема рассматривается на уровне эксплуатации HA, без повторения основ настройки интерфейсов.

2.2. Keepalived и VRRP

VRRP instance, priority, advert interval, preempt/nopreempt, track_script, track_interface, unicast/multicast VRRP, защита от ложного failover. Переключение виртуального IP между балансировщиками.

2.3. HAProxy

Frontend/backend/listen, L4 и L7-балансировка, health checks, алгоритмы балансировки, ACL, SNI, TLS termination, stick tables, retries/timeouts, slow start, maintenance mode, логирование, stats socket и runtime API.

2.4. LVS/IPVS

Назначение LVS, режимы NAT/DR/TUN, ipvsadm, ldirectord, сравнение LVS и HAProxy. Разбор сценариев, где оправдан L4-балансировщик ядра.

Лабораторная работа 2. Настройка Keepalived/VRRP и проверка переключения VIP.

Лабораторная работа 3. Настройка HAProxy для L4/L7-балансировки, health checks и TLS termination.

Модуль 3. Кластеры Pacemaker и Corosync

3.1. Компоненты отказоустойчивого кластера

Corosync, Pacemaker, CIB, DC, pengine, lrmd, stonithd. Классы ресурсных агентов: OCF, systemd, service, STONITH. Инструменты pcs, crm_mon, crm_resource, crm_verify.

3.2. Сборка кластера

Инициализация Corosync, аутентификация узлов, cluster properties, quorum, two-node cluster, qdevice. Проверка коммуникации и состояния membership.

3.3. Fencing и защита от split-brain

STONITH, SBD, watchdog, fencing-delay, fence levels. Почему кластер без fencing нельзя считать отказоустойчивым.

3.4. Ресурсы и ограничения

Primitive resources, groups, clones, promotable resources. Location, order и colocation constraints. Resource stickiness, migration-threshold, failure-timeout, maintenance mode.

3.5. Эксплуатация Pacemaker

Перевод узлов в standby, ручная миграция ресурсов, cleanup после отказов, симуляция изменений, чтение журналов, восстановление после потери узла.

Лабораторная работа 4. Сборка Pacemaker/Corosync-кластера, настройка quorum и базовых ресурсов.

Лабораторная работа 5. Настройка fencing/STONITH или SBD и проверка корректного восстановления.

Лабораторная работа 6. Публикация сервиса через Pacemaker resource group и constraints.

Модуль 4. Кластерное блочное хранение и файловые системы

4.1. Модели кластерного хранения

Shared-disk, replicated block storage, distributed storage. DLM, блокировки, требования к файловым системам в кластере. Различия между локальной, кластерной и распределенной файловой системой.

4.2. DRBD 9

Ресурсы DRBD, replication protocols A/B/C, primary/secondary, quorum, handlers, split-brain recovery, resync, online verification. Интеграция DRBD с Pacemaker.

4.3. GFS2 и OCFS2

Назначение кластерных файловых систем, создание и монтирование GFS2/OCFS2, журналирование, рост файловой системы, проверка целостности, роль DLM и Pacemaker.

4.4. Доступ к внешнему блочному хранилищу

iSCSI initiator/target на уровне HA-сценариев, multipath, DM-MPIO, clustered LVM, типовые ошибки при одновременном доступе к блочным устройствам.

Лабораторная работа 7. Настройка DRBD и интеграция replicated block device с Pacemaker.

Модуль 5. Распределенное файловое хранение

5.1. GlusterFS

Архитектура GlusterFS, trusted pool, peers, bricks, volumes. Replicated, distributed, distributed-replicated и arbiter volumes. Gluster native client и FUSE-монтирование.

5.2. Эксплуатация GlusterFS

Расширение кластера, добавление и удаление bricks, rebalance, self-heal, замена отказавшего диска или узла, проверка split-brain, geo-replication как обзорная тема.

5.3. Публикация файлового сервиса поверх GlusterFS

Варианты доступа для приложений, NFS-Ganesha как обзор, ограничения POSIX-семантики, влияние latency и small files на производительность.

5.4. Ceph как альтернативная платформа

Обзор архитектуры Ceph: MON, MGR, OSD, MDS, pools, placement groups, CRUSH, RBD и CephFS. Сравнение применимости Ceph и GlusterFS для учебного и промышленного стенда.

Лабораторная работа 8. Создание и эксплуатация GlusterFS volume, замена отказавшего brick.

Модуль 6. Наблюдаемость, аварийные проверки и эксплуатация HA-сервисов

6.1. Мониторинг HA-компонентов

HAProxy stats, logs и runtime socket; keepalived notify scripts; Pacemaker status и cluster events; GlusterFS volume status/heal info; системные метрики узлов. Обзор Prometheus exporters для HAProxy, node exporter, blackbox checks.

6.2. Аварийные сценарии

Потеря backend-сервиса, потеря балансировщика, сетевой split-brain, отказ диска, отказ quorum-узла, задержка восстановления, ручное переключение при регламентных работах.

6.3. Эксплуатационные документы

Runbook для failover/failback, план регламентных обновлений, резервное копирование конфигураций кластера, критерии готовности сервиса к промышленной эксплуатации.

Лабораторная работа 9. Итоговый отказоустойчивый сервис: VIP, балансировка, кластерный ресурс, хранилище, аварийные проверки.