[Слёрм] Apache Kafka (Анатолий Солдатов, Александр Миронов)
Преимущества курса:
? Методология Слёрм
Мы расскажем об Apache Kafka в простой и последовательной форме, вам не придется изучать сложную документацию.
? Работа на результат
Техподдержка поможет каждому студенту справиться с практическими заданиями и добиться поставленных целей.
? Курс на русском языке
Практический курс по Apache Kafka на русском языке, вам будет проще усвоить материал, задавать вопросы и общаться с коллегами.
? Практикующие эксперты
Вы будете учиться у специалистов, которые уже несколько лет работают с Apache Kafka, знают о важных нюансах и будут делиться своим опытом с вами.
Необходимые знания:
а) Базовые знания и навыки работы с Git и Docker
- клонирование репозитория, добавление в него файла, commit, push.
- сборка docker-образов и запуск контейнеров из них.
б) Хорошее знание Linux
- умение работать с systemd, sudo, ip, ifconfig, cron;
- знание bash на уровне написания (минимум чтения) скриптов;
- умение работать с консолью (автокомплит, хистори и т.д.);
- знание основных утилит в линукс (ps, grep, cat, free и т.д.).
Бесплатный блок (Курс будет доступен в личном кабинете EDU.SLURM.IO после регистрации):
1. Введение
- Немного истории: почему лог и стриминг важны, и занимают значительное место в бизнес процессах компаний.
- Место Кафки в жизни корпорации.
- Сравнения с подобными технологиями.
- Базовые примитивы: брокеры, топики, партиции, оффсеты, retention - обзор экосистемы (коннекторы, фреймворки).
- Создание и конфигурация топиков - первая запись и первое чтение (из консоли и клиентом).
- Zookeeper (basic knowledge).
№1: Distributed Cluster
- Конфигурационные параметры кластера.
- Отказоустойчивость (replication, RF, ISR, leader election).
- Контроллер - multi-DC setup: rack-awareness (MirrorMaker 2.0, uReplicator) - примеры архитектур.
- Producer (lingering, batching, acks).
- Consumer (standalone, consumer group).
- Как (не) потерять данные: strong consistency vs. availability (acks, jepsen).
- Idempotence & transactions.
- Key metrics.
- Key alerts.
- SLI & SLO for streaming infrastructure.
- Benchmarking.
- Изменение конфигурационных параметров и их оптимизация.
- Балансировщик: partition assignment & repartitioning (hotspots, throttling, tools).
- Upgrades & downgrades.
- Чтение логов.
- Продвинутые инструменты (decoding __consumer_offsets, dumping binary blobs, forcing controller re-election, zookeeper data).
- Примеры из практики, real-life кейсы.