[Rebrain] Мини-практикум KAFKA (Алексей Калакин, Николай Макаров)

​

Apache Kafka – распределенный программный брокер сообщений для организации очередей в целях отслеживания больших потоков входных данных. На сегодняшний день Apache Kafka является стандартом индустрии в качестве брокера сообщений. Более 80 % компаний из Fortune 100 используют Kafka.

Кому подходит:

• Разработчики
• Системные аналитики
• Архитекторы
• SRE

Программа охватывает все основные аспекты работы с Kafka.

Научимся:

• Производить установку и настройку Apache Kafka
• Выбирать и настраивать WebUI интерфейс в зависимости от требуемых результатов
• Настраивать мониторинг данных на базе prometheus & jmx exporter
• Настраивать защищённый мультиброкерный отказоустойчивый кластер
• Создавать и конфигурировать продюсеры и консьюмеры
• Валидировать структуру данных с помощью Schema registry
• Обеспечивать гарантию доставки данных
• Настраивать и использовать Kafka connect и Kafka streams

Практикум рассчитан на разработчиков среднего и начинающего уровня, желающих познакомиться с инструментом Apache Kafka и углубить свои познания в нем.

Для работы с практикумом необходимо:

• Уверенно владеть каким-либо языком программирования (предпочтительны Java, Python)
• Иметь базовые представления об асинхронных вычислениях, общепринятых форматах данных
• Базовое знание сетей

Спойлер: Программа:

Модуль 1. Инфраструктура:

Что такое очередь сообщений и журнал сообщений
Для чего нужен брокер сообщений
Аналоги Kafka и дистрибутивы Kafka
Архитектура Kafka
Установка Kafka
Базовая настройка
Обзор WebUI
Документация
Настройка с ZooKeeper
Настройка с KRaft
Настройка аутентификации и авторизации через GSSAPI + Kerberos
Мониторинг Kafka: метрики
Настройка мониторинга Kafka на базе Prometheus & JMX Exporter
Отказустойчивость Kafka
Поведение в случае отказа broker/consumer/producer
Защищённый кластер Hardware Administration: как рассчитать необходимые мощности (CPU, Network, HDD, RAM) для кластера

Модуль 2. Разработка:

Конфигурация Producer
API продюсера
send(), ack и callback-отправки
Синхронная и ассинхронная отправка
Транзакции Producer
Сериализаторы: знакомство
Конфигурация Consumer
Offset и Commit
Партиции
Транзакции
API Консьюмера
Настройка аутентификации и авторизации через GSSAPI + Kerberos
Apache Avro Schema Registry: как валидировать структуру сообщений с её помощью
Event-driven архитектура и пример её применения
Репликация в Kafka
Партицирование
Контроллеры и лидеры
Работа с несколькими consumer/producer на одном топике
Гарантии доставки в Kafka и как они достигаются
Retention
Что такое Kafka Connect и зачем он нужен
Use cases Connect
Типы коннекторов
Kafka Streams: зачем нужны и как могут упростить архитектуру
Processor: что такое и как подключается
KSQL и KSQLdb: что такое и как пользоваться

Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...