Скачать [Stepik] Data Engineering Fast‑Track: Kafka → Airflow → Spark

  • Гость, подпишитесь сейчас

    📥 Наш адрес сайта меняется, чтобы быть в курсе актуального адреса, подпишитесь на телеграм канал «Перейти»

Описание складчины

Программирование востребовано в веб-разработке, мобильных приложениях, автоматизации и анализе данных. [Stepik] Data Engineering Fast‑Track: Kafka → Airflow → Spark поможет освоить необходимые навыки, а складчина сделает обучение доступнее.

Информация
Цена: 195 РУБ
Организатор: Kail Kail
Скачать
Kail
Kail
Организатор
Организатор
Регистрация
09.04.2020
Сообщения
463 322
Реакции
45 741
Монеты
1 191
Оплачено
0
Баллы
0
  • #SkladchinaVip
  • #1
[Stepik] Data Engineering Fast‑Track: Kafka → Airflow → Spark
Ссылка на картинку
Практический fast-track по data engineering: за 4–6 недель собираем рабочий конвейер Kafka → Spark → Lakehouse под управлением Airflow. Разберём batch и streaming, окна и watermark, схемы и контракты. Мини‑проекты, Docker Compose, шаблоны DAG и пайплайнов. Курс подойдёт инженерам, аналитикам и тем, кто хочет освоить современные пайплайны данных с уверенным Python.
Чему вы научитесь
  • Проектировать конвейер данных Kafka → Spark → Lakehouse под управлением Airflow.
  • Поднимать локальное окружение через Docker Compose и воспроизводимо деплоить пайплайны.
  • Делать batch и streaming в Spark, настраивать окна и watermark.
  • Читать/писать данные в Parquet и табличные форматы Delta/Iceberg, избегать «small files».
  • Настраивать DAG: расписания, retries, SLA, catchup, datasets.
  • Подключать источники/приёмники через Kafka Connect/Schema Registry, понимать EOS/idempotency.
  • Писать базовые тесты качества данных (freshness/completeness) и алерты по свежести.
  • Выполнять backfill и разруливать инциденты (сломалась схема, отставание потребителей).
Показать больше
 
Зарегистрируйтесь , чтобы посмотреть контент.
airflow kafka stepik конвейер данных
Похожие складчины
Kail
Ответы
0
Просмотры
136
Kail
Kail
Kail
Ответы
0
Просмотры
302
Python
Kail
Kail
Kail
Ответы
0
Просмотры
47
Kail
Kail
Kail
Ответы
0
Просмотры
93
Kail
Kail
Kail
Ответы
0
Просмотры
867
1C
Kail
Kail
Показать больше складчин

Войдите или зарегистрируйтесь

Вы должны быть авторизованны для просмотра материала

Создать аккаунт

Создать учетную запись займет не больше минуты!

Войти

Уже зарегистрированы? Просто войдите.