Jalur belajar

Baca sesuai urutan materi. Nomor menunjukkan urutan kurikulum; situs ini tidak melacak penyelesaian belajar.

Fondasi data engineering

Pemula

Ikuti perjalanan data dari sumber, pembersihan, dan ETL hingga model analitik.

Prasyarat

Mampu membaca tabel. Untuk latihan Python, siapkan Python 3 dan pemahaman fungsi dasar.

Hasil belajar

Jelaskan batas pipeline, bersihkan transaksi, bangun ETL kecil, dan bedakan fakta dengan dimensi.

Urutan bacaan

1
Ikuti perjalanan transaksi contoh dari sumber hingga tabel yang siap dianalisis.
2
Rapikan identifier kosong, pilih revisi transaksi secara deterministik, lalu cocokkan jumlah baris penolakan.
3
Baca CSV kecil, tolak amount yang tidak valid secara jelas, lalu tulis hasil JSON Lines yang dapat diulang.
4
Tentukan grain fakta penjualan sebelum menggabungkan dimensi dan menjumlahkan pendapatan.

Pipeline yang andal

Praktisi · Menengah hingga lanjutan

Hubungkan penjadwalan, pengujian transformasi, dan replay yang aman.

Prasyarat

Selesaikan jalur Fondasi atau kuasai SQL, fungsi Python, ETL, serta model dimensi.

Baca jalur Fondasi

Hasil belajar

Baca dependensi DAG, tentukan pengujian model, dan rancang penulisan idempoten untuk pemulihan.

Urutan bacaan

1
Atur dependensi dan percobaan ulang terbatas sambil menjaga publikasi batch aman untuk diulang.
2
Hubungkan model melalui ref, uji kunci bisnis, lalu tinjau ketepatan pemrosesan inkremental secara terpisah.
3
Gunakan kunci bisnis dan revisi sumber agar pembaruan tujuan aman saat batch diputar ulang.

Semua jalur belajar · Pengantar streaming (bacaan mandiri)