data engineering2024

Earthquake Dataset - ETL Data Engineering

Proyek Data Engineering untuk melakukan proses ETL (Extract, Transform, Load) pada dataset gempa bumi. Data gempa diintegrasikan dengan data demografi, geologi, infrastruktur, dan historis menggunakan arsitektur modern data warehouse.

View on GitHub

📸Screenshots

Klik gambar untuk melihat dalam ukuran penuh

Technologies Used

Python
Apache Spark
Apache Airflow
Pentaho
PostgreSQL
Google Cloud Storage
BigQuery

✨Key Features

  • •ETL Pipeline dengan Pentaho untuk ekstraksi data CSV
  • •Data transformation menggunakan Apache Spark
  • •Star schema data warehouse design
  • •Automated ETL orchestration dengan Apache Airflow
  • •Cloud storage di Google Cloud Storage (GCS)
  • •Data warehouse di Google BigQuery
  • •Dashboard visualisasi data gempa
Lihat Project Lainnya