ETL Pipeline: Strategi Planning dan Construction untuk Data Skala Besar
Tim kami punya masalah, terdapat data (dari pihak lain) yang digunakan untuk analisa dan dashboard aplikasi, sedangkan akses ke sumber data ga bisa ambil data periode satu tahun sekaligus, tetapi dari setiap tanggal-bulan, dan setiap request memakan waktu 30 detik. Total seluruh data dapat mencapai ratusan ribu Bagaimana cara mengatasi latensi data sumber yang lambat? Bagaimana melakukan ETL…















