Data Engineer

Tentang posisi ini

Sebagai Insinyur Data, Anda akan bertanggung jawab untuk membangun dan menjaga infrastruktur data yang dapat diperparah yang mendukung pemrosesan data, integrasi, dan analisis di seluruh organisasi. Anda akan bekerja sama dengan ilmuwan Data, Analisis Data, dan tim teknis untuk memastikan bahwa data dari berbagai sumber secara akurat dikumpulkan, diubah, dan disampaikan. Peran ini membutuhkan keahlian yang kuat di SQL, Python, ETI / ELT proses, teknologi basis data, dan orkestra pipa data, dengan fokus pada keandalan, kinerja, dan kualitas data.

Yang akan Anda kerjakan

• Desain, mengembangkan, dan mempertahankan skalable ETL / ELT data jaringan untuk mengekstrak, mengubah, dan mengintegrasikan data dari beberapa sumber internal dan eksternal.
• Mengembangkan dan mengoptimalkan proses integrasi data antara database, aplikasi, APIs, dan lingkungan gudang data untuk mendukung kebutuhan analitis.
• Implemen pemrosesan data otomatis menggunakan Python, SQL, Apache Airflow, atau perangkat orkestra lainnya untuk meningkatkan efisiensi pipa data dan keandalan.
• Memantau eksekusi pipa data, mengidentifikasi kegagalan pemrosesan dan bottlenecks kinerja, dan melakukan compjooting untuk memastikan ketersediaan data sesuai dengan Advanced Level Agreaments (SLAs).
• Menjaga dokumentasi teknis yang meliputi arsitektur pipa data, pemetaan data, aturan transformasi, integrasi proses kerja, dan prosedur operasional.
• Berkolaborasi dengan ilmuwan Data, Analisis Data, dan pemegang bisnis untuk memahami persyaratan data dan menyediakan struktur data yang cocok dan solusi integrasi.

Yang Anda bawa

• Sarjana di bidang Ilmu Komputer, Teknologi Informasi, Sistem Informasi, Teknik Data, Teknik Perangkat Lunak, atau bidang yang terkait.
• Pengalaman minimal 3 + tahun sebagai Insinyur Data, Pengembang ETL, Pengembang Basis Data, atau peran rekayasa data yang terkait.
• Kecakapan yang kuat di SQL dan Python untuk ekstraksi data, transformasi, integrasi, dan pemrosesan otomatisasi.
• Hands-on pengalaman merancang, mengembangkan, dan menjaga jaringan pipa ETL / ELT menggunakan alat-alat seperti Apache Airflow, Apache NiFi, SSIS, atau teknologi yang setara.
• Pengalaman mengintegrasikan data dari REST APIs, database, berkas datar, dan sumber data yang terstruktur atau semi-terstruktur.
• Familiaritas dengan platform data berbasis awan seperti AWS Glue, Azure Data Factory, Google BigQuery, atau layanan ekuivalen adalah keuntungan.
• Pengalaman mengintegrasikan data dari REST APIs, database, berkas datar, dan sumber data yang terstruktur atau semi-terstruktur.

Keahlian

Posisi serupa