당근 200+개 DB를 옮기는 ELT 플랫폼, DT Platform을 만든 이야기
by | TECH_ESSAY | 2026-06-05
#Backend #DataEngineering 당근 데이터팀이 200개가 넘는 DB를 BigQuery로 옮기면서, 파이프라인의 정의와 실행을 코드에서 분리한 노코드 ELT 플랫폼을 직접 만든 과정입니다. JSON DSL로 파이프라인을 선언하고 Spark on EMR과 Airflow로 돌려 설정 시간을 80% 넘게 줄였습니다.