[ICT] Data Engineer

ICT Data Engineer

공고 정보

IT / Data Engineering / 서울 / 경력 /

직무상세

데이터 파이프라인과 플랫폼을 구축·운영하며, 표준화된 데이터 구조와 거버넌스를 기반으로 전사 데이터 활용성을 높이고, 효율적인 데이터 제공 체계를 고도화하는 업무를 수행합니다.

• 데이터 플랫폼 엔지니어
  　· 데이터 플랫폼 구축 및 운영
  　ㅤ- 대규모 데이터 활용을 위한 플랫폼 아키텍처 설계/구축 및 사용자 친화적 데이터 운영/분석 도구 개발
  　ㅤ- 클라우드/온프레미스 기반 플랫폼 구축 전략 수립 및 클러스터/대시보드/ 권한 관리 시스템 운영
  　ㅤ- 24/7 모니터링을 통한 플랫폼 안정성 확보 및 운영 관리
  　· 오픈소스 성능 최적화 및 패키징
  　ㅤ- Spark, Trino, Airflow 등 오픈소스 기술 분석 및 성능 튜닝
  　ㅤ- 설정/운영 상의 이슈 해결 및 데이터 플랫폼 패키지 구성
  　ㅤ- 오픈소스 기반 성능 최적화 및 배포 패키징 작업 진행

• 데이터 엔지니어링 아키텍트
  　· 데이터 플랫폼 개발 및 파이프라인 구축
  　ㅤ- 데이터 수집/정제/적재 파이프라인 설계/구축 및 표준화
  　ㅤ- 업무 도메인 특성 반영 엔드투엔드(ingest–process–serve) 데이터 플로우 최적화 및 자동화 고도화
  　ㅤ- 사내 IT/업무 시스템 연계 데이터 인터페이스 표준 수립 및 품질/성능 관리(SLA/SLI 기반)
  　· 데이터 플랫폼 아키텍처 고도화
  　ㅤ- 오픈소스 기반 모듈화/확장성 중심 플랫폼 아키텍처 설계 고도화 및 레퍼런스 아키텍처 정립
  　ㅤ- 데이터 거버넌스, 보안, 카탈로그, 메타데이터 관리 체계 설계 및 운영 내재화
  　ㅤ- AI/고급 분석 활용을 위한 레이크하우스/피처 스토어 등 아키텍처 전환/적용 및 성능/비용 최적화(Fin Ops)
  　· 데이터 플랫폼 관제 시스템 구축
  　ㅤ- 로그/메트릭/트레이스 기반 Observability 체계 설계 및 구축(경보 기준, 노이즈 튜닝, 대시보드 표준화)
  　ㅤ- 장애/이벤트 관리 프로세스 수립 및 사고 대응(근본원인분석, 복구, 재발방지) 운영 체계화
  　ㅤ- 전사 제공 시스템 대상 Platform Visibility 확보 및 SLO/SLA 기반 운영 지표 관리

필수요건

· 학사 이상의 학위를 보유하신 분 (전산, 컴퓨터, 소프트웨어 관련 전공)
· 5년 이상의 데이터/플랫폼 엔지니어 경력을 보유하신 분
· 비즈니스 영어 커뮤니케이션 및 영어 문서 작성 역량을 보유하신 분
· 대규모 분산 클러스터 환경 구축 및 운영, 활용 경험을 보유하신 분
· 데이터의 Life cycle 전반의 거버넌스를 수립하고 적용해본 경험이 있으신 분
· 분산 처리 기반 데이터 파이프라인 개발 역량( Python/Java + Spark/Flink )을 보유하신 분
· 워크플로우 오케스트레이션 운영 역량( Airflow/Dagster )을 보유하신 분
· 컨테이너 오케스트레이션 및 배포 자동화 역량( Kubernetes/Helm/Docker )을 보유하신 분

우대사항

· Databricks/Snowflake/Palantir에서 파이프라인 및 거버넌스 기능을 활용한 운영 경험을 보유하신 분
· 원천 데이터 수집부터 배포까지 파이프라인 자동화를 구현하여 리드타임을 단축한 경험을 보유하신 분
· ELK(또는 Click Stack)/Click House·Prometheus·Grafana·Open Telemetry 기반 통합 관측성 체계 구축 경험을 보유하신 분
· Airbyte/Fivetran 등 멀티 커넥터 기반 수집·연계 솔루션 활용 경험을 보유하신 분
· PostgreSQL/MySQL/Oracle 또는 Redis/ClickHouse/MongoDB 스키마 설계·튜닝 경험을 보유하신 분