시니어 데이터 엔지니어 이력서 예시

• 업무 리드로서 운영 추출 자료를 정제 테이블로 옮기는 Azure 데이터 파이프라인을 구축. SQL 병합 키와 지연 도착 규칙을 명시하고 재처리 시 중복이 생기지 않는지 검증
• 검토 기준을 책임지고 데이터 파이프라인에 SQL 대사와 격리 검증을 추가하고 거부된 행에 사유 코드를 기록. 상위 스키마 변경이 보고 계층에 도달하기 전에 추적
• 데이터 파이프라인에 원천·적재 행 수 대사와 지연 도착 처리 추가; 완료 레코드를 중복 생성하지 않고 중단된 파티션 재처리
• 파티션별 SQL 테스트 데이터를 활용한 Airflow ETL 복구 경로 책임; 중복 적재 해결 및 하위 업무 키 변경 없는 재처리 완료
• Spark 행 수 대사를 활용한 Python 데이터 파이프라인 검증 구축; 지연 파티션 조사 45분에서 18분으로 단축 및 Azure 재실행 안내 배포

• 반복 비즈니스 질문 15개에 인증 데이터셋과 담당자를 게시. 관련 팀의 판단 기준과 담당 범위도 조율. 합의한 운영 시간 안에 업무가 끝나도록 유지
• 발행 지표와 원천 기록의 차이를 조사해 모집단이 바뀐 변환 단계 추적; 재현 가능한 쿼리로 계산 수정
• 최근 정상 갱신과 실패 실행을 비교해 원천 누락·변환 오류 분리; 영향 기간만 재실행하고 검토용 원래 쿼리·수정 결과 함께 보관

• 가장 큰 변환 12개에 증분 모델과 파티션 프루닝을 구현. 관련 팀의 판단 기준과 담당 범위도 조율
• 중복·지연 도착·정정 값을 가진 합성 원천 기록 생성; 행 수·키 고유성 검증식을 작성하고 사례별 보고 지표의 기대 변화 기록
• 분석 결과와 수기 계산 기준표 대사; 차이를 변환 단계까지 추적하고 정정 쿼리에 데이터 사전·재실행 안내 첨부
• 수기 계산 기준표를 활용한 합성 데이터 검증 책임; 중복 키에 따른 과대 집계 해결 및 정정 합계 재현 노트북 완료

관련 과목: 알고리즘, 운영체제, 데이터베이스, 컴퓨터 네트워크

SQL · 데이터 파이프라인 · 원천·적재 대사 · 파티션 재처리

• 재현 가능한 쿼리를 활용한 개인 분석 방법론 발행; 데이터 단위·제외 기록·분모 변경에 따른 결과 민감도 설명