5년차 Backend/Data Engineer

• Rate Limit 시스템 구현 → 피크 응답시간 25% 감소, 부하 회복 35% 단축

• 데이터 작업 자동화 → 수동 작업 90% 절감

• Airflow/BigQuery 기반 데이터 마트 구축 및 운영

• AI 공모전 최우수상(1등), 학술 논문 게재 경험 보유

• 주요 업무

  • 리포트 조회 기간을 확장하여 고객사 장기 성과 분석 지원.

  • 서비스 장애 방지를 위한 Rate Limit 시스템 구현

  • CloudWatch Logs 기반 E2E 마이그레이션 테스트 도구 개발, 6개월간 API 요청 이력 자동 검증 시스템 구축

  • Concurrency Policy 통합 시스템 설계 및 구현

  • Revenue Report 기능 확장

  • 다중 데이터소스(Druid + Luft) 쿼리 시 데이터 정합성 문제 해결, 방어 로직 추가로 잘못된 쿼리 결과 생성 방지

  • 대시보드 쿼리 취소 로직 개선으로 동일 화면 내 요청 간 간섭 방지, 사용자 경험 개선

  • 대시보드 상 성과 리포트를 제공하기 위해 필요한 API 개발

  • 성과 리포트 데이터 파이프라인을 설계하고 개발

  • 대용량 원천 데이터를 빠르게 리포트로 제공하기 위해 필요한 별도의 데이터 소스를 구축하고 운영

  • 시스템 성능 최적화와 더불어 확장성 및 안정성을 확보

  • 더 많은 데이터를 보다 빠르고 안정적으로 제공하기 위해 필요한 시스템 재설계와 개선 작업을 진행

  • Legacy Flask 코드를 Kotlin으로 마이그레이션하여 코드 품질 개선

• 주요 업무

  • 데이터 파이프라인 구축, 관리

  • 데이터 마트 설계 및 구축 (Airflow, Bigquery, Looker Studio, Spark, helm)

  • 서버 RDS 부하 문제 해결 (Airflow, Bigquery, Glue, Spark)

  • 데이터 무결성 체크, 관리 (Bigquery, GoogleSheet)

• 데이터 크롤링 부터 데이터 전처리, 인공지능 모델링, 인공지능 모델 훈련 및 최적화, 그리고 배포까지 MLOps 의 전체 파이프라인을 설계 및 관리
• 데이터 분석, 머신러닝 모델링 및 훈련을 위한 환경 세팅
• 10개 이상의 모델 배포 및 관리
• 개발과 배포를 위한 Cloud 환경 구축
• 이미지 캡셔닝, 얼굴 인식 등 Computer Vision 관련 인공지능 모델링
• 하이퍼 파라미터 최적화
• DB 데이터 관리 자동화

• 3.64 / 4.5 (Major: 3.85 / 4.5)

3.64 / 4.5 (Major: 3.79 / 4.5)

• 프로젝트 참가 인원 중 Best 성능의 모델 제작

• BigQuery, Spark, Airflow, RDS, Druid, Luft

• Spring Boot, Kotlin, EKS, Flask, Python

• Terraform, Grafana

• Druid 0.23.0 → 24.0.2 업그레이드

• 보안 요구사항 적용

• Post

• 배경

  • 신규 계약을 위한 현지 기업의 보안 요구를 충족 필요

• 주요 작업

  • AWS 서울 리전으로 리포트 서비스 마이그레이션 진행

  • Terraform 기반 VPC/Security Group/IAM 설정

  • 멀티리전 모니터링, 알람 설정

고령층·장애인 등 디지털 취약계층 대상 음성 기반 AI 에이전트 서비스의 기술 자문 참여.

서비스 성능/안정성 개선, 시범사업 성과지표 설계, 사용자 확대 및 활성화 방안에 대한 검토의견 제출.

• 배경

  • 고객사의 장기 데이터 분석 요구 증가로 조회기간 확장 필요

  • 멀티 테넌시 환경에서 조회기간 확장 시 특정 고객의 대량 요청으로 전체 서비스 장애 발생

  • Druid/Luft 부하로 인한 장애 다수 경험

• 주요 작업

  • 리포트 조회 기간을 180일에서 400일로 확장

  • Rate Limit 시스템: 유저당 동시 쿼리 1개 제한 시스템 설계

    • DB 부하 기반 동적 429 응답 처리 구현

    • 대시보드 화면 전환 시 쿼리 취소 로직을 requestGroupId 기반으로 재설계하여, 동일 화면 내 요청 간 간섭을 제거하고 Overview 쿼리 추적 체계를 구축. 대시보드 사용자 경험 개선

    • 대시보드/API 사용자 구분하여 대시보드 사용자에게는 429 최소화되도록 설계

      AOP 기반 Rate Limit 인프라 및 조직, 유저 단위 모니터링

  • Grafana 기반 429 에러 모니터링 알람 구축

• 성과

  • 실시간 모니터링을 통한 시스템 부하 가시성 확보

  • 특정 고객 요청으로 인한 전체 서비스 장애 방지

  • 데이터 조회 기간 180일 ~ 400일로 증가

  • Rate Limit 시스템 구현으로 피크 응답시간 25% 감소, 부하 회복 시간 35% 단축

• 배경

  • Druid 부하로 인한 장애 다수 경험

• 주요 작업

  • HyperLogLog 기반 cardinality 사전 예측

  • 쿼리 실행 전 부하 추정을 기반 Fail 처리

• 주요 작업

  • Python Flask 기반 Report API를 Kotlin Spring Boot로 마이그레이션

  • 마이그레이션 검증 자동화 도구 개발

    • CloudWatch 로그 기반 6개월치 요청 payload 추출

    • 기존 API vs 신규 API 응답 비교 자동화로 마이그레이션 테스트 효율화

• 성과

  • 타입 안정성 확보 및 유지보수성 개선

  • 자동화된 검증으로 마이그레이션 안정성 확보

• Airflow 기반 파이프라인 설계 및 GKE 배포 → 배치 자동화

• BigQuery 기반 데이터 마트 설계 → 지연 및 중복 데이터 해소

• 유저 정보 비식별화, 권한 기반 접근 통제 → 보안 요건 충족

• Looker Studio / Google Spreadsheet 기반 대시보드 제공 체계 구축

• 성과

  • 리포팅 시간 단축 → 업무 생산성 향상

  • 분석 정확도 및 데이터 일관성 향상

  • 데이터 분석 비용 절감

  • 부서 간 협업 효율 증대

• 슬랙봇을 통해 반복적인 데이터 요청 자동화 → 비정형 ad-hoc 요청 부담 해소

• Google Spreadsheet와 연동해 조회/요청 결과 자동 응답 시스템 구성

• 요청 유형/패턴 분석 기반으로 템플릿화 및 Slack 인터페이스 설계

• 성과

  • 월평균 수동 데이터 요청 10건 → 최소 2건 이하로 감소

  • 데이터 팀 대응 소요 시간 절감 → 핵심 분석 업무 집중 가능

  • 비개발자도 셀프서비스 가능 → 전사 데이터 활용도 향상

• 외부 크리에이터 대상 정산 시스템 설계 및 자동화

• 정산 기준 데이터의 무결성 확인 및 검증 로직 구현 (코드 및 QA 기반)

• 정산용 데이터 추출 → Slack봇 연동으로 실시간 확인 가능한 구조 구현

• 사람이 직접 처리하던 반복 업무를 스크립트 기반 자동화로 대체

• 성과

  • 월 평균 8시간 이상 소요되던 수작업 → 1시간 내 자동 처리

  • 90% 이상의 리소스 절감 달성

  • Slack에서 간편하게 정산 결과 조회 가능 → 정산 프로세스의 접근성과 효율성 향상

• A Two-Stage Learning Method of CNN and K-means RGB Cluster for Sentiment Classification of Images
• 김정태, 박은비, 한기웅, 이정현, 이홍주
• Journal of Intelligence and Information Systems, 2021
• 데이터의 통계적 분포를 이용해 딥러닝 모델의 성능을 향상시킨 연구 결과 발표
• 분야: Computer Vision, Sentiment Classification, 색채심리학