AI 기반 영어 학습 자료 생성 서비스 개발 [링크]

Backend & Infrastructure | Jul. 2023 - Feb. 2026
영어 교강사의 학습 자료 제작 시간 단축을 위한 AI 기반 학습 자료 생성 서비스
사용 기술
Python(FastAPI), LLM(OpenAI, Claude), PostgreSQL, RabbitMQ,
Kubernetes(MicroK8s), Prometheus/Grafana

서비스 아키텍처 다이어그램 [링크]

■ 학습 자료 생성 비동기 분산 처리

• Problem

  • 한 번에 최대 1200개 이상의 학습 자료 생성 요청 가능

  • 동기 처리 시 타임아웃 및 리소스 장시간 점유 예상

• Solution

  • RabbitMQ 기반 비동기 분산 처리 도입

• Implementation

  • 리소스 특성(I/O, CPU, GPU) 기반 6개 큐 분리로 병목 격리

  • 큐별 prefetch 차등 설정으로 동시 처리량 최적화

  • Manager/NLP 워커 역할 분리로 독립 스케일링 지원

  • 3회 재시도 후 DLQ 격리, Slack 알림

• Problem

  • DB 저장과 메시지 발행 간 원자성 미보장으로 메시지 유실 가능성 존재

• Solution

  • Transactional Outbox 패턴 도입

• Implementation

  • Outbox 테이블 1초 주기 폴링 후 메시지 발행

  • 작업 상태 기반 멱등성 처리로 중복 발행 시 중복 처리 방지

• Result

  • 서비스 운영 1년간 학습 자료 30만 건 생성
    

■ 온프레미스 GPU 인프라 구축

• Problem

  • AI 추론 활용 신규 서비스 출시

  • CPU 기반 추론 시 프로덕션 수준의 응답 속도 확보 불가

  • 클라우드 GPU 인프라 구축 시 연간 $60,000 이상 비용 예상

• Solution

  • 관리되지 않던 GPU 서버 4대 정비 후 MicroK8s 기반 온프레미스 클러스터 구축

• Implementation

  • NFS 서버 기반 동적 볼륨 프로비저닝

  • GitLab CI/CD 활용 이미지 빌드 및 배포 자동화

  • 모니터링 대시보드 구성, 임계치 기반 Slack 알림 연동

  • GPU 활용 딥러닝 모델 서빙

• Result

  • CPU 대비 추론 속도 5배 개선

  • 클라우드 대비 연간 약 $60,000 비용 절감

Python

FastAPI, SQLAlchemy, PostgreSQL, RabbitMQ

AWS, K8s, Docker, Nginx, GitLab CI/CD

Prometheus, Grafana, Slack

spaCy, LLM(OpenAI, Claude)