• 독자 파운데이션 모델 학습을 위한 과학/법률 버티컬 데이터 생성 파이프라인 설계·구현.
• 생성 데이터의 품질을 확보하기 위한 자동 검증(검인증) 파이프라인 설계·구현.
• 검수자/전문가와의 기준 정렬 및 검수 운영(온보딩/업무 분배/리뷰 루프).

• 법률(세법/행정법 포함) 15,000건, 과학(물리/화학/생물/지구과학/제조공학) 15,000건 규모의 데이터셋 생성 및 구성(싱글턴/멀티턴 포함).
• 법률 답변 구조를 “쟁점 분석–근거–결론”으로 표준화하고, 법령 정합성/구체성/조항 누락/판례 언급/커버리지/논리 흐름/근거 공란 등 도메인별 검증 체크를 파이프라인으로 구현.
• 과학 데이터에 대해 교차 LLM 검토(gpt-5, gemini-pro, deepseek-reasoning), 질문-답변 정렬(alignment) 검증, LaTeX 빌드 검증을 결합한 3중 필터 운영.
• 검수 기준을 점검하며 프롬프트 및 검증 로직을 지속 개선하고, 계약직 2명 온보딩 및 작업 단위 분해/할당, 샘플링 기반 리뷰로 품질·비용·일정 리스크 관리.

• 질문 생성을 위한 모델 학습 데이터 구축 및 모델 학습 지원.
• 생성된 질문의 품질을 평가하기 위한 평가 요소(메트릭) 발굴 및 평가 데이터 기획.
• 질문 품질 약점 분석을 통한 개선 방향 도출.

• 학습용 데이터 구축 후 질문 생성 모델 학습을 수행하고, 생성 질문의 오류/약점을 분석해 평가 포인트를 정의.
• 기존 factual 기반 지표(예: context relevancy)만으로는 질문 만족도를 설명하기 어렵다는 점을 확인하고, “자연스러움”이 품질의 핵심 요인임을 도출.
• 자연스러움 평가 요소로 문법의 중요성을 확인하고, 문법 오류가 주로 “조사/종결어미”에서 발생함을 파악하여 오류 유형화를 설계.
• 조사/종결어미 오류 유형 기반 평가 데이터 구축을 기획했으나, 타 프로젝트 우선순위로 인해 프로토타입 단계에서 마무리.

• 고객사 RAG 평가용 데이터셋 구축을 위한 질문 유형 설계 및 초벌 생성(AI 엔지니어 역할).
• 고객사 언어모델 환경에 맞춘 평가 프레임워크 개발 및 평가 수행 체계 정비.
• 고객사와의 협의를 통한 평가 메트릭 설계 및 기준 정렬.

• RAG 평가 데이터셋에 추천/추론/비교/환각 유도 등 운영 리스크를 반영한 질문 유형을 포함해 평가 범위를 확장.
• Vertical 평가 데이터셋에 내부 지시 준수, 컨텍스트 활용 능력, 수리 추론, 논리 추론 등 모델 핵심 역량 점검 유형을 포함.
• DA(Data Assistant)로 수집된 원천 문서를 기반으로 근거 연결이 가능한 평가 데이터 구축 및 초벌 생성 수행.
• 고객사 모델 특성(입력/출력 포맷, 운영 환경 등)에 맞춰 평가가 가능하도록 프레임워크를 개발하고, 평가 결과 해석 및 활용 기준을 고객사와 정렬.

담당 업무

• chatGPT api를 이용해 다양한 페르소나와의 채팅 서비스 담당.

• 프롬프트 관리 및 소켓 서버 관리 일체 담당.

참여 내용

• 에러 로깅 시스템 구축: DB, Slack 알림, 파일 저장으로 다중 경로 에러 관리.

• GPT-4o-mini 도입으로 모델 사용 비용 절감 및 이미지 전송 기능 구현.

• Jenkins 배포 시 결과를 Slack 알림으로 실시간 확인 가능하도록 개선.

• 서비스용 페르소나 데이터를 활용해 채팅 위한 소형 언어 모델(sLLM) 학습 및 운영.
• 데이터 수집 및 자동화, 모델 학습, 평가, 경량화, 배포 등 전체 파이프라인 설계 및 구현.
• 모델 학습부터 배포까지의 워크플로우 구축.

• DVC 이용한 데이터 버저닝 및 전처리.
• 상담 데이터 수집을 위한 업체와의 컨택 및 데이터 품질 관리.
• LlamaFactory 이용한 다양한 모델 (Llama3, Qwen) 등에서의 학습 파이프라인 구축.
• 모델의 답변 생성 퀄리티 위한 자동 대화 생성 파이프라인 구축. (Reference: LINK)
• AWQ Quantization을 통한 추론 시 자원 최적화 및 감소.
• vLLM을 이용한 효율적인 모델 배포 및 관리.

담당 업무

• 피규어 제작을 위한 도면을 처음부터 설계 및 디자인.

• 사진-도면 데이터를 축적하여 자동 유사 사진 검색 기능 구현.

• 새로운 사진 수신 시, 기존 데이터 중 가장 유사한 사진의 도면을 활용해 작업 시간을 효율적으로 단축.

참여 내용

• 기존에 존재하던 얼굴 사진, 3d 도면 데이터 전처리 및 DB화

• arcface, facenet과 같은 모델들을 이용해 모든 사진의 임베딩을 구해 DB에 저장

• DRF (Django Rest Framework)로 REST API 서버 구축

• Docker compose 이용해 서버, DB 컨테이너화하여 관리