AI Platform 추론 최적화 Engineer(경력)

조직 소개

AI플랫폼팀은 카카오의 모든 AI 서비스가 안정적으로 동작하도록 기반을 설계하고 운영하는 팀으로, Kakao AI Platform(이하 KAP)을 만들어 수천 장 규모의 GPU 클러스터 위에서 추론 서비스의 효율적이고 안정적인 서빙을 책임지고 있습니다.
MLOps/LLMOps의 역할을 담당하며 전통적인 ML 워크로드부터 오픈소스 LLM, kanana 모델까지 카카오 내 AI 서비스들의 배포와 운영을 효율화하는 것을 핵심 미션으로 삼고 있습니다.

참고)
🔗 IF KAKAO 2024: Kakao AI Platform 소개 (link)
🔗 IF KAKAO 2025: GenAI를 위한 Gateway (link)

업무 내용

• LLM 추론 엔진 기반의 AI 서빙 플랫폼 설계 및 최적화
• vLLM, SGLang, TensorRT-LLM 등 오픈소스 추론 엔진의 도입, 적용 및 운영
• LLM 추론 성능 향상을 위한 캐시, 배칭, 양자화, 커널 최적화 등 주요 기법 적용
• 분산 추론 전략 설계 및 구현 (Tensor / Pipeline / Expert / Sequence Parallelism, MoE 라우팅)
• 추론 워크로드의 latency, throughput, TTFT, TPOT 등 성능 지표 측정 및 개선
• Kubernetes 기반 LLM 서빙 인프라 구축, 운영 및 자동화
• 라우팅·오토스케일링·로드밸런싱·요청 스케줄링 등 서빙 시스템 기능 개발
• 코드 리뷰, 테스팅, 지속적인 통합(CI) 및 지속적인 배포(CD)를 통해 높은 품질의 서비스 제공

지원 자격 및 우대사항

• Python 또는 Go을 활용한 시스템/백엔드/ML 시스템 개발 경력이 5년 이상인 분
• Transformer 아키텍처 및 LLM 동작 원리(어텐션, KV cache, 디코딩 전략 등)에 대한 깊은 이해가 있는 분
• vLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상을 실제 프로덕션 또는 대규모 실험 환경에서 운영해 본 경험이 있는 분
• GPU 환경에서의 성능 프로파일링 및 최적화 경험이 있는 분 (Nsight, NCU, Py Torch Profiler 등)
• K8s에 대한 이해도가 높은 분
• 클라우드 환경에서의 CI/CD 경험이 있는 분
• 새로운 환경에 도전하는 오픈 마인드를 가진 분

◆ 우대사항

• vLLM, SGLang, TensorRT-LLM, Hugging Face Transformers, Py Torch 등 LLM/ML 오픈소스 프로젝트에 의미 있는 컨트리뷰션 경험이 있는 분 (PR 머지, RFC 작성, 메인테이너 활동, 이슈 트리아지 등)
• CUDA / Triton 커널을 직접 작성하거나 튜닝해 본 경험이 있는 분
• LLM 추론 가속 기법(Speculative Decoding, Mixture-of-Experts, Flash Attention, Paged Attention, Radix Attention 등)을 실무에 적용해 본 경험이 있는 분
• 모델 양자화 / 압축 (AWQ, GPTQ, FP8, INT4, Smooth Quant, Pruning, Distillation 등) 실무 경험이 있는 분
• 대규모 분산 추론(Tensor / Pipeline / Expert Parallelism, Disaggregated Prefill-Decode 등)을 설계·운영해 본 경험이 있는 분
• NVIDIA Triton Inference Server, KServe, Ray Serve, vLLM Production Stack, LLM-D 등 서빙 플랫폼 구축 경험이 있는 분
• 대규모 GPU 클러스터(수십~수백 GPU 이상) 환경에서의 추론 워크로드 운영 경험이 있는 분
• 고성능 네트워킹(RDMA, RoCE, Infini Band, NCCL 튜닝) 또는 네트워크 트러블 슈팅 경험이 있는 분
• ML 또는 AI 동작에 대한 이해도가 높은 분
• 다양한 프로그래밍 언어 사용에 대한 거부감이 없는 분 (Python / C++ / CUDA / Go / Rust 등)
• LLM 추론 성능 관련 논문을 읽고 구현/재현해 본 경험이 있는 분

영입 절차

서류전형 > 코딩테스트 > 사전인터뷰 > 1차 인터뷰 > 2차 인터뷰 > 처우 협의 > 최종 합격 및 입사
※ 영입 진행 상황에 따라 전형이 추가/변경될 수 있습니다

크루 코멘트

• 빠르게 변화하는 AI 시장에 발맞추어 최신 기술을 실험하고 새로운 문제를 정의할 수 있는 환경을 갖고 있어, 카카오의 규모로 최첨단 AI 기술을 먼저 검증하고 플랫폼에 내재화하는 차별화된 경험을 할 수 있습니다.
• 특히 모델 서빙 성능 최적화, GPU 자원 활용, 대규모 추론 워크로드와 같은 인프라 문제는 기존 웹 서비스와는 근본적으로 다른 설계와 접근이 필요하며, 이는 엔지니어로서 전문적이고 도전적인 영역입니다. 고가의 GPU 자원을 직접 다루며 최신 AI/ML 기술을 자연스럽게 체득할 수 있는 기회도 열려 있습니다.
• AI플랫폼팀은 단일 서비스 개발 보다, 다양한 팀이 함께 활용할 수 있는 공통 플랫폼을 만드는 데 더 큰 가치를 두고 함께 성장하고 있습니다.