DevOps, MLOps, LLMOps

DevOps, MLOps, LLMOps는 모두 소프트웨어 또는 모델 개발과 운영(운용)을 연결하고 자동화하여 개발 주기 단축, 신뢰성 확보, 배포 효율화를 목표로 함.

 

1. DevOps (Development + Operations)

대상: 소프트웨어 애플리케이션 (일반 코드 기반 시스템)

목표:

• 개발과 운영의 협업
• CI/CD 자동화
• 릴리즈 속도와 품질 향상

주요 구성 요소:

• CI/CD 파이프라인
• 버전 관리 (Git)
• 테스트 자동화
• 모니터링 & 로깅
• IaC (Infrastructure as Code)

도구 예시:

• Jenkins, GitHub Actions, Docker, Kubernetes, Terraform, Prometheus, Grafana 등

---

2. MLOps (Machine Learning + Operations)

대상: 머신러닝 모델

목표:

• 모델 개발 → 학습 → 테스트 → 배포 → 모니터링 전체 흐름 자동화
• 데이터 및 모델 관리
• 반복 학습과 성능 추적

DevOps와의 차이점:

• 데이터 처리 파이프라인 필요
• 모델 버전 관리
• 데이터 드리프트 / 모델 성능 모니터링
• 실험 관리와 재현성 확보

주요 구성 요소:

• 데이터 전처리 및 피처 엔지니어링
• 실험 관리 (Experiment tracking)
• 모델 서빙
• 모델 재학습 스케줄링

도구 예시:

• MLflow, Kubeflow, Airflow, TFX, DVC, SageMaker, Weights & Biases 등

---

3. LLMOps (Large Language Model + Operations)

대상: 대규모 언어 모델 (GPT, LLaMA, Claude 등)

목표:

• 대형 언어 모델의 효율적 학습/서빙/파인튜닝/관리
• Prompt 관리, RAG(Retrieval-Augmented Generation), Fine-tuning 관리
• 보안, 비용, 거버넌스, 인퍼런스 최적화

MLOps와의 차이점:

• 모델 크기와 자원 요구도가 훨씬 큼 (수십~수백억 파라미터)
• Prompt 기반 상호작용이 중요
• Fine-tuning (LoRA 등 경량화 기법), RAG 파이프라인 관리 필요
• LLM 응답 평가 (정확도 외에 인간 피드백 등도 중요)

주요 구성 요소:

• Prompt 엔지니어링 관리
• RAG 파이프라인 구축 및 검색 시스템 연동
• Fine-tuning 실험 관리
• API 서빙 인프라 (Latency, Throughput 관리)
• 응답 모니터링 및 필터링

도구 예시:

• LangChain, LlamaIndex, BentoML, Weights & Biases, OpenLLMOps, DeepSpeed, vLLM, Hugging Face 등

항복	DevOps	MLOps	LLMOps
대상	일반 소프트웨어 앱	머신러닝 모델	대형 언어 모델 (GPT류)
핵심	CI/CD, 자동화, 모니터링	모델 관리, 데이터 파이프라인, 추적	프롬프트 관리, 파인튜닝, RAG, 응답 평가
복잡도	중간	높음	매우 높음 (리소스+프롬프트+평가까지 포함)
자원 요구	보통	GPU 필요	고성능 GPU, 대규모 RAM/스토리지 필요
대표 도구	Jenkins, Docker, K8s	MLflow, TFX, Kubeflow	LangChain, vLLM, LlamaIndex, DeepSpeed 등