업데이트 내역
LLMOps·AgentOps 프로덕션 핸드북 변경 로그
최종 업데이트
2026년 3월 26일
변경 기록
2026-03-26
변경 요약
- OWASP Agent Observability Standard (AOS) 산업 표준 추가 — 3축: Instrumentable(MCP+A2A), Traceable(OCSF+OTel), Inspectable(CycloneDX/SWID/SPDX) (Ch5)
- LangSmith Fleet 리브랜딩 반영 — Agent Builder에서 전환, 서브에이전트 실시간 상태 카드, LangSmith Fetch CLI, 통합 비용 뷰, 실험 베이스라인 피닝 (Ch3, Ch5)
- Braintrust Loop AI 업데이트 — 자연어 스코러 자동 생성, Java/Go/Ruby/C# SDK, OTel 네이티브 (Ch3, Ch5)
- 모델 가격 동향 업데이트 — Anthropic 1M 컨텍스트 서차지 제거(GA), GPT-5.4 nano(0.28/$0.42/M), 업계 ~80% YoY 하락 (Ch6)
- 새 벤치마크 추가 — LiveCodeBench, AIME 2026, TAU-bench Retail, JBDistill (Ch3)
- PagerDuty AI 에이전틱 클라우드 운영 생태계 추가 — 자동 탐지·복구·에스컬레이션 (Ch8)
- 3차 검증 (신규 콘텐츠 10항목, 외부 출처 7건)
영향 챕터
index.mdxevaluation.mdxobservability-slo.mdxcost-latency.mdxincident-management.mdxverification.mdx
근거 링크(공식)
- https://owasp.org/www-project-agent-observability-standard/
- https://blog.langchain.dev/langsmith-fleet/
- https://www.braintrust.dev/docs/loop-ai
- https://www.anthropic.com/pricing
- https://openai.com/api/pricing/
- https://www.deepseek.com/
- https://www.pagerduty.com/blog/agentic-cloud-operations/
2026-03-13
변경 요약
- MCP/A2A/ACP 에이전트 통신 프로토콜 생태계 추가 (Ch1)
- 2026년 평가 프레임워크 생태계 추가 — DeepEval v3.8.9, RAGAS v0.4.3, Inspect AI v0.3.186, LLM-as-a-Judge 표준화 동향 (Ch3)
- 가드레일 도구 업데이트 — NeMo Guardrails v0.20.0 OTel 마이그레이션, Lakera Guard → Check Point 인수, Guardrails AI v0.9.1 (Ch4)
- OTel GenAI Semantic Conventions (experimental) + 관측 도구 생태계 추가 — Langfuse v4.0.0, Arize Phoenix v13.0.3, LangSmith, Braintrust (Ch5)
- 프롬프트 캐싱(Anthropic 90% 절감, OpenAI 50%), 배치 API, 모델 라우팅 서비스 추가 (Ch6)
- 2차 검증 (도구 버전 8항목, 비용 데이터 3항목, 외부 출처 6건)
영향 챕터
system-architecture.mdxevaluation.mdxonline-guardrails.mdxobservability-slo.mdxcost-latency.mdxindex.mdxverification.mdx
근거 링크(공식)
- https://langfuse.com/changelog
- https://github.com/Arize-ai/phoenix/releases
- https://github.com/confident-ai/deepeval
- https://opentelemetry.io/docs/specs/semconv/gen-ai/
- https://platform.claude.com/docs/en/build-with-claude/prompt-caching
- https://modelcontextprotocol.io/specification/2025-11-25
- https://a2a-protocol.org/latest/
2026-02-12
변경 요약
- 신규 핸드북 초판 생성
- LLMOps/AgentOps 통합 운영 프레임워크 정리
- 평가·SLO·비용 수식과 시각 다이어그램 추가
영향 챕터
index.mdxsystem-architecture.mdxversioning-release.mdxevaluation.mdxonline-guardrails.mdxobservability-slo.mdxcost-latency.mdxexperimentation.mdxincident-management.mdxverification.mdx
2026-02-12 (고도화 개정)
변경 요약
- 운영 성숙도 모델과 Go-Live 게이트 기준 추가
- 평가 신뢰도(평가자 일치도/회귀 재현율)와 SLI/SLO 연계 강화
- 비용-지연 Pareto 관점, 논리 정합성·반례 검증 섹션 보강
영향 챕터
index.mdxevaluation.mdxobservability-slo.mdxcost-latency.mdxverification.mdx
템플릿
### YYYY-MM-DD
**변경 요약**
- ...
**영향 챕터**
- `...`
**근거 링크(공식)**
- ...