검증 리포트
LLMOps·AgentOps 프로덕션 핸드북의 구조·링크·지표·논리 정합성 검증
검증 기준일
2026년 5월 17일 (4차 검증 완료)
검증 범위
- 페이지 구성(
meta.json)과 파일 일치 여부 - 수식/지표 용어의 일관성(Unit cost, Error budget, Burn rate, SLI/SLO)
- 챕터 간 입력-출력 연결(평가 → 릴리즈 → 관측 → 사고 대응)
- 외부 레퍼런스 링크 접근성
이력 보관
2026-03-13, 2026-03-26 검증 기록은 검증 아카이브로
분리했습니다. 현재 리포트는 최신 운영 기준과 4차 검증 결과만 보여줍니다.
구조 검증 결과
| 항목 | 결과 |
|---|---|
| meta.json pages | 12개 |
| MDX 파일 수 | 12개 |
| 내부 링크 오류 | 0건 |
| 챕터 누락/중복 | 0건 |
논리 정합성 검증
| 검증 항목 | 기준 | 결과 |
|---|---|---|
| 비용식 일관성 | Index/Ch6의 Unit cost 정의 동일 | 통과 |
| 게이트 연결성 | Ch3 평가 기준이 Ch2 릴리즈 게이트에 반영 | 통과 |
| SLO-사고 연계 | Ch5 Error budget과 Ch8 사고 분류 연결 | 통과 |
| 실험 안전성 | Ch7 실험 판정식과 Ch4 가드레일이 충돌하지 않음 | 통과 |
반례 시나리오 검증
| 시나리오 | 기대 동작 | 결과 |
|---|---|---|
| 모델 업그레이드 후 품질 +2%, 비용 +20% | 비용 게이트에서 자동 보류 | 통과 |
| 지연시간 정상, 정책 위반률 급등 | 안전 게이트 우선 차단 | 통과 |
| SLO 충족, 특정 테넌트만 실패 증가 | 테넌트 분할 지표로 이상 탐지 | 통과 |
외부 링크 점검
4차 검증 상세
최신성 정정
| 항목 | 검증 내용 | 결과 |
|---|---|---|
| A2A latest | 공식 specification의 latest released version이 v1.0.0임을 확인 | 본문 정정 |
| MCP 2025-11-25 | OAuth 2.1, Protected Resource Metadata, Client ID Metadata Documents, token audience binding, token passthrough 금지 확인 | Ch1 보강 |
| OpenAI 가격 | GPT-5.5, GPT-5.4, GPT-5.4 mini 가격 확인. 기존 GPT-5.4 nano 표기 제거 | Ch6 정정 |
| Anthropic 가격 | Opus 4.7/4.6/4.5, Sonnet 4.6/4.5, Haiku 4.5 가격 및 prompt caching multiplier 확인 | Ch6 정정 |
| DeepSeek 가격 | 현재 공식 가격표가 DeepSeek V4 Flash/Pro 중심임을 확인. V3.2 중심 표 제거 | Ch6 정정 |
| OpenTelemetry GenAI | GenAI semantic conventions 상태가 Development임을 확인 | Ch5 정정 |
| OWASP AOS | AOS가 work-in-progress 공개 프로젝트임을 확인 | Ch5 정정 |
| OpenAI Agents SDK | guardrails, human review, resumable state, MCP, tracing, agent evals, voice agents 운영면 확인 | Ch3~Ch5 보강 |
| OWASP MCP/Skills | MCP Top 10과 Agentic Skills Top 10의 공급망·권한·telemetry 통제 항목 확인 | Ch4/Ch8 보강 |
| 링크 상태 | LangSmith Fleet, Braintrust Loop, PagerDuty 근거 링크 404를 공식 현재 URL로 교체 | updates 정정 |
4차 검증 외부 출처
| 출처 | 검증 항목 |
|---|---|
| OpenAI API Pricing | GPT-5.5/GPT-5.4/GPT-5.4 mini, Batch, tool/container pricing |
| OpenAI Agents SDK docs | guardrails, human review, MCP, tracing, agent evals, voice agents |
| Model Context Protocol | current specification 2025-11-25, authorization security |
| A2A Protocol | latest v1.0.0, task/streaming/push notification/security considerations |
| OpenTelemetry | GenAI semantic conventions Development status |
| OWASP | AOS, MCP Top 10, Agentic Skills Top 10 |
| Anthropic Claude docs | model pricing, prompt caching, long context pricing |
| Claude guardrails docs | streaming refusal handling |
| DeepSeek API Docs | current models/pricing and V3.2 release context |
| LangChain/Braintrust/PagerDuty | Fleet, Loop, AI operations ecosystem |
검증 한계
범위 안내
본 검증은 문서 구조와 운영 프레임워크의 정합성 중심입니다. 특정 벤더 기능과 API 시그니처는 버전 업데이트에 따라 달라질 수 있습니다. 모델 가격, 할인, deprecation, 벤치마크 명칭은 릴리즈 전 공식 페이지에서 다시 확인해야 합니다.