본문으로 바로가기
리옵트 핸드북
리옵트 핸드북
LLMOps·AgentOps 프로덕션

아키텍처·릴리즈

Ch1. 시스템 아키텍처Ch2. 버저닝·릴리즈Ch3. 평가 프레임워크

운영 안정성

Ch4. 온라인 가드레일Ch5. 관측성·SLOCh6. 비용·지연시간 최적화

성장·대응

Ch7. 실험 운영 체계Ch8. 사고 관리 런북

검증

검증 리포트검증 아카이브업데이트 내역
핸드북›LLMOps AgentOps›업데이트 내역
한국어English

업데이트 내역

LLMOps·AgentOps 프로덕션 핸드북 변경 로그

최종 업데이트

2026년 9월 5일

변경 기록

2026-09-05

변경 요약

  • cost-latency.mdx에 Anthropic 현행 라인업(2026-09-05 확인) 표를 추가. Fable 5.1($10/$50, 캐시 읽기 $0.25), Opus 5($5/$25), Sonnet 5($2/$10), Haiku 4.5($1/$5)
  • 기존 2026-05-17 스냅숏 표는 당시 예산 근거로 그대로 두고, 새 라우팅 정책은 새 표를 쓰도록 안내를 분리
  • Fable 5.1의 캐시 읽기 단가가 입력가의 2.5%(다른 모델은 10%)라 장기 agentic 세션의 캐시 재사용 비용 구조가 달라지는 점을 명시

검증 범위 메모

이번 갱신은 Anthropic 모델 가격·라인업만 재확인했습니다. OpenAI·DeepSeek 행과 나머지 챕터는 2026-06-13 검증 상태 그대로입니다.

근거 링크

  • Claude models overview: https://platform.claude.com/docs/en/about-claude/models/overview
  • Claude Fable 5.1 overview: https://platform.claude.com/docs/en/models/fable-5-1/overview

2026-06-13

변경 요약

  • 핸드북 전체 리뷰·최신화 라운드 반영
  • versioning-release.mdx의 비표준 Callout 타입 정규화 (type="warning" → type="warn")

영향 챕터

  • index.mdx
  • versioning-release.mdx
  • updates.mdx

2026-05-17

변경 요약

  • A2A 최신 버전 정정 — v0.3.0 Draft에서 latest v1.0.0 기준으로 갱신 (Ch1)
  • MCP 2025-11-25 보안 요구사항 추가 — OAuth 2.1, Protected Resource Metadata, Client ID Metadata Documents, token audience binding, token passthrough 금지 (Ch1)
  • OpenAI Agents SDK 운영면 반영 — guardrails, human review, resumable approval state, hosted/private MCP, tracing, agent evals, voice agents (Ch3~Ch5)
  • OWASP MCP Top 10 / Agentic Skills Top 10 기반 공급망·권한·telemetry 통제 추가 (Ch4, Ch8)
  • OTel GenAI 상태를 Development, OWASP AOS를 work-in-progress로 정정 (Ch5)
  • 모델 가격표 갱신 — GPT-5.5/GPT-5.4/GPT-5.4 mini, Claude Opus/Sonnet/Haiku 4.x, DeepSeek V4 Flash/Pro 기준으로 정리 (Ch6)
  • 실험 판정식의 λ_risk 계산 불일치 수정 (Ch7)
  • 사고 유형에 MCP/Skill compromise, A2A abuse, voice/realtime 저하 추가 (Ch8)
  • 깨진 근거 링크 교체 및 4차 검증 리포트 추가
  • 챕터별 기준일·근거 표와 check:freshness 자동 점검 추가
  • MCP registry, release artifact, approval queue, trace schema, cost ledger, incident containment 예시 추가
  • 2차/3차 검증 기록을 verification-archive로 분리

영향 챕터

  • index.mdx
  • system-architecture.mdx
  • versioning-release.mdx
  • evaluation.mdx
  • online-guardrails.mdx
  • observability-slo.mdx
  • cost-latency.mdx
  • experimentation.mdx
  • incident-management.mdx
  • verification.mdx
  • verification-archive.mdx
  • updates.mdx
  • scripts/check-freshness.mjs

근거 링크(공식/1차 자료)

  • https://developers.openai.com/api/docs/guides/agents
  • https://developers.openai.com/api/docs/guides/agents/guardrails-approvals
  • https://developers.openai.com/api/docs/guides/agents/integrations-observability
  • https://developers.openai.com/api/docs/guides/agent-evals
  • https://openai.com/api/pricing/
  • https://modelcontextprotocol.io/specification/2025-11-25
  • https://a2a-protocol.org/latest/specification/
  • https://opentelemetry.io/docs/specs/semconv/gen-ai/
  • https://aos.owasp.org/aos/
  • https://owasp.org/www-project-mcp-top-10/
  • https://owasp.org/www-project-agentic-skills-top-10/
  • https://docs.claude.com/en/docs/test-and-evaluate/strengthen-guardrails/handle-streaming-refusals
  • https://platform.claude.com/docs/en/about-claude/pricing
  • https://api-docs.deepseek.com/quick_start/pricing/
  • https://www.langchain.com/blog/introducing-langsmith-fleet
  • https://www.braintrust.dev/docs/loop
  • https://www.pagerduty.com/newsroom/pagerduty-expands-ai-ecosystem-to-supercharge-ai-agents/

2026-03-26

변경 요약

  • OWASP Agent Observability Standard (AOS) 산업 표준 추가 — 3축: Instrumentable(MCP+A2A), Traceable(OCSF+OTel), Inspectable(CycloneDX/SWID/SPDX) (Ch5)
  • LangSmith Fleet 리브랜딩 반영 — Agent Builder에서 전환, 서브에이전트 실시간 상태 카드, LangSmith Fetch CLI, 통합 비용 뷰, 실험 베이스라인 피닝 (Ch3, Ch5)
  • Braintrust Loop AI 업데이트 — 자연어 스코러 자동 생성, Java/Go/Ruby/C# SDK, OTel 네이티브 (Ch3, Ch5)
  • 모델 가격 동향 업데이트 — 당시 모델 가격 동향을 정리했으나, 2026-05-17 4차 검증에서 GPT-5.4 mini/Claude 4.x/DeepSeek V4 기준으로 대체 (Ch6)
  • 새 벤치마크 추가 — LiveCodeBench, AIME 2026, TAU-bench Retail, JBDistill (Ch3)
  • PagerDuty AI 에이전틱 클라우드 운영 생태계 추가 — 자동 탐지·복구·에스컬레이션 (Ch8)
  • 3차 검증 (신규 콘텐츠 10항목, 외부 출처 7건)

영향 챕터

  • index.mdx
  • evaluation.mdx
  • observability-slo.mdx
  • cost-latency.mdx
  • incident-management.mdx
  • verification.mdx

근거 링크(공식)

  • https://aos.owasp.org/aos/
  • https://www.langchain.com/blog/introducing-langsmith-fleet
  • https://www.braintrust.dev/docs/loop
  • https://platform.claude.com/docs/en/about-claude/pricing
  • https://openai.com/api/pricing/
  • https://www.deepseek.com/
  • https://www.pagerduty.com/newsroom/pagerduty-expands-ai-ecosystem-to-supercharge-ai-agents/

2026-03-13

변경 요약

  • MCP/A2A/ACP 에이전트 통신 프로토콜 생태계 추가 (Ch1)
  • 2026년 평가 프레임워크 생태계 추가 — DeepEval v3.8.9, RAGAS v0.4.3, Inspect AI v0.3.186, LLM-as-a-Judge 표준화 동향 (Ch3)
  • 가드레일 도구 업데이트 — NeMo Guardrails v0.20.0 OTel 마이그레이션, Lakera Guard → Check Point 인수, Guardrails AI v0.9.1 (Ch4)
  • OTel GenAI Semantic Conventions (당시 experimental, 2026-05-17 검증에서 Development로 정정) + 관측 도구 생태계 추가 — Langfuse v4.0.0, Arize Phoenix v13.0.3, LangSmith, Braintrust (Ch5)
  • 프롬프트 캐싱(Anthropic 90% 절감, OpenAI 50%), 배치 API, 모델 라우팅 서비스 추가 (Ch6)
  • 2차 검증 (도구 버전 8항목, 비용 데이터 3항목, 외부 출처 6건)

영향 챕터

  • system-architecture.mdx
  • evaluation.mdx
  • online-guardrails.mdx
  • observability-slo.mdx
  • cost-latency.mdx
  • index.mdx
  • verification.mdx

근거 링크(공식)

  • https://langfuse.com/changelog
  • https://github.com/Arize-ai/phoenix/releases
  • https://github.com/confident-ai/deepeval
  • https://opentelemetry.io/docs/specs/semconv/gen-ai/
  • https://platform.claude.com/docs/en/build-with-claude/prompt-caching
  • https://modelcontextprotocol.io/specification/2025-11-25
  • https://a2a-protocol.org/latest/

2026-02-12

변경 요약

  • 신규 핸드북 초판 생성
  • LLMOps/AgentOps 통합 운영 프레임워크 정리
  • 평가·SLO·비용 수식과 시각 다이어그램 추가

영향 챕터

  • index.mdx
  • system-architecture.mdx
  • versioning-release.mdx
  • evaluation.mdx
  • online-guardrails.mdx
  • observability-slo.mdx
  • cost-latency.mdx
  • experimentation.mdx
  • incident-management.mdx
  • verification.mdx

2026-02-12 (고도화 개정)

변경 요약

  • 운영 성숙도 모델과 Go-Live 게이트 기준 추가
  • 평가 신뢰도(평가자 일치도/회귀 재현율)와 SLI/SLO 연계 강화
  • 비용-지연 Pareto 관점, 논리 정합성·반례 검증 섹션 보강

영향 챕터

  • index.mdx
  • evaluation.mdx
  • observability-slo.mdx
  • cost-latency.mdx
  • verification.mdx

템플릿

### YYYY-MM-DD

**변경 요약**

- ...

**영향 챕터**

- `...`

**근거 링크(공식)**

- ...

관련 문서

검증 리포트

LLMOps·AgentOps 프로덕션 핸드북의 구조·링크·지표·논리 정합성 검증

업데이트 내역

하네스 엔지니어링 · 하네스 엔지니어링 핸드북 변경 로그

업데이트 내역

SaaS 유료 플랜 설계 · SaaS 유료 플랜 설계 핸드북 변경 로그와 근거 출처

업데이트 내역

Codex 고급 활용 · Codex 고급 활용 핸드북 변경 로그

업데이트 내역

글로벌 프로덕트 결제 가이드 · 글로벌 프로덕트 결제 가이드 변경 로그

검증 아카이브

LLMOps·AgentOps 프로덕션 핸드북의 과거 검증 기록과 정정 이력

On this page

변경 기록2026-09-052026-06-132026-05-172026-03-262026-03-132026-02-122026-02-12 (고도화 개정)템플릿