Ch6. 비용·지연시간 최적화
AI 서비스의 모델 비용, 지연시간, 캐시, 라우팅, 폴백을 함께 관리해 품질을 유지하면서 단위 원가를 낮추는 방법입니다.
핵심 요약
- 최적화 우선순위는 캐시 적중률 → 프롬프트 길이 → 모델 라우팅 → 비동기 툴 호출 순으로, 캐시가 비용과 지연을 동시에 개선합니다.
- 2026-05-17 기준 Anthropic 캐시 입력은 base input의 10% 수준이고, 배치 API는 Anthropic/OpenAI 모두 50% 할인이 핵심 레버입니다.
- 효용은
Utility = α·Quality - β·Cost - γ·Latency로 보고, 성장은 α, 수익성은 β, SLA는 γ 가중치를 높입니다. - 운영 판단 지표는 모델 교체가 아니라
cost per successful task이며, 가격표는 배포 전 기준일과 함께 재검증합니다. - web search·container 실행·MCP schema token·voice 같은 tool/runtime 비용을 모델 비용과 분리해 별도 집계합니다.
AI 서비스에서 비용과 지연시간은 같은 문제의 두 축입니다.
지연시간을 줄이려고 모델을 키우면 비용이 늘고, 비용을 줄이면 품질이 흔들립니다.
예산 모델
최적화 우선순위
| 우선순위 | 레버 | 기대 효과 |
|---|---|---|
| 1 | 캐시 적중률 향상 | 비용·지연 동시 개선 |
| 2 | 프롬프트 길이 최적화 | 토큰 비용 절감 |
| 3 | 모델 라우팅 | 복잡도별 단가 최적화 |
| 4 | 비동기 툴 호출 | p95 개선 |
Pareto 관점 운영
한 지표만 좇지 말고 비용과 지연시간의 균형점을 찾아야 합니다.
- 성장 단계:
α를 높여 품질 우선 - 수익성 단계:
β를 높여 비용 통제 강화 - SLA 엄격 단계:
γ를 높여 지연시간 우선
실무 정책 예시
routing_policy:
- if: complexity <= 2
model: 'cost_optimized'
- if: complexity >= 4
model: 'quality_optimized'
timeout_policy:
tool_timeout_ms: 2500
global_timeout_ms: 70002026년 모델 가격 동향
아래 표는 2026년 5월 17일 기준 공식 가격 페이지 확인값입니다. 모델 가격은 가장 자주 바뀌는 운영 변수라, 릴리즈 게이트와 예산 계산에는 기준일을 반드시 함께 저장합니다.
| 모델 | 입력 (/1M) | 캐시 입력 (/1M) | 출력 (/1M) | 비고 |
|---|---|---|---|---|
| GPT-5.5 | $5.00 | $0.50 | $30.00 | OpenAI flagship |
| GPT-5.4 | $2.50 | $0.25 | $15.00 | 코딩·전문 업무용 |
| GPT-5.4 mini | $0.75 | $0.075 | $4.50 | 경량 coding/computer-use/subagent |
| Claude Opus 4.7/4.6/4.5 | $5.00 | $0.50 | $25.00 | Anthropic Opus 4.7은 새 tokenizer 영향 고려 |
| Claude Sonnet 4.6/4.5 | $3.00 | $0.30 | $15.00 | Sonnet 4는 deprecated |
| Claude Haiku 4.5 | $1.00 | $0.10 | $5.00 | 고속 경량 |
| DeepSeek V4 Flash | $0.14 cache miss | $0.0028 | $0.28 | 1M context, thinking/non-thinking |
| DeepSeek V4 Pro | $0.435 cache miss | $0.003625 | $0.87 | 75% 할인가는 2026-05-31 15:59 UTC까지 재확인 필요 |
Anthropic 현행 라인업 (2026-09-05 확인)
위 표는 2026-05-17 스냅숏이라 Anthropic 라인업이 그 뒤로 바뀌었습니다. 라우팅 정책을 새로 짤 때는 아래 값을 쓰고, 위 표는 당시 예산 근거로만 참조하세요.
| 모델 | 입력 (/1M) | 캐시 읽기 (/1M) | 출력 (/1M) | 비고 |
|---|---|---|---|---|
| Claude Fable 5.1 | $10.00 | $0.25 | $50.00 | 2026-09-01 출시. 캐시 읽기가 입력가의 2.5%로 다른 모델(10%)보다 낮아 장기 agentic 세션에 유리 |
| Claude Opus 5 | $5.00 | $0.50 | $25.00 | 대부분의 워크로드 기본 선택 |
| Claude Sonnet 5 | $2.00 | $0.20 | $10.00 | 1M context 기본, 이전 Sonnet 4.6(15)보다 저렴 |
| Claude Haiku 4.5 | $1.00 | $0.10 | $5.00 | 200K context, 고속 경량 |
모두 Batch API 50% 할인이 적용되고, Fable 5.1·Opus 5·Sonnet 5는 1M context가 기본입니다. Fable 5.1은 30일 데이터 보존이 필요한 Covered Model이라 ZDR 조직에서는 별도 승인 없이 쓸 수 없습니다.
비용 전략 시사점
가격 하락보다 더 중요한 변화는 캐시 입력, 배치 처리, data residency, priority/flex 처리, tool runtime 비용이 따로 과금되는 구조입니다. 모델 라우팅만으로는 부족하고, cache hit rate와 tool 호출 수를 함께 관리해야 합니다.
2026년 비용 최적화 레버
프롬프트 캐싱
| 제공업체 | 방식 | 캐시 읽기 비용 | 절감 효과 |
|---|---|---|---|
| OpenAI | 1,024+ 토큰 prefix 자동 캐싱, prompt_cache_key, 일부 모델 24h retention | 표준 입력 대비 최대 90% 절감 | latency 최대 80% 개선 가능 |
| Anthropic | 자동/명시 cache breakpoint, 5분/1시간 write, cache hit/refresh | base input의 10% | tools → system → messages 계층 변경 시 invalidation |
| DeepSeek | context caching | 모델별 cache hit 단가 | 현재 V4 Flash 기준 cache hit $0.0028/M |
배치 API
Anthropic과 OpenAI 모두 배치 API에 50% 할인을 제공합니다. 평가, 분류, embedding, 대량 리플레이처럼 즉시 응답이 필요 없는 작업은 online traffic에서 떼어냅니다.
Tool/runtime 비용
| 비용 항목 | 관리 기준 |
|---|---|
| Web search | 호출 횟수와 검색 결과 token을 별도 집계 |
| Code/container execution | container session 시간, 파일 preload, stdout/stderr 크기 추적 |
| MCP/tool schema | tool definition token과 schema cache hit rate 추적 |
| Voice/realtime | audio token, first-audio latency, interruption 재시도 비용 분리 |
Cost ledger 예시
cost_ledger:
run_id: run_20260517_001
model:
input_tokens: 3840
cached_input_tokens: 2560
output_tokens: 620
unit_cost_usd: 0.00418
tools:
web_search_calls: 1
container_minutes: 3
mcp_schema_tokens: 1800
business:
tenant_id: acme-enterprise
task_success: true
cost_per_successful_task_usd: 0.014모델 라우팅 서비스
| 서비스 | 방식 |
|---|---|
| Martian | 프롬프트별 최적 모델 실시간 라우팅 |
| Not Diamond | 프롬프트 자동 변환 + 모델 선택 |
| Unify AI | 품질/비용/속도 최적화 라우팅 |
| OpenRouter | 멀티 프로바이더 마켓플레이스, 캐싱 지원 |
경영 관점 KPI
- Gross Margin with AI Cost
- p95 Latency by Top Revenue Flows
- Cost per Successful Task
실행 팁
비용 절감은 모델을 바꿀 때보다 불필요한 출력 토큰, 반복 tool call, cache miss를 줄이는 과정에서 먼저
나오는 경우가 많습니다. 가격표는 배포 전에 다시 확인하고, 운영 판단은 cost per successful task로
내립니다.
기준일과 근거
| 항목 | 기준일 | 재확인 권장 | 1차 출처 |
|---|---|---|---|
| OpenAI 모델·툴 가격 | 2026-05-17 | 2026-06-16 | https://openai.com/api/pricing/ |
| Claude 모델·툴 가격 | 2026-05-17 | 2026-06-16 | https://platform.claude.com/docs/en/about-claude/pricing |
| DeepSeek V4 가격 | 2026-05-17 | 2026-05-31 | https://api-docs.deepseek.com/quick_start/pricing/ |