Ch7. 실험 운영 체계
프롬프트·모델·워크플로우 실험을 빠르고 안전하게 반복하는 방법
좋은 실험은 더 많은 실험이 아니라, 더 빠른 의사결정을 만듭니다.
실험 설계는 통계적 유의성보다 사업상 의미를 먼저 정의해야 합니다.
실험 단위
| 실험 대상 | 예시 | 리스크 |
|---|---|---|
| Prompt | 지시문 구조, 제약 조건 | 품질 변동 |
| Model | 공급자/버전 전환 | 비용·품질 동시 변동 |
| Workflow | 툴 호출 순서, 승인 조건 | 안전성 영향 |
실험 판정식
λ값은 조직의 전략(성장/수익/안전)에 맞춰 조정합니다.
실험 운영 규율
- 동시 실험 수를 제한합니다(해석 가능성 유지).
- 고위험 기능은 사전 승인된 실험 창(window)에서만 수행합니다.
- 실패한 실험도 지식자산으로 저장해 동일한 재시도를 줄입니다.
실험 리뷰 템플릿
# Experiment Review
- Hypothesis:
- Variant A/B:
- Target Metric:
- Result (Quality/Cost/Risk):
- Decision: Rollout / Iterate / Rollback