런북 템플릿
incident, nondeterminism, release evidence, 신규 서비스 onboarding에 바로 쓸 수 있는 운영 템플릿
핵심 요약
- 위키나 Notion에 바로 붙여 쓰는 TestOps 운영 템플릿 4종을 모았습니다.
- Incident Runbook은 사실 확인→원인 분류→조치→다음 업데이트 시각 흐름을 체크박스로 담습니다.
- Nondeterminism Ticket은 분류·최근 10회 실패·environment fingerprint·quarantine 여부를 기록합니다.
- Release Evidence Checklist는 smoke/critical/prod-safe 결과와 QA·Release Manager·제품 오너 승인을 묶습니다.
- Onboarding Checklist는 핵심 여정 3~5개·probe 분리·tier·owner·seed/reset·gate 포함 승인을 점검합니다.
이 부록은 팀 위키나 Notion에 바로 붙여넣어 쓸 수 있도록 만든 실무 템플릿 모음입니다.
1) TestOps Incident Runbook
# TestOps Incident Runbook
- 발생 시각:
- gate / tier:
- probe type (browser/api/workflow/canary):
- 환경:
- environment fingerprint:
- 영향 범위:
- 현재 등급(Sev1/2/3):
- 최초 감지자:
- 현재 owner:
## 1. 사실 확인
- 최근 코드 변경:
- 최근 환경 변경:
- 실패 재현 여부(local/preview/prod-like):
- evidence 링크(trace/log/event/screenshot):
## 2. 원인 분류
- [ ] Product Regression
- [ ] Test Issue
- [ ] Data Issue
- [ ] Infra Issue
- [ ] External Dependency
- [ ] Model Variance
## 3. 조치
- [ ] release hold
- [ ] quarantine
- [ ] hotfix
- [ ] rollback 검토
- [ ] follow-up ticket 발행
## 4. 다음 업데이트 시각
- ETA:2) Nondeterminism Ticket Template
# Nondeterminism Ticket
- scenario id:
- probe type:
- gate 영향 여부:
- 최근 10회 실패 횟수:
- 분류(timing/contract/data/environment/external/model):
- 최초 발견:
- owner:
- 목표 해결일:
## 관측 정보
- 대표 evidence:
- 최근 관련 변경:
- retry 후 pass 여부:
- environment fingerprint:
## 예상 원인
## 해결 계획
## quarantine 여부
- [ ] yes
- [ ] no
이유:3) Release Evidence Checklist
# Release Evidence Checklist
- release candidate build:
- 실행 환경:
- smoke 결과:
- critical 결과:
- production-safe probe 결과:
- known flaky / quarantine 예외 문서:
- blocker 존재 여부:
- evidence bundle 링크:
## 승인
- QA Platform:
- Release Manager:
- 제품 오너:
- 비고:4) 신규 서비스 Onboarding Checklist
# Test Environment Onboarding Checklist
- [ ] 핵심 사용자 여정 3~5개 정의
- [ ] browser/api/workflow probe 분리
- [ ] smoke/critical/full tier 분류
- [ ] suite owner 지정
- [ ] seed/reset/clock/queue 전략 문서화
- [ ] evidence 보관 정책 연결
- [ ] alert 채널 연결
- [ ] CODEOWNERS 추가
- [ ] release gate 포함 여부 승인