거버넌스와 소유권
DevEx, SRE, 제품팀, QA 플랫폼, AI 플랫폼 사이의 owner와 승인 경계를 정하는 기준
핵심 요약
- 테스트 환경은 도구가 아니라 조직 시스템입니다. owner·승인·보안·분기 리뷰가 갖춰져야 신뢰도가 유지됩니다.
- 플랫폼·환경·도메인 probe·릴리즈 게이트·agent repair loop별로 책임 팀을 명시합니다.
- gate suite·공용 fixture·contract·retry·quarantine·classifier 변경은 최소 2개 시선의 리뷰를 거칩니다.
- audit trail에는 release gate probe, 예외 승인자, quarantine 허용 기간, agent repair 범위를 남깁니다.
- 거버넌스의 목표는 승인 단계를 늘리는 게 아니라 누가 무엇을 바꿀 수 있는지 분명히 하는 데 있습니다.
테스트 환경은 도구가 아니라 조직 시스템입니다. owner와 승인 기준, 보안 정책, 분기 리뷰가 없으면 probe 수는 늘어나도 신뢰도는 떨어집니다.
ownership 구조
| 영역 | 책임 팀 | 핵심 책임 |
|---|---|---|
| 플랫폼 계층 | QA Platform / DevEx | runners, reporters, shared fixtures, evidence schema |
| 환경 계층 | SRE / Platform | seed, reset, queue, clock, sandbox, secrets |
| 도메인 probe | 제품팀 | 시나리오 정의, 기대 결과 유지 |
| 릴리즈 게이트 | Release Manager + QA Platform | blocker 정의, 예외 승인 |
| agent repair loop | AI Platform / DevEx | safe scope, audit trail, rerun policy |
CODEOWNERS 권장 범위
/testops/runners/browser/ @qa-platform
/testops/fixtures/ @qa-platform @platform-team
/testops/contracts/payments/ @team-payments @qa-platform
/testops/runbooks/ @qa-platform @release-managers
/testops/evidence/classifier/ @qa-platform @ai-platform변경 승인 규칙
다음 변경은 최소 2개의 시선에서 리뷰합니다.
- gate suite 추가/삭제
- 공용 fixture 또는 environment controller 변경
- test id / schema / event contract 변경
- retry 정책 변경
- quarantine 승인/해제
- classifier나 agent repair scope 변경
보안과 개인정보
- 테스트 계정 자격증명은 secret manager로만 배포
- artifact 링크는 사내 접근 제어 하에 보관
- production PII가 trace에 남지 않도록 sandbox 또는 masking 정책 적용
- agent가 접근 가능한 evidence 범위도 role별로 분리
audit trail에 남겨야 할 기록
- 어떤 probe가 release gate였는지
- 누가 예외를 승인했는지
- known flaky 또는 quarantine를 누가 어떤 기간 허용했는지
- 어떤 agent repair가 어떤 범위에서 실행되었는지
- sandbox secret과 계정 owner가 누구인지
분기 리뷰 루틴
- gate probe 재선정
- nondeterminism top 10 재정렬
- suite duration과 비용 검토
- 더 이상 가치 없는 시나리오 정리
- 신규 서비스 onboarding 상태 점검
anti-pattern
- owner 없는 공용 probe 증가
- 제품팀이 테스트 환경을 QA 전담 문제로 보는 문화
- known flaky가 승인 없이 계속 유지되는 상태
- audit trail 없이 hotfix 예외가 반복되는 운영
- agent repair가 사실상 무제한 self-approve 통로가 되는 구조
권장 문화
거버넌스의 목표는 승인 단계를 늘리는 게 아니라 누가 무엇을 바꿀 수 있고 어떤 evidence가 release 판단을 떠받치는지 분명히 하는 데 있습니다.