거버넌스와 소유권
DevEx, SRE, 제품팀, QA 플랫폼, AI 플랫폼 사이의 owner와 승인 경계를 정하는 기준
테스트 환경은 도구가 아니라 조직 시스템입니다. owner, 승인 기준, 보안 정책, 분기 리뷰가 없으면 probe 수는 늘어나지만 신뢰도는 내려갑니다.
ownership 구조
| 영역 | 책임 팀 | 핵심 책임 |
|---|---|---|
| 플랫폼 계층 | QA Platform / DevEx | runners, reporters, shared fixtures, evidence schema |
| 환경 계층 | SRE / Platform | seed, reset, queue, clock, sandbox, secrets |
| 도메인 probe | 제품팀 | 시나리오 정의, 기대 결과 유지 |
| 릴리즈 게이트 | Release Manager + QA Platform | blocker 정의, 예외 승인 |
| agent repair loop | AI Platform / DevEx | safe scope, audit trail, rerun policy |
CODEOWNERS 권장 범위
/testops/runners/browser/ @qa-platform
/testops/fixtures/ @qa-platform @platform-team
/testops/contracts/payments/ @team-payments @qa-platform
/testops/runbooks/ @qa-platform @release-managers
/testops/evidence/classifier/ @qa-platform @ai-platform변경 승인 규칙
다음 변경은 최소 2개의 시선에서 리뷰합니다.
- gate suite 추가/삭제
- 공용 fixture 또는 environment controller 변경
- test id / schema / event contract 변경
- retry 정책 변경
- quarantine 승인/해제
- classifier나 agent repair scope 변경
보안과 개인정보
- 테스트 계정 자격증명은 secret manager로만 배포
- artifact 링크는 사내 접근 제어 하에 보관
- production PII가 trace에 남지 않도록 sandbox 또는 masking 정책 적용
- agent가 접근 가능한 evidence 범위도 role별로 분리
audit trail에 남겨야 할 기록
- 어떤 probe가 release gate였는지
- 누가 예외를 승인했는지
- known flaky 또는 quarantine를 누가 어떤 기간 허용했는지
- 어떤 agent repair가 어떤 범위에서 실행되었는지
- sandbox secret과 계정 owner가 누구인지
분기 리뷰 루틴
- gate probe 재선정
- nondeterminism top 10 재정렬
- suite duration과 비용 검토
- 더 이상 가치 없는 시나리오 정리
- 신규 서비스 onboarding 상태 점검
anti-pattern
- owner 없는 공용 probe 증가
- 제품팀이 테스트 환경을 QA 전담 문제로 보는 문화
- known flaky가 승인 없이 계속 유지되는 상태
- audit trail 없이 hotfix 예외가 반복되는 운영
- agent repair가 사실상 무제한 self-approve 통로가 되는 구조
권장 문화
거버넌스의 목표는 승인 단계를 늘리는 것이 아니라, 누가 무엇을 바꿀 수 있는지와 어떤 evidence가 release 판단을 지탱하는지 명확히 하는 것입니다.