실험 타입 선택
가장 싼 실험으로 가장 큰 불확실성을 줄이는 선택 가이드
실험을 "제품 형태"로만 생각하면 초기 비용이 커집니다. Agentic MVP는 불확실성의 종류에 따라 실험 타입을 바꿉니다.
선택 매트릭스
| 불확실성 | 추천 실험 | 이유 |
|---|---|---|
| 수요(Need) | Fake Door | 만들기 전에 클릭/리드로 검증 |
| 메시지(Message) | 랜딩/포스트 A/B | 기능보다 카피가 먼저 틀릴 때가 많음 |
| 가격 의사(Pricing) | 가격 페이지/예약금 | "좋다"와 "돈 낸다"를 분리 |
| 문제의 언어(Problem) | Concierge | 사용자의 표현/업무 흐름을 학습 |
| 결과 품질(Quality) | Wizard-of-Oz | 품질 기준/평가 체계를 먼저 확보 |
| 기술 리스크(Tech) | PoC(단일 기능) | 큰 구현 전에 가능/불가능 확인 |
| 반복 사용(Stickiness) | Thin Slice | 전체 여정 1회 완주 후 D1/D7 관찰 |
| 세일즈 가능성(Sales) | 수동 아웃바운드 10건 | ICP, 반론, 구매 프로세스를 빠르게 확인 |
1) Fake Door
정의: 기능이 있는 것처럼 보여주고 반응(클릭/리드/결제 의사)을 측정
- 장점: 가장 싸고 빠름
- 단점: 실제 사용 경험은 검증 못함
좋은 신호
- 클릭 후 "대기자 등록/상담/결제 의사"가 발생
- 메시지/타겟이 바뀌면 전환이 크게 달라짐(학습 포인트)
- 가격 또는 보안 반론처럼 다음 대화로 이어지는 질문이 발생
2) Wizard-of-Oz (WoZ)
정의: 사용자는 자동이라고 믿지만, 내부는 수동 처리
- 장점: "자동화 수준"을 미리 고정하지 않아도 됨
- 단점: 운영 부하가 생김(그래도 초기엔 비용 대비 학습이 큼)
WoZ에서 가장 중요한 것
사용자가 원하는 것은 자동화가 아니라 결과입니다. 결과 품질 기준과 불만 포인트를 먼저 잡고 자동화는 마지막에 합니다.
3) Concierge
정의: 소수 고객에게 직접 서비스를 제공하며 문제/가치/가격을 검증
- 장점: 가장 강한 정성 신호(결제/계약/반복 요청)
- 단점: 확장성 검증은 나중
4) Thin Slice MVP
정의: "한 사용자 여정"을 끝까지 통과시키는 최소 기능
- 장점: 실제 사용과 계측이 가능
- 단점: Fake Door보다 구현비가 큼
5) Agent-Assisted GTM 실험
정의: 에이전트가 채널별 카피, 세일즈 메일, FAQ, 반론 처리, 리드 분류 초안을 만들고 사람이 실제 타겟 접촉과 판정을 수행
- 장점: 같은 제품 가설을 여러 메시지·채널로 빠르게 비교
- 단점: AI가 만든 반응 예측은 증거가 아니며, 실제 클릭/답장/미팅/결제 의사로만 판정해야 함
좋은 활용 예:
- 커뮤니티 포스트 3안, LinkedIn DM 3안, 콜드메일 3안을 만들고 실제 반응을 비교
- 인터뷰 녹취를 반론/구매 트리거/대안 도구로 클러스터링
- 랜딩 페이지 CTA별로
cta_click,demo_request,pricing_view,checkout_start를 비교
실험 타입을 바꾸는 타이밍
- 클릭/리드가 의미 있게 발생하고 - "왜 쓰고 싶은지/어디서 막히는지" 가설이 생기면 → Thin Slice로 넘어갑니다.
- 사람이 직접 했을 때 반복 요청/지불 의사가 있고 - 프로세스가 어느 정도 고정되면 → WoZ로 UI/흐름을 제품처럼 만들며 운영 부담을 낮춥니다.
- 결과 품질 기준이 명확하고 - 실패 모드(오류/예외)가 분류되며 - 처리 비용이 누적되어 "자동화 ROI"가 보이면 → 자동화를 시작합니다.
- 특정 메시지/채널/세그먼트에서 반복 반응이 생기고 - 상담/결제/온보딩에서 같은 요구가 반복되면 → 그 세그먼트의 Thin Slice를 먼저 만듭니다.
Claude Code 활용 체크리스트(실험 타입)
- 불확실성(Need/Quality/Tech/Channel)을 분류해달라
- 가장 싼 실험부터 3단계 로드맵을 제안받기
- WoZ/Concierge 운영 체크리스트(응대 스크립트, SLA, 실패 처리)를 만들기
- 채널별 카피 3안과 반론 처리 문구를 만들고 실제 반응으로 판정하기
- AI 리서치 요약과 실제 사용자 행동을 분리해 리포트하기
참고 자료
- Eric Ries, The Lean Startup — Concierge MVP, Wizard-of-Oz MVP, Pivot 개념의 원전.
- David J. Bland & Alexander Osterwalder, Testing Business Ideas — Fake Door를 포함한 실험 카탈로그와 선택 기준.
- Cindy Alvarez, Lean Customer Development — Concierge 방식의 고객 학습과 인터뷰 운영 실무.
- BCG, Product Teams Can Make AI Sales Agents Smarter — 제품팀이 세일즈 에이전트와 고객 신호를 연결해야 하는 이유.