검증 리포트
고객 전환 시뮬레이션 핸드북의 수치 대조 범위와 결과, 수정 내역, 확인하지 못한 항목 기록
글·검토 Eric Han · 리옵트 공동창업자·CTO
검증 기준일
2026년 10월 30일
검증 범위
| 항목 | 기준 |
|---|---|
| 수치 | 각 장의 값을 링크된 원문과 대조 |
| 계산 | 몬테카를로 코드 실행, 수식 확인, 계산기 expression 평가 |
| 문서 구조 | meta.json과 실제 MDX 파일 일치 |
| 앱 검증 | handbook 범위 lint, typecheck, build |
방법
- 다섯 갈래로 원문을 조사해 수치와 등급을 기록했습니다.
- 1차 대조: 초고 저자와 분리된 작업 세 건으로 값과 의미를 원문과 비교했습니다.
- 2차 대조: 인용 URL 159개를 원시 텍스트로 받아 책의 숫자 1,397개를 스크립트로 찾았습니다. 찾지 못한 459건은 단위와 문맥을 읽어 하나씩 판정했습니다.
- 비판 검토: 미확인 출처를 찾고, 해석·등급·예제가 원문과 책 자신의 규칙을 넘는지 봤습니다. 핵심 주장 5개의 후속·반대 연구도 찾았습니다.
- 새로 넣은 근거의 핵심 값은 PDF, 원 데이터, 원문 텍스트에서 직접 확인했습니다.
사람이 전 수치를 직접 읽어 확인한 것은 아닙니다. 값이 원문에 있어도 표 구조에서 잘못 읽은 경우는 자동 대조로 다 잡지 못할 수 있습니다.
결과 요약
| 항목 | 결과 |
|---|---|
| 2차 자동 대조 | 1,397건 중 938건 즉시 일치, 459건 수동 판정 |
| 수동 판정 459건 | 일치 454, 불일치 1, 원문에 없음 3, 대조 불가 1. 모두 수정 |
| 1차 대조 | 값 단위 약 1,240건 일치(근사치), 오류 수정 |
| 비판 검토 후 수정 | 합성 고객 현장 상관, PIE 조건, 예제 강도, 등급 체계 등 |
| 시뮬레이터 | 단위 테스트 통과, 베타 분위와 예제 값 재현 |
| build, typecheck, MDX 파싱, 레지스트리·SEO·계산기 ID 검사 | 통과 |
| 전체 페이지 렌더링 | 응답 정상, 콘솔 오류 없음, 데스크톱·모바일 가로 넘침 없음 |
| oxlint | 이 책과 무관한 scripts/lib 파일 14건 오류로 실패 |
주요 수정 내역
| 장 | 이전 | 수정 |
|---|---|---|
| 시나리오 예제, 세일즈 | 발송→미팅 0.2%로 1만 통당 수주 3.8건 | 753만 통 대비 약 0.016%(하한)로 교체, 수주 평균 0.3건 |
| 시나리오 예제 1 | 강도 , 배수 1.2~2.0으로 증분 구매 24~193건 | 책의 분위 기준 , 배수 0.85~2.0으로 2~350건 |
| 합성 고객 | 현장 r=0.27, 설문 0.47(프리프린트), 실제 A/B 대조 연구 없음 | Nature 원 데이터 현장 0.33, 설문 0.43. 실제 A/B 대조 연구 추가 |
| 증분 | PIE 배수를 조건 없이 표기 | 미국 대형 광고주, 2019~20, 이벤트 혼합 조건 명시 |
| 증분, 표지 | 플랫폼 보고는 실제보다 크다 | 방향이 연구마다 다르다고 수정 |
| 이커머스 레버 | Google 의뢰 0.1초당 전환 +8.4% | 인용 페이지에 없어 +9.1%(상세→담기), +9.2%(지출)로 교체. 속도 계획값 삭제 |
| 셀프서브 | 카드 필수 인과 표현, 7일이 낫다 | 관측 표현으로 수정, 3일 대 7일 실험과 자동 갱신 실험 추가 |
| 셀프서브, 제품 지도 | ChartMogul 4.5%·3.6명을 카드 미등록으로 표기 | 트라이얼 전체 값으로 정정 |
| 직군 지도 | 엔지니어·제품 5.2%를 A등급 값으로 표기, 마케팅·재무 빈칸 | 평균으로 정정, 마케팅·재무 칸 채움 |
| 리퍼럴 | 리마인더 +21%를 넛지 전체 효과로 표현, 0.18~0.30을 평생 누적으로 표기, 비관 시나리오 이중 할인 | 문구 비교임을 밝히고 관측 시점 누적으로 정정, 시나리오 재구성 |
| 시딩(Hinz) | 최선이 최악의 8배 | 무작위 대비 +39~52%, 저연결 대비 최대 8배 |
| 등급 | A에 관찰 연구와 방법론 혼재 | A는 무작위 실험만. 관찰 연구는 B, 방법론은 별도 |
| 매체 지도 | 배수를 곱해 줄임 | 배수로 나눔 |
| 검색 계산기 | 검색 값에 Meta 배수 기본 적용 | 기본 1, 자사 실험값 입력 안내 |
확인하지 못한 항목
| 항목 | 상태 |
|---|---|
| Ebsta×Pavilion 2025 신규 승률 | 자사 문구 18%, 재인용 19%. 보고서는 양식 제출이 필요해 열지 않음 |
| Nature 게재본의 방향 정답률, 최종 RMSE | 본문 유료. 방향 정답률과 RMSE는 2024 프리프린트 값 |
| Bass p·q 평균 | Sultan 1990 원문 유료, 2차 문헌 일치까지만 확인 |
| 네이버 비즈니스 플랫폼 리포트 | 원본을 찾지 못함 |
| LocaliQ의 같은 CPL 값 두 쌍 | 원문에도 같은 값, 이유 미상 |
| Deloitte Milliseconds Make Millions 원본 | PDF 링크 소실. web.dev 요약 값만 사용 |
| Lepthien·Clement 2019, Sahni, Bing, Sun, Li·Li·Belo | 초록·요약 수준, 표에 A(요약) 표기 |
| Eckles 외 2018 비판 | 본문 자동 수집이 막혀 초록 수준 확인 |
| Instantly 표본 | 미기재 |
추가 5개 장의 근거
초기 스타트업 SaaS, 모바일앱 획득, 데스크톱 앱, 인플루언서, 파트너·콜라보 장은 다른 장보다 나중에 썼습니다. 원문 텍스트를 내려받아 조사했고 초고 뒤 숫자를 자동으로 다시 대조했지만, 독립된 비판 검토는 거치지 않았습니다. 다음 값은 원문을 직접 보지 못했거나 제약이 있습니다.
| 항목 | 상태 |
|---|---|
| Benchmarkit 2025 값 | 도표 이미지를 눈으로 판독, 구간별 표본 수 미공개 |
| Influencer Marketing Hub 2020의 5.78달러 | PDF 접근 실패, 요약으로만 확인 |
| Meta 파트너십 광고 백서, IPA 보고서 | 2차 기사로만 확인 |
| Cao 외 앱 실험 | 대학 요약 기준, 논문 본문 유료 |
| Brice 중앙값 | 공개 원자료로 이 책에서 재계산 |
이 책의 판단으로 표시한 값
다음은 근거에서 곧바로 나온 값이 아니라 저자 판단이며 본문에도 그렇게 적었습니다.
- 사전 강도 의 어림 기준과 예제의 강도값.
- 매체별 보고÷증분 배수 구간과 예제의 배수 분포.
- 이커머스 레버의 계획값.
- 거듭제곱 포화 곡선의 형태와 시나리오.
- 리퍼럴 분해식과 감쇠 처리.
검증 한계
- 한국 매체·이커머스·SaaS 전환 벤치마크는 공개 자료를 찾지 못한 것이지 존재하지 않는다는 뜻이 아닙니다.
- 벤치마크를 베타 사전 분포로 바꿨을 때 예측 정확도가 높아진다는 실증은 찾지 못했습니다. 이 책의 시뮬레이션 절차는 예측 성능이 검증된 방법이 아닙니다.
- 합성 고객이 전환율 절댓값을 맞힌다는 현장 연구는 찾지 못했습니다. 실제 A/B와 대조한 연구는 방향 예측 위주이고 소수입니다.