근거 읽는 법
전환 수치를 믿기 전에 확인할 근거 등급과 분모, 표본, 이해관계를 정리하고 벤치마크를 예측에 쓰는 규칙을 세웁니다
글·검토 Eric Han · 리옵트 공동창업자·CTO
핵심 요약
- 이 책의 주요 수치에는 A~D 등급이 붙습니다. A는 무작위 실험, B는 관찰 연구와 대규모 1차 데이터, D는 단일 사례와 재인용입니다.
- 전환율은 분모가 다르면 다른 지표입니다. 세션, 사용자, 발송 건, 수신자를 섞으면 10배까지 벌어집니다.
- 벤더 벤치마크는 자사 고객 표본입니다. 측정할 만큼 성숙한 회사만 들어가므로 신생 팀은 중앙값 아래에서 시작하는 편이 안전합니다.
- 평균 CPC를 평균 CVR로 나눠도 평균 CPL이 나오지 않습니다. 지표별로 따로 평균낸 값이므로 구간으로 다룹니다.
- 사례의 두 자릿수 상승폭은 계획에 넣지 않습니다. Qubit 고객사 실험을 추정한 값으로 90%의 처치는 효과가 ±1.2% 안이었습니다(저자는 대략적인 지표라고 밝힙니다).
근거 등급
| 등급 | 뜻 | 대표 자료 | 예측에 쓰는 법 |
|---|---|---|---|
| A | 무작위 실험 | Blake·Nosko·Tadelis의 eBay 실험 | 효과 크기와 보정 배수의 기준으로 씁니다. 원문 요약만 본 경우 A(요약)로 적습니다 |
| B | 동료심사 관찰 연구, 대규모 1차 데이터, 공시, 거래 로그 | Schmitt의 은행 자료, RevenueCat 구독 로그, SEC 공시 | 기준선으로 쓰되 인과로 읽지 않고 표본 범위를 확인합니다 |
| C | 벤더 집계, 자기 보고 설문 | LocaliQ, Littledata, ChartMogul | 범위의 참고값으로 쓰고 표본과 이해관계를 함께 적습니다 |
| D | 단일 사례, 재인용, 방법 불투명 | 대행사 블로그, 창업자 발표 | 방향만 참고합니다. 입력값으로 쓰지 않습니다 |
방법론 문헌(교과서, 모형 논문, 지침)은 수치 근거가 아니어서 등급을 매기지 않거나 B로 둡니다. 플랫폼에 소속된 공저자가 있는 Meta·Google 연구도 그 사실을 본문에 밝혔습니다.
분모부터 맞춥니다
수치를 비교하기 전에 네 가지를 확인합니다.
| 질문 | 왜 중요한가 | 실제 사례 |
|---|---|---|
| 분모가 무엇인가 | 분모가 다르면 다른 지표입니다 | 콜드메일 답장률 0.45%(발송 건 기준), 4.5%(수신자 기준) |
| 평균인가 중앙값인가 | 상위 소수가 평균을 끌어올립니다 | Shopify 전환율 중앙값 1.4%, 평균 1.9% |
| 누가 표본인가 | 도구 고객만 집계됩니다 | Littledata는 세션 1,000 이상·구매 90건 이상 스토어만 포함 |
| 언제 값인가 | 정의와 시장이 변합니다 | 2026년 1월부터 네이버 스마트스토어 구매 전환이 주문 단위로 변경(대행사 글 기준) |
귀속과 증분은 다릅니다
벤더 표의 CVR, CPL, ROAS는 대부분 귀속(attribution) 값입니다. 광고를 보지 않았어도 샀을 사람이 포함됩니다. eBay 실험에서는 비브랜드 검색 광고를 끄자 귀속 매출은 72% 이상 줄었지만 전체 매출에는 뚜렷한 변화가 없었습니다. 자세한 보정은 보고 전환과 증분 전환에서 다룹니다.
벤치마크를 쓸 때의 규칙 여섯 가지
같은 표에서 온 값끼리만 곱합니다. 지표 정의와 표본이 다른 단계율을 이어 붙이면 그럴듯한 숫자만 나옵니다. 어쩔 수 없이 섞으면 넓은 구간으로 둡니다.
값 하나 대신 구간을 씁니다. 분위수가 공개된 자료는 그 폭을, 그렇지 않은 자료는 다른 출처와의 차이를 구간으로 삼습니다.
평균끼리 나눈 값을 검산으로 믿지 않습니다. LocaliQ의 변호사 업종 CPC $9.87을 CVR 5.55%로 나누면 $177.8이지만 표의 CPL은 $131.63입니다.
표본 조건을 내 상황과 비교합니다. 미국 대기업 광고주 표를 한국 초기 스타트업에 쓰려면 구간을 넓히고 중심을 낮춥니다.
상승폭은 할인합니다. 정부 넛지 영역에서 학술지 효과는 8.7%p, 정부 넛지 유닛의 RCT는 1.4%p로 약 6배 차이가 났습니다. 이 배율을 일반 법칙으로 쓰면 안 되지만 공개된 효과가 부풀 수 있다는 점은 그대로 적용됩니다.
빈칸을 적어 둡니다. 근거 없는 칸은 추정으로 채우지 말고 "자사 파일럿으로 측정"이라고 적습니다.
효과 크기 현실 점검
리테일·여행 사이트 약 6,700건의 실험을 분석한 Browne·Jones(2017)의 추정에서는 실험의 90%가 효과 절댓값 1.2% 미만이었고(저자는 대략적인 지표라고 밝힙니다) 효과가 가장 큰 범주(희소성 표시)도 평균 +2.9%였습니다. 다만 저자들이 Qubit 소속이고 학술지 게재 정보가 없으며, PwC UK의 독립 검증을 명시합니다(등급 B).
이 책의 용어
| 용어 | 뜻 |
|---|---|
| 전환, CVR | 정한 행동을 한 비율. 분모를 항상 함께 적습니다 |
| 퍼널 | 방문에서 구매까지 이어지는 단계. 단계율은 직전 단계 대비 비율입니다 |
| 귀속(attribution) | 플랫폼이나 코드가 자기 몫으로 집계한 전환. 광고가 없어도 일어났을 전환이 섞입니다 |
| 증분(incrementality) | 그 활동이 없었다면 일어나지 않았을 전환. 대조군과 비교해 잽니다 |
| 리프트 | 대조군 대비 증가율 |
| 보고÷증분 배수 | 플랫폼 보고 전환을 증분 전환으로 나눈 값. 벤치마크 전환을 이 값으로 나눕니다 |
| 강도 | 벤치마크 평균을 관측 몇 건만큼 믿는지 나타내는 값. 클수록 구간이 좁습니다 |
| 고객 한 명이 데려오는 신규 고객 수(바이럴 계수). 강도 와 다릅니다 | |
| Freemium | 무료 플랜을 계속 쓸 수 있고 일부가 유료로 넘어가는 모델 |
| 트라이얼, 리버스 트라이얼 | 기간 한정 무료 사용. 리버스는 유료 기능으로 시작해 기간이 끝나면 무료로 내려갑니다 |
| 셀프서브, PLG | 영업 없이 고객이 스스로 가입하고 결제하는 방식 |
| MQL, SQL | 마케팅이 넘긴 리드, 영업이 인정한 리드 |
| CPC, CPL, CPI, CAC | 클릭당, 리드당, 설치당, 고객 획득당 비용 |
| ROAS, ROIS | 광고비 대비 매출, 인플루언서 비용 대비 순매출. 둘 다 마진이 아닙니다 |
| EMV | 노출과 참여를 달러로 환산한 값. 매출이 아닙니다 |
| GRR, NRR | 기존 고객 매출 유지율. NRR은 확장 매출을 포함합니다 |
| D1, D7, D30 | 설치 후 1, 7, 30일째 돌아온 비율 |
| ATT | iOS 앱 추적 동의 |
| 벤더, 업체 | 벤치마크를 내는 도구·대행 회사. 대개 자사 고객 표본이고 이해관계가 있습니다 |
수치 표기 약속
계산이라고 적은 값은 원문 값을 이 책에서 나누거나 곱한 것이며 원문에 그대로 있지 않습니다.재인용은 원문을 직접 확인하지 못하고 다른 글로만 확인한 값입니다.- 달러 값은 원문 그대로 두었습니다. 한국 시장 값으로 환산할 근거가 없기 때문입니다.
- 집계 기간을 함께 적었습니다. 판이 다른 값을 섞어 인용하지 마세요.
관련 장
- 전환 지도에서 수치를 찾습니다.
- 벤치마크를 구간으로에서 찾은 수치를 분포로 바꿉니다.