보고 전환과 증분 전환
eBay와 Meta, Google의 무작위 실험으로 플랫폼 보고 전환이 실제 효과를 얼마나 부풀리는지 재고 시뮬레이션에 쓸 보정 배수를 정합니다
글·검토 Eric Han · 리옵트 공동창업자·CTO
핵심 요약
- Meta 7일 라스트클릭 전환은 무작위 실험 증분 대비 전자상거래 1.2배, 리테일 1.5배, 여행 2.0배입니다. 2019~20년 미국 대형 광고주의 평균입니다.
- 관측 데이터로 인과를 보정해도 오차가 큽니다. 머신러닝 추정 리프트는 RCT의 2.9~4.8배, 성향점수매칭은 6.0~12.8배입니다(중앙값 비, 계산).
- eBay 비브랜드 검색은 회귀로 ROI 1,000%를 훌쩍 넘었지만 실험에서는 -63%였습니다. 다만 신규·저빈도 고객에는 효과가 있었습니다.
- 브랜드 검색의 결론은 조건부입니다. 경쟁자가 없으면 효과가 작고, 자사 광고 없이 경쟁자만 입찰하면 클릭의 18~42%를 빼앗길 수 있습니다(자사 광고가 있으면 1~5%).
- 벤더 실험은 반대 방향도 보고합니다. YouTube는 플랫폼 보고의 3.4배라는 값이 있어, 배수는 매체별 구간으로 둡니다.
왜 보정이 필요한가
광고를 볼 가능성이 높은 사람은 원래 살 가능성도 높은 사람입니다. 그래서 플랫폼 귀속 전환은 "광고를 본 사람이 산 건수"이지 "광고 때문에 늘어난 건수"가 아닙니다. 시뮬레이션에서 CVR 벤치마크를 그대로 쓰면 실제 효과를 부풀립니다.
가장 직접적인 배수: Meta
Gordon·Moakler·Zettelmeyer, PIE는 Meta 실험 998개의 RCT 2,226건으로 달러당 라스트클릭 전환과 달러당 증분 전환을 비교했습니다(공저자 Meta 소속, 등급 A).
- 여행2.0배
- 리테일1.5배
- 전자상거래1.2배
여행은 라스트클릭 전환의 약 절반이 광고 없이도 발생한다는 뜻입니다. 표본은 미국 광고주, 2019년 11월~2020년 3월, 테스트군 100만 명·전환 5,000건 이상이고 구매·장바구니·페이지뷰 이벤트가 섞여 있습니다. iOS 추적 제한 이전 자료이고 소액 광고주의 값이 아닙니다.
전체 표본 기준 배수는 1.33입니다. 라스트클릭 원값을 증분으로 그대로 쓰면 표본 외 R²이 0.19이고(전자상거래 0.90, 리테일·여행은 평균 예측보다 나쁨), 같은 라스트클릭을 RCT로 보정한 모델에 넣으면 0.85까지 오릅니다. 문제는 신호가 없는 것이 아니라 체계적으로 부풀어 있다는 점입니다. 그래서 업종별 보정이 효과가 있습니다. 라스트클릭과 증분의 순위 상관도 높습니다(ρ=0.89). 집행 지속·중단 판단이 RCT와 달라지는 비율은 라스트클릭 기준 12~20%였습니다.
증분 고객 획득비의 추정 분포도 있습니다. Meta 구매 최적화 캠페인 7만 건 이상에서 중앙값은 $38.16이고, 10~90분위는 $5.86~$241.95로 넓습니다. 구매 대신 클릭으로 최적화하면 $49.93으로 31% 오릅니다(Wernerfelt 외, Marketing Science 2025, 공저자 2인 Meta 소속, 등급 A).
관측 추정이 얼마나 틀리는가
Gordon·Moakler·Zettelmeyer, Close Enough?는 실험 663건에서 같은 캠페인을 RCT와 관측 방법으로 함께 추정했습니다(공저자 Meta 소속, 등급 A). 아래 배수는 플랫폼 보고값이 아니라 통계 보정 모델과 RCT의 비교이고, 단위도 리프트입니다. 앞 표의 전환 수 배수와 섞지 마세요.
- 성향점수매칭64%
- 이중 머신러닝24%
- 무작위 실험5%
| 지표 | RCT 중앙 리프트 | 이중 머신러닝 | 성향점수매칭 |
|---|---|---|---|
| 페이지뷰 | 29% | 83%(약 2.9배) | 173%(약 6.0배) |
| 장바구니 | 18% | 58%(약 3.2배) | 176%(약 9.8배) |
| 구매 | 5% | 24%(약 4.8배) | 64%(약 12.8배) |
사용자 특징을 5,000개 넘게 넣은 모델도 이 정도입니다. 또한 퍼널 아래로 갈수록 리프트가 작아져, 구매 RCT의 40%는 0과 구분되지 않았습니다.
검색: 조건에 따라 뒤집히는 결론
| 근거 | 조건 | 결과 | 등급 |
|---|---|---|---|
| eBay 비브랜드 | 미국 트래픽 30% 지역 60일 중단 | 회귀 ROI 4,173%·1,632%, 실험 -63%(95% CI -124%~-3%) | A |
| eBay 브랜드 | Yahoo!·MSN 브랜드 검색 중단 | 트래픽의 99.5%가 자연 검색으로 유지 | A |
| eBay 고객 빈도 | 전년 3회 이상 거래 고객 | 영향 없음. 신규·저빈도에서만 양의 효과 | A |
| Bing 브랜드 | 경쟁사 없음 | 클릭 +1~4% | A |
| Bing 브랜드 | 미집행 + 경쟁사 입찰 | 경쟁사가 클릭 18~42% 탈취 | A |
| Bing 브랜드 | 집행 + 경쟁사 입찰 | 경쟁사가 클릭 1~5% 탈취 | A |
| Google 증분 클릭 | 전 업종, 자체 연구, 2011년, 일시 중단 연구 400건 이상 | 페이드 클릭의 89%가 증분. 전환이 아니라 클릭 | B |
| Google 자연 순위별 | 자연 결과 없음 vs 1위 | 증분 클릭 99% vs 50% | B |
eBay 결과를 그대로 옮기지 마세요
eBay는 이미 누구나 아는 브랜드입니다. 저자들도 강력한 브랜드의 사례임을 전제합니다. 이름 없는 스타트업에 -63%를 적용하면 안 됩니다. 시뮬레이션 변수로 브랜드 인지도, 경쟁 입찰 유무, 신규 고객 비중을 따로 둡니다.
디스플레이와 리타게팅
Johnson·Lewis·Nubbemeyer는 구글 디스플레이 실험 432건을 분석했습니다(Google 소속 공저자, 등급 A).
- 사이트 방문 중앙 리프트 16.6%(10~90분위 -1.1~215.6%), 전환 8.1%(-8.9~83.4%).
- 유의한 양의 전환 리프트는 184건 중 53건(29%, 계산)입니다.
- 방문 리프트 10%는 전환 리프트 5.1%로 이어집니다. 증분 방문자는 기존 방문자보다 잘 사지 않습니다.
학술과 벤더가 다른 방향을 말할 때
| 출처 | 매체 | 보고 대비 증분 | 표본 |
|---|---|---|---|
| PIE(학술) | Meta 7일 라스트클릭 | 과대 보고 1.2~2.0배 | 사용자 단위 RCT 2,226건 |
| Haus | Meta 7일 클릭·DTC | 15% 과소 보고 | 지역 실험 640건, 자사 고객 |
| Haus | YouTube | 보고의 3.4배 | 지역 실험 190건, 전환 최적화 캠페인, 사후 창 포함, 자사 고객 |
표본 단위, 결과 범위(플랫폼 전환과 DTC 매출), 귀속 창, 고객 구성, 측정 시기(PIE는 2019~20년)가 달라 어느 쪽이 틀렸다고 말할 수 없습니다. Haus는 증분 측정 업체입니다. 한 가지 값을 고르지 말고 구간을 쓰세요.
| 매체 | 시뮬레이션 기본 배수(보고÷증분) | 근거 |
|---|---|---|
| Meta 전환 캠페인 | 1.2~2.0 | PIE. 하한 쪽 Haus를 반영하면 약 0.85~2.0(계산) |
| 비브랜드 검색(인지도 높은 브랜드) | 근거상 크게 할인 | eBay. 신규 고객 비중을 따로 계산 |
| 비브랜드 검색(신생 브랜드) | 자사 실험 전까지 미상 | 공개 배수 없음 |
| 브랜드 검색 | 경쟁 입찰 유무로 분리 | Bing, eBay |
| YouTube·TikTok·LinkedIn | 자사 실험 전까지 미상 | 학술 RCT 배수 없음 |
표의 구간은 이 책의 판단입니다. 일반 법칙이 아닙니다.
측정 자체의 한계
Lewis·Rao(QJE 2015)는 RCT 25건, 총 $280만을 분석해 중앙 ROI 표준오차가 리테일 26.1%, 증권 115%임을 보였습니다. ROI +50%와 0%를 구분하려면 중앙 캠페인 규모의 9배가, 10%p 차이를 구분하려면 62배가 필요합니다(등급 A). 예산이 작으면 RCT 결과도 불확실합니다. 그래서 이 책은 점 추정이 아니라 구간을 권합니다.