이커머스 레버의 효과 크기
페이지 속도와 리뷰, 무료 배송, 할인, 결제 UX가 전환을 얼마나 바꾸는지 근거 수준별로 구분하고 A/B 테스트 효과의 현실을 확인합니다
글·검토 Eric Han · 리옵트 공동창업자·CTO
핵심 요약
- Qubit 고객사 실험을 추정하면 90%가 ±1.2% 안입니다(저자는 대략적인 지표라고 밝힙니다). 희소성 표시(+2.9%)가 최상위 범주일 만큼 평균 효과는 작습니다. 꼬리의 두께는 논쟁 중입니다.
- 속도 효과는 근거에 따라 10배 이상 어긋납니다. Bing RCT는 100ms당 매출 +0.6%, Google 의뢰 관측은 0.1초당 상품 상세→담기 +9.1%, 지출 +9.2%입니다.
- 무료 배송은 근거가 엇갈립니다. 제공·메시지 실험 평균은 방문자당 매출 -0.2%지만 자연 실험에서는 매출과 주문이 늘었습니다.
- 쿠폰 메일은 쿠폰 사용 밖의 지출까지 늘립니다. 무작위 실험에서 지출 +37%, 증가분의 약 90%가 쿠폰 사용과 무관했습니다.
- 1% 차이를 탐지하려면 변형당 구매자 약 12만 명이 필요해 대부분의 몰은 작은 차이를 판정할 수 없습니다.
실험 효과의 현실
Browne·Jones(2017)는 리테일·여행 실험 약 6,700건을 분석했습니다. 분류된 약 2,600건의 범주별 평균 효과입니다(저자 Qubit 소속, PwC UK 독립 검증 명시, 학술지 게재 정보 없음, 등급 B).
- 희소성 표시2.9%
- 사회적 증거2.3%
- 긴급성1.5%
- 이탈 저지1.1%
- 상품 추천0.4%
- 색상0.0%
- 무료 배송 제공·메시지-0.2%
- 버튼-0.2%
- CTA 문구-0.3%
- 모바일 내비게이션-1.7%
| 범주 | 방문자당 매출 | 전환율 |
|---|---|---|
| 희소성 표시 | +2.9% | +2.9% |
| 사회적 증거 | +2.3% | +1.9% |
| 긴급성 | +1.5% | +1.5% |
| 이탈 저지 | +1.1% | +1.6% |
| 상품 추천 | +0.4% | 0.0% |
| 색상 | 0.0% | -0.2% |
| 버튼 | -0.2% | -0.0% |
| 무료 배송 제공·메시지 | -0.2%(CI -0.8~0.4) | 0.0%(CI -0.5~0.5) |
| CTA 문구 | -0.3% | -0.2% |
| 모바일 내비게이션 | -1.7% | -1.1% |
29개 범주 중 양의 효과일 확률이 50%를 넘는 것은 8개뿐입니다. 저자들은 단일 처치의 두 자릿수 매출 증가 증거가 거의 없다고 씁니다. 상위 고객 0.1%를 제외한 값이고, 표본이 실험 도구 사용 기업입니다.
Berman 외(2018)의 Optimizely 2,101건에서는 리프트 평균이 11.2%인데 중앙값은 0.15%입니다(클릭 기반, 2018년 12월판). 소수의 극단값이 평균을 끌어올립니다. Azevedo 외(JPE 2020)도 Bing 실험 분포의 꼬리가 극단적으로 두껍다고 보고하는 반면, Browne·Jones는 얇은 꼬리를 봅니다. 대부분 작다는 점은 합의지만 드문 큰 성공의 크기는 논쟁 중입니다.
작은 사이트의 판정 한계
Browne·Jones 계산으로 전환율 1% 상승 탐지에는 대조군과 각 변형마다 구매자 약 12만 명이 필요합니다. 이 조건을 맞추는 몰은 드뭅니다. 작은 몰은 ±1%를 가리는 실험보다, 효과가 큰 변화(가격·상품 구성·오퍼)에 집중하는 편이 낫습니다.
p-해킹은 합의된 결론이 아닙니다
Berman 외는 90% 신뢰 부근 실험자의 약 73%가 조기 중단했다고 추정했고, Miller·Hosanagar(2025)는 미국 이커머스 플랫폼 2,270건에서 p-해킹 증거가 거의 없다고 보고했습니다. 플랫폼과 시기에 따라 다르다고 이해하세요.
페이지 속도
| 근거 | 조건 | 효과 | 등급 |
|---|---|---|---|
| Kohavi 외, KDD 2014 | Bing, 무작위 지연 100·250ms에서 추정 | 100ms 빨라지면 매출 +0.6% | A |
| Vodafone | 50:50 분할, LCP 31% 개선 | 매출 +8%, 장바구니/방문 +11% | D(단일 사례) |
| Deloitte·Google | 37개 브랜드, 관측, 4개 지표 동시 개선 | 0.1초당 상품 상세→담기 +9.1%, 지출 +9.2% | C |
Bing은 이커머스가 아니고, Deloitte는 무작위 배정이 아닙니다. 빠른 사이트는 대체로 브랜드도 강하고 고객 소득도 높기 쉬워 관측값에는 교란이 섞입니다. Google이 의뢰한 조사이기도 합니다. 이커머스 RCT의 효과 크기는 공개 근거가 부족합니다. 계획에는 구간을 두고 자사 실험으로 좁힙니다.
리뷰
Spiegel Research Center와 PowerReviews의 관측입니다(단일 고가 선물 리테일러, 등급 C).
| 관측 | 값 |
|---|---|
| 리뷰 0개→5개 | 구매 가능성 +270%(저가 +190%, 고가 +380%) |
| 별점과 구매 | 4.0~4.7에서 정점, 4.7~5.0은 하락 |
| 인증 구매자 배지 | 구매 오즈 +15% |
인기 상품이라 리뷰와 구매가 함께 늘 수 있습니다. 또 리뷰 0→5개 구간의 상품 단위 상대값이어서 사이트 전환 상승으로 옮기면 안 됩니다. 방향만 쓰세요.
배송과 추가 비용
| 근거 | 내용 | 등급 |
|---|---|---|
| Baymard 설문 | 이탈 이유 1위가 추가 비용 40% | C |
| Browne·Jones | 무료 배송 제공·메시지 평균: 방문자당 매출 -0.2%, 전환율 0.0% | B |
| Hirche 외 2021 | 유럽 대형 리테일러 자연 실험, 고정 수수료 대비 임계값 무료 배송이 매출·주문 증가, 반품은 고정 수수료가 적음 | B |
| Lepthien·Clement 2019 | 7개 요금 구조 RCT에서 임계값 무료 배송은 구매 발생을 낮추지만 구매액은 낮추지 않음. 전략적 반품 증가(초록 확인) | A(요약) |
형식과 임계값, 카테고리에 따라 달라집니다. 하나의 효과 크기로 넣지 말고 자사 실험을 합니다.
Blake 외(StubHub)는 수수료를 결제 단계에서 보여준 군이 처음부터 보여준 군보다 지출이 약 21% 많았음을 보였습니다(등급 A). 숨길수록 매출이 늘어난다는 결과이지만 규제 대상이 될 수 있는 다크패턴입니다. 총액을 늦게 공개하라는 권고가 아닙니다.
할인과 메일
Sahni·Zou·Chintagunta(2017)의 티켓 플랫폼 무작위 실험 70건에서 프로모션 기간 지출은 +37%이고, 증가분의 약 90%는 쿠폰 사용을 거치지 않았습니다. 만료 후 1주에도 +25%였습니다(기관 요약, 등급 A). 쿠폰 사용률만 보면 효과를 놓칩니다.
레버의 위치
Miller·Hosanagar(2020)의 252개 회사 2,732건에서는 가격 프로모션과 카테고리·상품목록 페이지 실험의 효과가 가장 컸고, 가격은 퍼널 초반에, 배송은 후반에 유효했습니다. 순위만 공개되었습니다(C).
시뮬레이션에 넣는 값
| 변화 | 계획값 | 상한 참고 |
|---|---|---|
| 일반 UX·문구 변경 1건 | 0~±1% | Browne·Jones 분포 |
| 희소성·사회적 증거 | +0~3%. 실제 재고·실제 행동일 때만. 허위 표시는 다크패턴 | 벤더 범주 평균, 장기 효과 미측정 |
| 속도 개선 | 자사 실험 전까지 구간으로 둠 | Bing 100ms +0.6%, Vodafone LCP 31% 개선 시 매출 +8%(단일 사례) |
| 체크아웃 전면 개편 | 자사 실험 전까지 미상 | Baymard 35%는 잠재 추정 |
계획값은 근거를 바탕으로 한 이 책의 판단입니다. 레버를 여러 개 더할 때는 효과를 단순 합산하지 마세요. 같은 사람에게 겹쳐 적용되므로 합보다 작기 쉽습니다.