전문가 예측과 실측 보정
참조집단 예측과 소수 전문가 평균으로 낙관을 줄이고 파일럿 결과로 시뮬레이션을 보정해 예측과 실제의 차이를 운영하는 방법을 다룹니다
글·검토 Eric Han · 리옵트 공동창업자·CTO
핵심 요약
- 공개 효과는 부풀어 있습니다. 넛지의 경우 학술지 8.7%p, 실무 RCT 1.4%p이고, 차이의 약 70%가 선택적 출판과 저검정력으로 설명됩니다.
- 예측자도 공개 효과에 끌립니다(NBER 판). 넛지 유닛 효과 예측 중앙값은 학자 등 4%p, 넛지 실무자 1.95%p였고 실제는 1.38%p였습니다.
- 전문가 평균의 힘은 강합니다. 개별 오차 169가 5명 평균에서 114로, 전체 평균에서 93으로 줄었습니다.
- 수요 예측의 낙관은 오래된 문제입니다. 철도 승객은 평균 105.6% 과대 예측되었고 30년간 개선되지 않았습니다.
- 예측을 기록하고 실제와 대조하는 절차 없이는 시뮬레이션이 좋아지지 않습니다.
낙관을 줄이는 외부 관점
내부 관점은 "우리 계획"에서 출발하고 외부 관점은 "비슷한 일의 결과 분포"에서 출발합니다(Kahneman·Lovallo 1993). 참조집단 예측은 세 단계입니다(Flyvbjerg 2006).
이 책의 전환 지도와 분위 표가 마케팅판 참조집단 역할을 합니다. 다만 수치 사례 대부분은 인프라 비용이고, 마케팅 전환에서 실증한 연구는 찾지 못했습니다. 개념을 빌려온 것입니다.
| 근거 | 수치 | 등급 |
|---|---|---|
| Flyvbjerg 외 2005 | 철도 승객 평균 105.6% 과대, 84%가 20% 넘게 미달. 도로 50%가 ±20% 초과. 30년간 개선 없음 | B |
| 영국 교통부 비용 초과 분포 | 철도 P50 40%, P80 57% | D(사례) |
공개 효과는 할인합니다
DellaVigna·Linos(Econometrica 2022)는 같은 종류의 개입을 비교합니다(등급 A).
- 학술지 논문8.7%p
- 예측 중앙값(학자 등)4%p
- 예측 중앙값(넛지 실무자)1.95%p
- 넛지 유닛 RCT 실제1.38%p
| 표본 | 평균 효과 | 규모 |
|---|---|---|
| 학술지 논문 | 8.7%p(33.4% 상승) | 505,337명 |
| 넛지 유닛 RCT | 1.4%p(8.0% 상승) | 2,300만 명 |
선택적 출판과 저검정력이 격차의 약 70%를 설명합니다. Maier 외(2022)의 재분석은 넛지 메타분석의 d=0.43을 출판 편향 보정 후 d=0.04(CI 0.00~0.14)로 낮췄습니다.
정부 넛지 영역의 결과라 약 6배라는 배율을 일반 법칙으로 쓰면 안 됩니다. 논리만 빌립니다. 벤더 사례 모음과 컨퍼런스 발표의 상승폭은 성공한 것만 모인 표본입니다.
소수 전문가의 평균
DellaVigna·Pope(JPE 2018)는 학자 208명에게 실험 결과를 예측하게 했습니다(등급 A).
- 개인169
- 5명 평균114
- 20명 평균99
- 전체 평균93
평균 예측과 실제의 상관은 0.77이고, 개별 전문가의 96%가 평균보다 못했습니다. 인용 수나 직급은 정확도와 무관했습니다. 과제가 실노력 실험이어서 마케팅 전환 적용은 유추입니다. 전문가의 마케팅 전환 예측을 직접 평가한 연구는 찾지 못했습니다.
적용 방법
- 마케터, 영업, 제품 담당자 5명 정도에게 서로 보지 않고 각 단계의 10분위, 중앙값, 90분위를 적게 합니다.
- 평균을 사전 분포의 중심으로 삼고, 이견의 폭을 구간에 반영합니다.
- 벤치마크와 비교합니다. 벤치마크보다 크게 높으면 근거를 묻습니다.
- 결과를 기록해 다음 분기에 대조합니다.
파일럿 보정 절차
예측 성적표
실제 값이 예측 90% 구간 안에 얼마나 들어가는지 분기마다 셉니다.
| 포함률 | 뜻 | 조치 |
|---|---|---|
| 90% 근처 | 잘 보정됨 | 유지 |
| 크게 낮음 | 구간이 너무 좁거나 중심이 틀림 | 를 낮추고 편향 방향 확인 |
| 거의 100% | 구간이 너무 넓음 | 자사 데이터로 를 올림 |
무엇을 기록할까
| 항목 | 예시 |
|---|---|
| 예측 날짜와 담당자 | 2026-11-02, 그로스 팀 |
| 대상과 예산 | Meta 전환, $10,000 |
| 입력과 근거 | CVR 1.0%, Littledata 패션 |
| 사전 강도 | |
| 예측 구간 | 증분 구매 2~350건 |
| 실제 값 | 측정 후 입력 |
| 차이 원인 | 측정 후 입력 |
이 기록이 몇 분기 쌓이면 공개 벤치마크보다 나은 자사 참조집단이 됩니다.