LLM 합성 고객
LLM 합성 고객이 설문과 실험을 어디까지 재현하는지 논문 수치로 확인하고, 메시지 선별에는 쓰고 표본 계산이나 세그먼트 판단에는 쓰지 않는 기준을 세웁니다
글·검토 Eric Han · 리옵트 공동창업자·CTO
핵심 요약
- 합성 고객은 대부분 설문 응답과 비교되었습니다. 실제 A/B와 대조한 연구는 소수이고 절대 전환율을 맞힌 연구는 찾지 못했습니다.
- 디지털 트윈의 개인 수준 상관은 약 0.2입니다. 정확도 0.748은 무작위 0.629와 재검사 0.817 사이에서 달성 구간의 약 63%입니다(계산).
- 트윈의 표준편차는 164개 결과의 93.9%에서 사람보다 작습니다. 합성 응답 수를 표본 수로 쓰면 신뢰구간이 망가집니다.
- 설문 실험 효과의 상관은 0.85까지 나왔지만(Nature 2026), 메가스터디 현장 실험은 평균 0.33이고 5건이 0.05~0.65로 흩어집니다. 그 현장 실험도 백신·체육관·넛지이지 광고가 아닙니다.
- 쓸 곳은 메시지·아이디어 후보를 사람 테스트 전에 추리는 단계입니다. 절대 전환율과 세그먼트 차이에는 쓰지 마세요.
세 층으로 나눠 봅니다
"맞힌다"는 말은 세 가지 뜻이 있습니다. 근거 강도가 층마다 크게 다릅니다.
- 설문 실험 효과(Nature 2026)0.85
- 메가스터디 설문 실험 평균0.43
- 메가스터디 현장 실험 평균0.33
- 디지털 트윈 개인 수준0.20
| 층 | 대표 수치 | 판단 |
|---|---|---|
| 집단의 방향·순위 | 설문 실험 r=0.85(Nature 2026) | 쓸 만함 |
| 효과 크기의 절댓값 | RMSE 10.9%p, 과대 추정 | 그대로 쓰지 않음 |
| 세그먼트와 개인 | 개인 r≈0.2 | 쓰지 않음 |
개인 수준
| 연구 | 수치 | 조건 | 등급 |
|---|---|---|---|
| Peng·Toubia 외, 메가스터디 | 정확도 0.748, 무작위 0.629, 재검사 0.817, 상관 r≈0.20 | 19개 연구, 164개 결과변수, GPT-4.1 | B |
| Toubia 외, Twin-2K-500 | 71.72%, 무작위 59.17%, 재검사 81.72% | N=2,058, 500문항 | B |
| Park 외 | GSS 정규화 0.83(원정확도 65.67%, 자기 일관성 79.53%), 인구통계만 0.74 | N=1,052, 2시간 인터뷰 | B |
정규화 정확도 0.83이나 88%는 "사람 자신의 일관성 대비" 값입니다. 무작위 기준을 함께 봐야 합니다. Peng 데이터로 계산하면 이고, Toubia 데이터로는 56%입니다.
약 500문항으로 구성한 트윈도 소량 머신러닝에 금방 잡힙니다. Peng 연구에서 XGBoost는 약 180명 데이터로 트윈 상관에 도달했습니다.
집단과 실험 효과
| 연구 | 수치 | 등급 |
|---|---|---|
| Ashokkumar 외, Nature 2026 | 설문 실험 70개·효과 469개 r=0.85(보정 0.92), 일반인 0.84, 결합 0.89. 효과 크기 체계적 과대 추정 | B |
| 같은 논문 원 데이터, 메가스터디 15개 | 설문 평균 r=0.43, 현장 평균 r=0.33(체육관 0.05, 백신 0.17·0.49·0.65, 넛지 유닛 0.27) | B |
| 2024 프리프린트 | 방향 정답 설문 79%, 현장 64%. 크기 RMSE 10.9%p(일반인 8.4%p), 0.56배 축소 시 5.3%p. 게재본 값은 미확인 | B |
| Chen·Hu·Lu 2025 | 경제학 현장 실험 276편의 방향 예측 78%. 프리프린트, 발표된 결론만 대상 | B |
| Cui 외 | 시나리오 실험 156개 주효과 재현 73~81%, 상호작용 46~63%, 효과 크기 2~3배, 원 연구에서 효과가 없던 경우 68~83%에 유의 결과 | B |
| Argyle 외, 2023 | 투표 선택 전체 상관 0.90~0.94, 2020년 무당층 0.02 | B |
현장 값도 공중보건과 행동 넛지의 결과이고 광고·구매가 아닙니다. 0.56배 축소 계수는 그 아카이브에서 나온 값이므로 마케팅에 옮겨 쓰면 안 됩니다. 자사 실험으로 따로 추정하세요.
실제 A/B와 대조한 연구
| 연구 | 내용 | 한계 | 등급 |
|---|---|---|---|
| Amazon, 페르소나 에이전트 | A/B 40건의 방향 정답 75~80% | 결과가 모호한 테스트 제외, 저자 Amazon 소속, 프리프린트 | C |
| Upworthy 헤드라인, LOLA | A/B 17,681건에서 LLM 단독은 최고 헤드라인을 잘 고르지 못함. 온라인 학습과 결합해야 쓸 만함 | 미디어 헤드라인 | B |
후보를 추리는 쪽의 근거는 늘고 있지만 전환율 절댓값을 맞힌 연구는 아닙니다.
마케팅 연구
| 연구 | 잘된 것 | 안 된 것 | 등급 |
|---|---|---|---|
| Brand·Israeli·Ngwe | 치약 불소 WTP가 사람 추정치의 50% 이내. 같은 범주 파인튜닝은 신기능 예측 개선 | 맥북 브랜드 WTP 부호 반전, 태블릿 저장·RAM·화면 크기 70~312% 과대, 다른 범주로 일반화 시 악화 | B |
| Maier 외(PyMC Labs·Colgate) | 이미지 자극 기준 구매의향 상관 달성 90.2~90.6%(자유 응답 변환) | 직접 리커트는 80~82%, 분포 일치도 KS 0.26~0.39. 텍스트 자극 73.0%. 개인용품 한 범주 | C |
| ConsumerSimBench | 실제 소셜 반응 포함률 최고 47.8% | 나머지 절반 이상 놓침. 중국어 | B |
| Toubia 외 | 양의 가격 구간 수요 곡선은 우하향 | 사람이 재현한 고전 효과 10개 중 4개 미재현(결과 편향, 매몰비용 역전, 알레 등) | B |
세그먼트 실패가 특히 뚜렷합니다. Brand 등의 RAM WTP는 저소득 사람 $17.80, 고소득 사람 $19.40인데 GPT는 -$4.40, $99.60이었습니다. Bisbee 외는 회귀계수의 48%가 유의하게 달랐고, 그중 32%가 부호까지 뒤집혔다고 보고합니다.
분산이 줄어드는 문제
- Peng: 트윈 SD가 사람보다 작은 결과 154/164(93.9%).
- Bisbee: 통합 SD가 사람 31.4 대 합성 16.1. 합성 추정치로 검정력을 계산하면 33명이면 충분하다고 나오는데 실제 필요한 수보다 거의 한 자릿수 적습니다.
- Tigre·Souto(2026): 사람 데이터로 보정해도 응답이 결과에 의존하면(MNAR) Twin-2K 구매율 95% CI 포함률이 4.20%까지 떨어졌습니다.
합성 응답 N을 표본 크기로 취급하지 마세요.
용도별 판단
| 용도 | 판단 | 근거 |
|---|---|---|
| 카피·아이디어 후보를 사람 테스트 전에 추림 | 조건부로 사용 | Brand, Maier |
| 처치 간 방향 순위 | 사용, 사람 예측과 결합 | Nature 2026(결합 r=0.89) |
| 효과 크기 절댓값 | 쓰지 않음 | 체계적 과대 추정, 2~3배 과대 |
| 절대 전환율 | 쓰지 않음 | 근거 없음 |
| 표본 수·신뢰구간 계산 | 쓰지 않음 | Bisbee, Peng |
| 세그먼트 차이 | 쓰지 않음 | Argyle, Brand, 프리프린트의 상호작용 효과 r -0.03~0.16(보정 0.17~0.55) |
| 개인 타깃팅 | 쓰지 않음 | r≈0.2 |
| 한국 고객 | 자체 검증 전까지 쓰지 않음 | 한국 재현 검증 미발견 |
운영 수칙
함께 볼 기준선
전문가 5명의 예측 평균만으로도 개인 오차가 169에서 114로 줄어듭니다. 합성 고객 시스템을 만들기 전에 소수 전문가 평균을 기준선으로 두고 비교하세요. Nature 논문의 메가스터디에서는 LLM과 전문가 예측이 비슷했습니다.
모델이 좋아지면 해결될까
근거는 GPT-3부터 GPT-5.2까지 걸쳐 있습니다. 2025년 모델을 쓴 Peng 연구에도 분산 축소와 평균 편차가 그대로 있었습니다. 곧 해결된다고 가정하지 마세요. 새 모델이 나오면 위 재현 시험을 다시 합니다.