국내 사례: 상담·금융·공공 실험
병원 예약 노쇼와 문자·전화 연결, 보험 채널 유지율과 비교→계약, 상담→구매 사례, 국내 데이터의 무작위 실험을 분모와 표본, 단서와 함께 정리합니다
글·검토 Eric Han · 리옵트 공동창업자·CTO
핵심 요약
- 대학병원 예약 노쇼는 대체로 5~7%지만 재진 후속이 대부분이라 신규 상담 예약으로 옮기면 안 됩니다. 응급실에서 잡아 준 외래 예약은 56.4%입니다.
- 보험 비교→계약은 자동차보험 9.2%, 여행자보험 62.5%입니다(금융위, 기간이 다름).
- 온라인 보험은 첫해 유지가 가장 낮지만(70.0%) 5년 차에는 가장 높습니다(60.8%, 기타 제외). 단년 값으로 채널 순위를 정하면 안 됩니다.
- 국내 데이터의 무작위 실험도 있습니다. 앱 푸시 쿠폰의 24시간 구매는 네 갈래에서 3.65~7.83%(최저는 계산), 네이버웹툰 댓글의 대조군 CTR은 1.819%입니다.
- 강남언니, 바비톡, 숨고, 로톡, 집닥, 직방의 상담→계약 전환은 찾지 못했습니다.
등급과 표기는 근거 읽는 법을 따르고, 표에서는 첫 칸 끝에 등급을 적습니다. 입력값은 국내 전환 지도에서 고릅니다.
상담·예약·금융
예약→참석
국내 값은 대부분 병원 기록입니다. 재진 예약이 대부분이라 신규 상담 예약으로 옮기면 안 되고, 예약을 나눠 보는 방향만 빌립니다.
- 응급실에서 잡아 준 외래 예약56.4%1.1만 건
- 상급종합 검사 예약30.1%125만 건 중
- 대장내시경(문자 2회 발송 중)16.0%2,401명
- 인터넷 예약(대학병원)10.8%3,921
- 신환(대학병원)9.3%8,515
- 국립대병원 10곳7.1%1,361만 명
- 대학병원 전체6.3%30만
- 상급종합 전체6.1%125만 건
- 전화 예약(대학병원)4.9%4.3만
| 자료 | 값 | 단서 |
|---|---|---|
| 서울 상급종합병원, B | 전체 6.12%, 진찰 4.5%, 처치·수술 16.6%, 검사 30.1% | 2018년 3개월. 예약의 94.1%가 재진 후속. 같은 병원의 2013~2014년 값은 5.0% |
| 같은 병원, B | 직접 방문 10.6%, 재진 후속 5.9%, 온라인·전화 4.7% | 보정하면 온라인·전화가 직접 방문보다 높아지는 모형도 있음 |
| 대학병원 1곳, B | 일반 6.5%, 전화 4.9%, 인터넷 10.8%, 신환 9.3%, 구환 6.2% | 2016~2017년 단순 비교. 초록의 6.8%는 표 기준 6.3%(계산) |
| 국립대병원 10곳, B(보도 경유) | 7.1%, 병원별 1.2~14.1% | 2022년 1월~2023년 6월, 의원실 자료. 분자가 "당일 예약 취소"로 보도되어 정의가 다를 수 있음. 이미 사전 안내를 보내고 있어 무알림 값이 아님 |
| 응급실 후 외래 예약, B | 56.4%. 1주 미만 51.0%, 3~4주 84.0% | 환자가 아니라 의료진이 잡은 예약. 대신 잡아 준 예약을 나눠 보라는 방향만 빌림 |
| 김안과병원, D | 문자 수신 참석 84.3%, 비수신 72.5%, 1.16배(계산) | 2004년, 무작위 아님, 번호를 준 환자에게만 발송 |
| 서울아산병원 내시경, B | 문자 2회→3회 등 묶음 개선, 노쇼 16% → 14.1% | 2008년 전후. 문자 유무 비교가 아님 |
| 국립휴양림 캠핑장, D | 노쇼 10.4%, 8만 4,881건 | 2015년, 재인용. 의료 밖에서 분모가 드러난 드문 값 |
| 카카오헤어샵, D | 선결제 노쇼 0.5%, 0.09%, 0.39% | 자사 발표. 0.5%는 2016년 사전 체험 두 달, 나머지는 기간 미공개. 선결제 효과로 읽을 수 없음 |
Cochrane의 문자 리마인더 RR 1.14에 대응하는, 예약 참석을 잰 국내 문자 리마인더 무작위 실험은 찾지 못했습니다. 김안과 1.16배가 비슷해 보여도 우연일 수 있습니다. 전화 쪽에서는 대구 검진 실험의 연결률 24.7%, 고양 시범의 약 12%(적격 2,065명 기준 8.7%, 계산), 김해 보건소의 평소 수신 약 32%, 실험 46.9~72.2%가 있습니다. 공공기관이 먼저 건 전화라 직접 신청한 리드의 연결률은 다를 수 있습니다.
보험과 대출
직접 가입과 권유 가입의 가입 뒤 유지를 비교할 수 있는 공공 자료입니다.
- 대리점(대면)88.9%5년 47.2
- 방카슈랑스88.6%5년 38.5
- 전속 설계사(대면)88.4%5년 47.2
- 전화(TM)75.9%5년 42.4
- 온라인(CM)70.0%5년 60.8
기타를 빼면 온라인은 첫해 유지가 가장 낮지만 5년 차(61회차)에는 가장 높습니다. 회차마다 가입 시점이 다른 코호트라 이어서 곱하면 안 되고, 수당 환수 기간이 지나면 해지가 늘어난다는 감독당국 설명도 있습니다. 25회차 유지율이 한 해 사이 방카 67.7%에서 79.5%로, 온라인 74.0%에서 71.0%로 움직여 단년 값으로 순위를 정하면 안 됩니다.
| 자료 | 값 | 단서 |
|---|---|---|
| 보험 비교·추천 서비스, B | 비교→계약 자동차보험 9.2%, 여행자보험 62.5% | 금융위 자료. 자동차는 2024년 1월~2025년 2월, 여행자는 2025년 2월 평균으로 기간이 다름. 2025년 3월 보험료 일원화(2.0) 이전 값이고, 비교만 하고 보험사 온라인에서 가입한 사람은 빠진 것으로 금융위가 추정 |
| 같은 자료, B | 전체 약 185만 건 이용, 약 28만 건 계약, 15.1%(계산) | 상품과 시기를 합친 값 |
| 보험연구원 2022, B | 장기손해보험 13회차: 다이렉트 85.0%, 전화 74.4%, 설계사 85.7% | 2021년. 금감원 2025년 전 상품 표에서는 온라인이 전화보다 낮아 방향이 반대. 상품·수당이 섞임 |
| 서민금융 잇다, B(보도 경유) | 알선→대출 실행 4.0%(2026 상반기), 5.4%(2025). 1금융 2.5%, 2금융 4.3% | 분모는 상품 안내 건이라 신청 대비 값이 아님. 149만 8,168건 등 건수 공개, 의원실 자료. 저신용층 비중이 커서 일반 대출에 옮기면 안 됨 |
| 핀다, D | 신청→약정 약 60%(820÷1,400 = 58.6%, 계산) | 회사 발표, 금리와 한도를 본 뒤 신청한 사람. 출시 첫 달 1개 상품이고 두 달여 뒤 9개사 합산은 약 50% |
상담
| 회사 | 값 | 단서 |
|---|---|---|
| 불스원, D | 상담→구매 최대 15% | 월 상담 1,300건에 구매 100건이면 7.7%(계산). 도구 업체 발표 |
| 불스원, D | 3개월 재구매 18% → 55.4% | 상담받은 고객만 집계했을 수 있음 |
| 홈핏, D | 채팅 도입 뒤 문의량 6~7배 | 전화 상담만 할 때와 비교한 고객사 대표 발언. 문의 수일 뿐 |
| 오늘의집 시공, D | 계약 전환 2배 이상 | 기준값 없음 |
| 네이버 플레이스 도구, D | 사용 시 유입 예약 3.1배, 톡톡 2.2배, 스마트콜 1.2배 | 유입 값이고 쓰는 사업자의 자기 선택 |
강남언니, 바비톡, 숨고, 로톡, 집닥, 직방은 상담→계약 전환을 찾지 못했습니다. 병의원 대행사 글의 값은 상담·사진 신청 폼 전환에 정리했습니다.
학술·공공 실험
국내 데이터로 무작위 배정을 밝힌 연구입니다. 다만 Ghose는 쿠폰 수신자만 무작위입니다. 구매까지 잰 것은 소수이고 쿠폰 없는 대조군을 둔 경우도 드뭅니다.
| 연구 | 설계 | 결과 | 단서 |
|---|---|---|---|
| Hwang 외 2023, A | 벨소리 앱 쿠폰 푸시, 2017년, 6,984명 배정 | 24시간 구매: 즉시 쿠폰 4.17%, 보유 쿠폰 만료 임박 7.13%. 부정 문구 6.24%, 긍정 문구 5.03%. 조합별 3.65%(계산)~7.83% | 쿠폰 없는 대조군 없음. 푸시 전에 쓴 168명을 보유군에서 제외한 분석(저자는 보수적이라 함). 저자 일부가 업계 소속. 30% 할인 소액 디지털 상품 |
| Lee 외 2026, A | 네이버웹툰 댓글 추천, 갈래당 약 59.5만 명, 4주 | 대조군 CTR 1.819%, 클릭→읽기 41.095%. LLM 내용 사전분포는 CTR -5.68%, 성별 사전분포는 +1.48%(p=0.144) | 프리프린트, 자사 실험. 구매가 아니라 읽기 |
| Lee 외 2020, A | 토익 앱 Santa 점수 예측 모델, 17,019명 대 50,451명 | 유료 구매 2.73% 대 2.37%, ARPU $3.23 대 $2.83 | 자사 실험, 프리프린트. 무작위 배정과 갈래별 표본을 밝혔으나 유의성 검정은 없음(건수 역산 p≈0.009, 계산). 구매 유도 실험이 아니라 점수 예측 모델 교체 |
| Hong·Kam 2014, A | 대구 남성 50~59세 검진 우편 안내, 453명 | 위암 22.2% 대 17.9%, 대장암 16.5% 대 13.5%, 유의차 없음 | 갈래당 약 225명이라 효과 없음을 뜻하지는 않음. 대조군도 공단 안내를 받음. 전화 갈래는 통화된 사람만 분석해 인과가 아님 |
| Jung 외 2023, A(요약) | 여행·의류 마켓플레이스 리뷰 요청 푸시, 30만 명 이상 | 효과 크기 미확인. 이용 직후 요청이 최선은 아니라는 방향 | 원문 차단, 보도자료 기준 |
| Chu·Joo 2024, A(요약) | H&B 체인 모바일 쿠폰, 50만 명 이상 | 효과 크기 미확인. 금액 강조·개인 연결 메시지와 평일 발송이 낫다는 방향 | 초록만 확인 |
| Ryu·Kwon 2025, B | 김해 보건소 고위험군 사전 문자, 480명 | 전화 수신 72.2% 대 46.9%. 방문은 배정자 기준 7.5%(맞춤 대화), 3.75%(표준), 2.5%(문자 없음)(계산). 논문은 수신자 기준 11.7%, 4.7%, 5.3% | 공공 사례. 본문은 무작위 배정이라 적지만 윤리 항목은 관찰 자료라 함. p값이 건수와 맞지 않고, 전화 전에는 차이가 날 수 없는 두 갈래의 수신이 15.6%p 벌어져 배정 품질이 의심됨 |
| Ghose 외 2019, B | 교통 앱 무료 쿠폰 14,741장, 21일 | 사용률 34.8%. 쿠폰 1장 모형 추정 통근 경로 37.8%, 비통근 19.5% | 통근 여부는 무작위가 아님. 초록의 약 3배는 복수 쿠폰 모형 값이고 1장 모형은 1.94배. 수용 원고 기준 |
네이버, 카카오, 당근 소속 저자의 논문에도 온라인 A/B가 있지만 상승률만 있습니다. 네이버 롱테일 검색 CTR +5.63%, 네이버 카페 추천 클릭 +5.4%, 당근 광고 CTR +7.46%, 카카오 브런치 CTR 1.212배입니다(갈래별 표본·기준값 미공개라 규칙대로 등급 D, 당근은 국가 구분 없음). 공공 넛지에서 국세청 체납 문구는 효과 수치를 공개하지 않았습니다.