지표 분류법
AI 에이전트 가치 지표를 사용량, 업무, 결과, 경제성, 신뢰 지표로 나눠 비교합니다.
핵심 요약
- 에이전트 지표는 사용량, 업무량, 결과, 경제성, 신뢰의 다섯 계층으로 나누면 혼동이 줄어듭니다.
- 벤더 지표는 보통 한 계층만 강조하므로 내부 KPI로 그대로 가져오면 빠지는 부분이 생깁니다.
- 구매자는 과금 단위와 가치 단위가 같은지, 아니면 단지 사용량 단위인지 구분해야 합니다.
- 하나의 지표보다 KPI 트리가 필요합니다.
다섯 계층
| 계층 | 대표 지표 | 답하는 질문 | 주 사용자 |
|---|---|---|---|
| 사용량 | tokens, messages, credits, API calls | 얼마나 사용했는가 | FinOps, 플랫폼 팀 |
| 업무 | task, action, tool invocation, workflow run | 에이전트가 무엇을 했는가 | 제품, 운영 팀 |
| 결과 | resolution, outcome, handoff completed | 사용자가 원하는 결과가 났는가 | CX, 세일즈, 사업 리드 |
| 경제성 | cost per resolution, ROI, time saved | 돈과 시간이 절약됐는가 | CFO, COO, RevOps |
| 신뢰 | accuracy, escalation, CSAT, complaint | 자동화가 믿을 만한가 | 품질, 보안, 리스크 팀 |
이 다섯 계층은 위아래 관계가 아닙니다. 서로 다른 질문에 답합니다. 예를 들어 Microsoft Copilot Credits는 사용량 계층을 제품군 단위로 추상화합니다. Zendesk automated resolutions는 결과 계층에 가깝습니다. ServiceNow의 AI value framework는 생산성 시간과 요청 회피 같은 경제성 계층을 강조합니다.
과금 단위와 가치 단위
AI 벤더의 가격표를 볼 때 가장 먼저 확인할 것은 “무엇에 돈을 내는가”입니다.
| 과금 단위 | 고객에게 쉬운 점 | 위험 |
|---|---|---|
| Seat | 예산 예측이 쉬움 | 실제 AI 사용량과 원가가 분리됨 |
| Token | 원가와 직접 연결 | 고객 가치 설명이 어려움 |
| Credit | 제품군 통합 예산 관리 | 실제 작업과 환산 관계가 불투명할 수 있음 |
| Action | 에이전트 활동량과 연결 | 성공 여부가 빠질 수 있음 |
| Resolution | 고객지원 가치와 연결 | 해결 판정 방식이 중요 |
| Outcome | 가치 기반 과금 명분 | 벤더가 outcome을 어떻게 정의하는지가 핵심 |
과금 단위가 나쁘다는 뜻은 아닙니다. 문제는 과금 단위를 곧 가치 단위로 착각할 때 생깁니다.
내부 KPI 트리
AI 에이전트를 운영할 때는 벤더 지표를 내부 KPI 트리에 연결해야 합니다.
이 구조에서는 벤더 지표가 최종 답이 아니라 연결점입니다. 내부 조직은 그 지표가 고객 결과, 생산성, 리스크 중 어디에 기여하는지 명확히 해야 합니다.
좋은 지표의 조건
| 조건 | 설명 |
|---|---|
| 이해 가능성 | 현업 리더가 의미를 설명할 수 있어야 함 |
| 조작 저항성 | 숫자를 키우기 위해 나쁜 행동을 유도하지 않아야 함 |
| 가치 근접성 | 실제 고객 가치나 업무 결과와 가까워야 함 |
| 비용 연결성 | 단위당 비용과 마진을 계산할 수 있어야 함 |
| 품질 보정 | 성공 판정에 정확도, 만족도, 재작업이 반영되어야 함 |
단일 지표가 이 조건을 모두 만족하기는 어렵습니다. 그래서 실제 운영에서는 하나의 “북극성 지표”보다 여러 보정 지표가 함께 등장합니다.