핸드북 › Vercel 엔터프라이즈 AI › 고객지원 에이전트 아키텍처 한국어 English 고객지원 에이전트 아키텍처 고객-facing 챗/지원 에이전트를 AI SDK, AI Gateway, MCP, escalation 구조로 설계하는 방법을 정리합니다.
핵심 요약
고객지원 에이전트의 기본축은 App -> AI SDK -> AI Gateway -> MCP resources이며, 고객-facing 경로는 read-only 중심으로 유지합니다.
정확도보다 응답 시간·잘못된 액션 방지·상담원 전환·고객별 비용 추적에 먼저 부딪힙니다.
실시간 채팅에는 streamText와 fast tier를 쓰고, fallback 모델은 1단계 이내로 제한합니다.
환불·권한변경 같은 side effect는 자동화하지 않고 escalation 또는 별도 approval path로 분리합니다.
tenant/session 태그를 Gateway usage에 남겨 고객별 비용·품질을 추적하고, low confidence 시 상담원으로 escalation합니다.
고객지원 에이전트는 누구나 가장 먼저 떠올리는 AI 유스케이스지만, 막상 운영해 보면 난이도가 생각보다 높습니다.응답 시간, 잘못된 액션 방지, 사람 상담원 전환, 고객별 비용 추적 입니다.
조건 적합도 이유 실시간 웹 채팅이 필요함 높음 streamText와 fast tier가 잘 맞음고객 계정/주문/정책 조회가 필요함 높음 MCP read-only resources 구조가 자연스러움 환불/권한변경 같은 side effect가 많음 중간 별도 approval flow 분리가 필요 응답보다 분석이 더 중요함 낮음 research 패턴이 더 적합
계층 책임 구현 포인트 App 입력 수집, 스트리밍 UI, 세션 관리 Next.js Route Handler Agent Runtime retrieval + 답변 루프 streamText, schema checksModel Control 모델 선택, fallback, usage tagging AI Gateway Data Layer FAQ, policy, order status 조회 MCP resources Escalation Layer low confidence / policy fail 처리 CRM 티켓 생성 또는 상담원 전환
단계 동작 핵심 통제 1 고객 메시지 수신 tenant, session 식별 2 정책/리소스 조회 read-only resources 3 AI Gateway로 모델 호출 fast primary + fallback 4 응답 confidence / policy 검사 unsafe answer 차단 5 즉시 응답 또는 escalation human handoff
import { streamText } from 'ai' export async function POST ( req : Request ) { const { messages , tenantId , sessionId } = await req. json () const result = streamText ({ model: 'openai/gpt-5-mini' , messages, providerOptions: { gateway: { user: sessionId, tags: [ `tenant:${ tenantId }` , `session:${ sessionId }` , 'surface:web-chat' ], }, }, experimental_telemetry: { isEnabled: true , functionId: 'customer-support-chat' , }, }) return result. toUIMessageStreamResponse () } 통제 이유 MCP resources read-only 잘못된 쓰기 차단 tool 최소화 prompt injection 공격면 축소 WAF / BotID abusive traffic 방어 tenant tag / api key 분리 고객별 비용·품질 추적
실패 모드 대응 primary 모델 timeout fallback 모델 1회 전환 retrieval 실패 제한된 답변 + 재질문 유도 low confidence 상담원 escalation schema failure canned apology + ticket 생성
지표 목표 예시 p95 응답 시간 4초 이하 escalation 비율 10~20% 내에서 관리 retrieval miss rate 5% 이하 고객별 월 spend plan tier 예산 내
Decision
고객지원 에이전트는 App -> AI SDK -> AI Gateway -> MCP resources를 기본축으로 두고, 고객-facing
경로는 read-only 중심으로 유지합니다. 고객에게 직접적인 side effect는 즉시 자동화하지 않고 escalation
또는 별도 approval path로 분리합니다.
고객-facing 경로에서 write tool이 제거되어 있는가
fallback 모델이 1단계 이내로 제한되는가
low confidence 시 escalation 경로가 있는가
tenant/session 태그가 Gateway usage에 반영되는가
관련 문서 비용·안정성 비용, 지연시간, 에러 버짓을 함께 관리해 엔터프라이즈 AI 제품의 운영 연속성을 확보하는 방법을 정리합니다.
MCP 데이터 계층 MCP를 사용해 사내 시스템과 AI를 연결할 때 tools, resources, prompts의 경계를 어떻게 나눌지 정리합니다.
에러 처리와 복구 전략 AI 에이전트 오케스트레이션 패턴 · 재시도/폴백/서킷브레이커, 에이전트 실패 격리, Human-in-the-Loop, 부분 실패 복구
Cmd. /fast Claude Code 명령어 마스터 · Opus fast mode를 켜고 끄는 속도 우선 명령 (research preview)
라우팅과 디스패치 AI 에이전트 오케스트레이션 패턴 · Classifier 기반 라우팅, semantic routing, 폴백 체인, 동적 에이전트 선택