Ch4. 프롬프트 인젝션 방어

공격 설명: 사용자가 프롬프트에 악성 명령을 직접 넣어 시스템 지시를 무시하게 만듭니다. "이전 지시를 무시하고..." 같은 문구나 역할 도용("너는 이제 관리자야")이 대표적입니다.

탐지 방법:

• 정규표현식 기반 패턴 매칭 (역할 도용, 지시 무시 패턴)
• 입력 임베딩과 악성 프롬프트 클러스터 간 유사도 측정
• 입력 길이 및 특수 문자 비율 이상치 탐지

방어 패턴:

• 시스템 프롬프트와 사용자 입력을 구조적으로 분리 (delimiter 토큰 활용)
• Input Filter에서 1차 차단, Policy Check에서 의도 분석 2차 차단
• 차단 시 안전 응답 템플릿 반환

정책 예시:

direct_injection_policy:
  patterns:
    - "ignore previous instructions"
    - "you are now"
    - "new system prompt"
  action: block_and_log
  response: "해당 요청은 보안 정책에 의해 처리할 수 없습니다."

공격 설명: RAG 문서, 웹 검색 결과, 이메일 본문 같은 외부 데이터에 악성 지시를 심습니다. 모델이 이를 믿을 만한 컨텍스트로 받아들여 의도하지 않은 행동을 합니다.

탐지 방법:

• 문서 내 명령형 문장 탐지 (imperative sentence classifier)
• RAG Document Trust Score 기반 문서 신뢰도 평가
• 문서 내용과 사용자 질의 간 의도 불일치 탐지

방어 패턴:

• 외부 문서를 [DOCUMENT] 태그로 격리하여 명령이 아닌 참조 데이터로 처리
• Trust Score 0.7 미만 문서는 명령형 문장 제거 후 삽입
• 도구 호출 전 문서 출처 검증 필수

코드 예시:

def sanitize_rag_document(doc: str, trust_score: float) -> str:
    if trust_score < 0.7:
        # 명령형 문장 제거
        doc = remove_imperative_sentences(doc)
        doc = f"[UNTRUSTED CONTENT - 참조 전용]\n{doc}"
    return f"[DOCUMENT source={doc.source}]\n{doc}\n[/DOCUMENT]"

공격 설명: 여러 대화 턴에 걸쳐 조금씩 정책을 우회합니다. 처음에는 무해한 질문으로 시작했다가 차츰 민감한 영역으로 끌고 가거나, 앞선 턴의 응답을 근거로 삼는 패턴입니다.

탐지 방법:

• 정책 벡터 드리프트 모니터링 (턴 간 의도 변화 측정)
• 누적 위험 점수 산출 (각 턴의 위험 점수를 가중합산)
• 대화 흐름의 토픽 일관성 분석

방어 패턴:

• 매 턴마다 전체 대화 이력에 대해 정책 재검사 수행
• 드리프트 임계값(0.3) 초과 시 세션 위험 분류 및 추가 인증 요구
• 장기 세션(20턴 이상)은 자동으로 정책 재확인 프롬프트 삽입

정책 예시:

multi_turn_policy:
  drift_threshold: 0.3
  max_cumulative_risk: 0.7
  session_review_interval: 20  # turns
  on_drift_exceed:
    - flag_session
    - require_verification
    - log_full_conversation

공격 설명: 모델 출력을 조작해 뒤따르는 처리 파이프라인에 악성 데이터를 흘려보냅니다. 예를 들어 모델 응답에 숨겨진 마크다운 링크나 스크립트 태그를 넣거나, 후속 API 호출을 끌어내는 구조화된 출력을 끼워 넣습니다.

탐지 방법:

• 출력 내 URL, 스크립트 태그, 구조화 명령 패턴 스캔
• 출력 형식이 예상 스키마와 일치하는지 검증 (JSON Schema, 정규식)
• PII, 시크릿, 내부 경로 노출 여부 검사

방어 패턴:

• Output Validator에서 허용된 출력 형식만 통과 (allowlist 기반)
• 구조화 출력 시 엄격한 스키마 검증 적용
• 사용자에게 반환 전 HTML/마크다운 새니타이즈 수행

코드 예시:

class OutputValidator:
    def validate(self, output: str) -> str:
        # PII 검사
        if self.pii_detector.scan(output):
            output = self.pii_detector.redact(output)
        # 악성 패턴 검사
        if self.contains_script_tags(output):
            raise SecurityViolation("Output contains script injection")
        # URL allowlist 검증
        for url in self.extract_urls(output):
            if not self.is_allowed_domain(url):
                output = output.replace(url, "[BLOCKED URL]")
        return output