OWASP LLM Top 10

OWASP(Open Worldwide Application Security Project)의 LLM Applications Top 10은 LLM 기반 애플리케이션에서 가장 빈번하게 발생하는 취약점 10가지를 정리한 목록입니다. 전통적인 OWASP Top 10(웹 애플리케이션)이 SQL 인젝션, XSS 같은 항목을 다루듯, LLM Top 10은 프롬프트 인젝션, 과도한 권한 위임(Excessive Agency) 같은 LLM 특화 취약점을 다룹니다.

    flowchart LR
    subgraph LAYER["4계층 재분류 프레임 (데이터/제어 흐름)"]
        L1["① 프롬프트 계층\n입력이 모델에 들어가기 전/직후"]
        L2["② 출력 계층\n모델 생성 결과 처리"]
        L3["③ 툴 실행 계층\n에이전트의 행동 실행"]
        L4["④ 권한 계층\n구성요소별 접근 범위"]
    end

    L1 --> L2 --> L3 --> L4

    subgraph TOP10["OWASP LLM Top 10"]
        O1["LLM01 Prompt Injection\nLLM07 System Prompt Leakage"]
        O2["LLM05 Improper Output Handling\nLLM02 Sensitive Info Disclosure\nLLM09 Misinformation"]
        O3["LLM06 Excessive Agency\nLLM10 Unbounded Consumption"]
        O4["LLM03 Supply Chain\nLLM08 Vector/Embedding Weaknesses"]
    end

    L1 -.해당.- O1
    L2 -.해당.- O2
    L3 -.해당.- O3
    L4 -.해당.- O4

    L4 -.증폭.- L1
    L4 -.증폭.- L3

    classDef layer fill:#e7f1ff,stroke:#3b82f6,color:#1e3a8a;
    classDef item fill:#fff3cd,stroke:#d39e00,color:#664d03;
    class L1,L2,L3,L4 layer;
    class O1,O2,O3,O4 item;
  

10개 항목 한눈에 보기

핵심 학습 포인트: 4계층 재분류 프레임

10개 항목을 순서대로 외우는 것은 시험에는 도움이 될 수 있지만, 실제 위협모델링이나 코드 리뷰에서는 거의 쓸모가 없습니다. 왜냐하면 실제 시스템을 분석할 때 우리는 “이건 LLM01인가 LLM06인가?“를 고민하는 게 아니라, “이 코드가 어느 계층(layer)에서 동작하고, 그 계층에 어떤 통제가 있는가?“를 봐야 하기 때문입니다.

그래서 이 지식베이스에서는 OWASP의 10개 항목을 시스템의 데이터/제어 흐름상 4개 계층으로 재분류합니다. 이 재분류 자체가 이 페이지의 핵심 학습 목표입니다.

1) 프롬프트 계층 (Prompt Layer) — 입력이 모델에 들어가기 전/직후

모델에게 전달되는 입력(시스템 프롬프트, 사용자 입력, RAG 검색 결과, 도구 응답 등)을 다루는 계층입니다.

→ 자세한 공격 메커니즘은 프롬프트 인젝션과 탈옥 페이지를 참고하세요.

2) 출력 계층 (Output Layer) — 모델이 생성한 결과를 다루는 단계

모델이 만들어낸 텍스트/코드/명령을 어떻게 검증하고 표시하는지에 관한 계층입니다.

→ 출력 검증이 빠졌을 때의 결과는 프롬프트 인젝션 사례에서 함께 다룹니다(인젝션된 지시가 출력으로 이어지고, 검증 없이 실행되는 체인 구조).

3) 툴 실행 계층 (Tool Execution Layer) — 에이전트가 실제로 행동을 일으키는 단계

LLM이 단순 텍스트 생성을 넘어 함수 호출, API 호출, 셸 명령, 파일 시스템 접근 등을 수행하는 계층입니다. 에이전트형 시스템에서 가장 위험한 계층입니다.

4) 권한 계층 (Permission / Identity Layer) — 누가, 무엇을, 어떤 범위까지 할 수 있는가

모델/에이전트/플러그인/벡터DB 등 구성요소 각각에 부여된 자격증명과 접근 범위에 관한 계층입니다. 이 계층의 설계 오류는 다른 모든 계층의 문제를 증폭시킵니다.

재분류가 주는 실익

이 4계층 프레임으로 시스템을 보면, 다음과 같은 질문을 자연스럽게 던질 수 있습니다.

• 프롬프트 계층: “이 시스템에 들어오는 입력 소스를 모두 나열할 수 있는가? 그 중 사용자가 통제할 수 있는 것은 무엇인가?”
• 출력 계층: “모델 출력을 사용하기 전에 어떤 검증/이스케이프/구조화(JSON 스키마 강제 등)가 있는가?”
• 툴 실행 계층: “에이전트가 호출할 수 있는 도구 목록은 최소한인가? 호출 빈도/비용에 상한이 있는가?”
• 권한 계층: “각 구성요소(모델 API 키, 벡터DB, 플러그인)는 최소 권한 원칙을 따르는가?”

이 4가지 질문에 답할 수 있다면, OWASP 항목 번호를 정확히 외우지 못해도 위험을 식별하고 의사소통할 수 있습니다. 또한 새로운 취약점이 발견되었을 때도 “이건 어느 계층의 문제인가"로 빠르게 분류할 수 있습니다.

여기서 식별한 4계층 위험 분류는 Lab 3: AI 위험 등록부 작성하기의 “입력 데이터 / 툴 권한” 항목을 채울 때 그대로 사용됩니다.