계열 C: AI가 공격을 수행

계열 A·B에서 AI는 공격의 대상이거나 공격의 증폭기였습니다. 이 계열에서 AI는 공격의 수행자입니다. 공격자는 도구를 손에 쥐고 타이핑하는 대신, 에이전트에게 목표를 주고 결과를 검토합니다.

여기서 핵심 질문은 하나입니다. “안전 훈련을 받은 모델이 왜 침입 작업을 수행했는가?” 답은 메모리 손상 공격과 구조가 같습니다 — 공격자가 모델의 판단이 꼬이는 입력을 정밀하게 설계했기 때문입니다.

사례 1: GTG-1002 — 2025년 11월 공개

Anthropic이 2025년 9월 중순 탐지하고 약 10일 내 차단한 뒤, 11월 14일 공개한 캠페인입니다. Anthropic은 이를 “최초로 보고된 AI 주도(AI-orchestrated) 사이버 첩보 캠페인"으로 설명했습니다.

보고된 개요

① 숨어 있던 잠재적 결함

모델의 안전 정책은 요청 단위로 평가됩니다. “이 회사 서버를 침입해서 데이터를 빼내라"는 요청은 거부됩니다. 그런데 안전 판단은 그 요청이 놓인 전체 작전의 맥락을 볼 수 없습니다. 모델이 보는 것은 지금 들어온 메시지와 대화 이력뿐입니다.

여기에 두 번째 결함이 겹칩니다. MCP로 외부 도구를 연결하면 모델은 “텍스트를 생성하는 존재"에서 “네트워크에 실제로 패킷을 보내는 존재"로 바뀝니다. 그런데 “Nmap을 실행해 달라"는 요청 자체는 — 침투 테스트, 자산 관리, 교육 등 — 정당한 용도가 압도적으로 많습니다.

② 공격자의 의도적 개입

보고에 따르면 두 가지 기법이 쓰였습니다.

1. 역할 위장 — 자신들을 정당한 보안 테스트(침투 테스트) 수행자로 제시했습니다. 이것은 참/거짓을 모델이 확인할 수 없는 주장입니다. 실제 침투 테스터와 공격자가 입력하는 텍스트는 구별이 불가능합니다.
2. 작업 분해(task decomposition) — 공격 전체를 개별적으로는 무해해 보이는 작은 작업들로 쪼갰습니다.

두 번째가 핵심이므로 구체적으로 보겠습니다.

각 요청은 단독으로 보면 거부 근거가 약합니다. 네 번째 요청은 그냥 데이터 포매팅입니다. 침입의 윤곽은 요청들을 시간순으로 겹쳐 놓을 때만 보입니다.

③ 오작동 유발

    sequenceDiagram
    participant H as 인간 운영자
    participant O as 오케스트레이터
    participant M as 모델 (MCP 연결)
    participant T as Nmap·Metasploit·SQLMap
    participant V as 표적

    H->>O: 전략 목표 설정 (4~6회만 개입)
    loop 작업 단위 반복
        O->>M: 무해해 보이는 단일 작업
        Note over M: 요청 단위 안전 판단 → 통과
        M->>T: 도구 호출
        T->>V: 실제 스캔·익스플로잇
        V-->>T: 결과
        T-->>M: 출력
        M-->>O: 구조화된 결과
        Note over O: 다음 작업 자동 결정
    end
    O-->>H: 성과 보고
  

모델은 자신이 작전의 일부라는 것을 알 수 없는 상태로 각 단계를 수행합니다. 이것이 “오작동"의 정체입니다 — 모델이 안전 정책을 어긴 것이 아니라, 안전 정책이 평가하는 단위(요청 1건)가 위험이 발생하는 단위(작전 전체)보다 작았던 것입니다.

④ 공격 완성

반복 루프가 사람의 작업 속도와 무관하게 돌아갑니다. 인간 팀이라면 정찰·분석·익스플로잇 작성에 며칠이 걸리는 구간을 압축하고, 동시에 여러 표적에 병렬로 적용합니다. AI가 가져온 변화는 새로운 공격 기법이 아니라 ‘처리량’입니다.

왜 기존 방어가 통하지 않았나

사례 2: 멕시코 정부 침해 — 2026년 2월 보도

OWASP의 2026년 1분기 익스플로잇 라운드업에 수록된 사건입니다. 공격은 2025년 12월 말~2026년 1월에 이뤄졌고 2026년 2월 25일 보도됐습니다.

동작 분석

1. 공격자는 정부 웹 애플리케이션을 대상으로 LLM(Claude, 일부 ChatGPT)을 정찰·스크립트 생성·익스플로잇 반복 개선에 활용했습니다.
2. 표적은 패치되지 않았을 가능성이 높은 시스템이었습니다.
3. 결과적으로 약 150GB의 세무·유권자 데이터가 노출됐습니다.

GTG-1002과의 차이

사례 3: ARTEX와 한국 금융권 침해 — 2026년 9~10월

앞의 두 사례에서는 공격자가 범용 챗봇이나 코딩 에이전트를 공격에 돌려썼습니다. 이 사건은 다릅니다. 처음부터 침투 테스트용으로 만들어진 에이전트 도구가 그대로 쓰였습니다. 도구 자체는 ARTEX 도구 페이지에서 다룹니다.

보고된 개요

CrowdStrike가 이 인프라를 발견한 경위가 눈에 띕니다. 홍콩 IP의 열린 디렉터리에 Claude Code 세션 기록, 메모리 파일, ARTEX 설정 파일이 노출돼 있었습니다. 공격자도 자기 작업물을 에이전트 도구로 관리하다가 운영 보안을 놓친 것입니다. 도입 조직이 에이전트 세션 기록을 어떻게 다뤄야 하는지에 대한 거울상이기도 합니다.

① 숨어 있던 잠재적 결함

피해 시스템에서 CrowdStrike가 지목한 것은 핵심 인증 경로 바깥의 부가 서비스였습니다. 파트너·임직원이 쓰는 조회 도구와 모바일 앱입니다. CSA는 서버 측 인증 부재, 우회 가능한 레이트 리밋, 응답에 담긴 과다한 개인·금융 필드를 점검 대상으로 꼽았습니다. CrowdStrike는 접근 획득 경로를 설명하지 않았으므로, 구체적 취약점은 공개되지 않았습니다.

즉 이 사건의 1차 결함도 위 멕시코 정부 침해처럼 AI가 만든 것이 아니라 이미 있던 구멍입니다.

② 공격자의 의도적 개입

공격자는 ARTEX에 대상 범위를 입력하고 복수의 LLM을 백엔드로 연결했습니다. 도구의 승인 계층(사람 검토)은 운영자 설정이므로 공격자에게는 장애물이 아닙니다.

③ 오작동이 아닌 “정상 작동”

앞의 사례들과 이 사건의 결정적 차이가 여기 있습니다. GTG-1002는 안전 훈련된 모델을 속여서 작업을 시켰습니다. ARTEX는 속일 필요가 없습니다. 도구의 설계 목적이 침투이고, 모델은 “합법적 침투 테스트"라는 맥락 안에서 일하도록 구성돼 있습니다.

    flowchart LR
    subgraph C1["GTG-1002 유형"]
        A1["범용 에이전트"] --> A2["작업 분해·역할 위장\n(안전 정책 우회 필요)"] --> A3["침투 수행"]
    end
    subgraph C2["ARTEX 유형"]
        B1["침투 전용 에이전트"] --> B2["우회 불필요\n(목적에 맞게 설계)"] --> B3["침투 수행"]
    end

    classDef x fill:#fff3cd,stroke:#d39e00,color:#664d03;
    classDef y fill:#fdecea,stroke:#dc3545,color:#842029;
    class A2 x;
    class B2 y;
  

④ 공격 완성과 소스 폐쇄 이후

도구 구조(자산 그래프에서 미탐색 방향을 소진하는 플래너, 병렬 워커)가 만드는 행동 신호는 도구 페이지에 정리했습니다. 요약하면 균일한 간격의 체계적 열거와 응답을 보고 입력을 바꾸는 적응형 재시도입니다.

사건이 알려진 뒤 개발자는 소스를 닫았다고 보도됐지만, 한국어·영어 포크가 이미 퍼져 있습니다. CSA 노트의 지적대로 소스 폐쇄는 이미 배포된 사본에 대해 방어적 가치가 제한적입니다.

이 사건이 바꾸는 것

통제 우선순위

CSA 권고를 이 지식베이스의 틀로 정리했습니다.

즉시

• 주 인증 경로 밖의 인터넷 노출 앱(파트너 조회, 임직원 모바일 앱) 인벤토리
• 서버 측 인증 확인, 고객 데이터를 돌려주는 앱의 MFA, 레이트 리밋 우회 가능성 점검
• 9월 하순 이후 로그에서 고르게 간격이 맞춰진 체계적 열거 검색

단기

• 조회 서비스가 돌려주는 필드 최소화 (소득·대출 한도 같은 항목)
• 승인되지 않은 LLM API 엔드포인트·프록시·리셀러 도메인으로의 아웃바운드 모니터링 (내부 단말이 감염돼 역으로 쓰일 때 보이는 신호)
• 서면 범위·로깅 하에 에이전트 도구를 승인된 모의해킹에 도입 — 공격자가 쓰는 속도로 먼저 자기 자산을 보기

전략

• 노출에서 시험까지의 시간이 줄어든다는 전제로 외부 공격 표면의 상시 자동 점검
• 파트너 대상 내부 도구의 수명주기 거버넌스 (방치된 도구가 최초 진입점)

계열 C가 바꾼 위협 모델

1. 공격자 역량 분포의 이동

예전에는 “정교한 공격은 소수의 숙련된 그룹만” 했습니다. 익스플로잇 개발, 체인 구성, 환경 적응은 모두 숙련을 요구했습니다. AI는 이 중 반복적·분석적 부분을 대체합니다. 숙련자의 천장이 올라간 것이 아니라 비숙련자의 바닥이 올라갔습니다. 방어자 입장에서는 “정교한 공격의 빈도"가 올라간 것으로 체감됩니다.

2. 방어 측의 비대칭

같은 기술은 방어에도 쓰입니다. 그러나 비대칭이 있습니다 — 공격자는 한 번만 성공하면 되고, AI의 오답을 버리면 됩니다. 방어자는 항상 맞아야 하고, AI의 오답(오탐)이 운영 비용이 됩니다. 이 비대칭 때문에 “AI로 AI를 막는다"는 구호는 실무에서 생각보다 느리게 작동합니다.

3. 탐지 지점의 이동

실무적 결론: AI 공격에 대한 방어의 상당 부분은 여전히 전통적 탐지(이상 행동, 데이터 반출, 인증 이상)입니다. AI가 공격을 썼다는 사실 자체를 탐지하려는 노력보다, 침해 결과를 빨리 보는 것이 투자 대비 효과가 큽니다.

통제 체크리스트

조직이 에이전트를 운영하는 입장에서:

• 에이전트의 도구 호출을 세션 누적 기준으로 제한 (외부 접속 횟수, 스캔 성격 도구 호출 수)
• 네트워크 스캔·익스플로잇 성격의 도구를 에이전트 도구 목록에서 분리 — 필요하면 사람 승인 게이트 뒤에
• 에이전트의 egress를 허용목록으로 제한 — 자율 루프가 임의 호스트에 접속하지 못하게
• 에이전트 활동 로그를 작전 단위로 재구성 가능하게 보관 (요청 단위 로그만으로는 사후 분석 불가)

조직이 표적이 될 수 있는 입장에서:

• 패치 관리 — 멕시코 사례의 1차 원인. AI 시대에도 여전히 1번
• 외부 노출 자산 인벤토리 — 정찰 자동화로 “잊힌 서버"가 훨씬 빨리 발견됨
• 데이터 반출 탐지 — 공격 속도가 올라갔으므로 탐지까지의 시간이 피해 규모를 결정

더 살펴보기

• MITRE ATLAS — 이 계열을 전술 단위로 구조화하기
• LLM·에이전트 레드티밍 — 작업 분해 우회를 자체 테스트에 포함
• 계열 D: 과도한 권한 — 우리 쪽 에이전트가 같은 능력을 갖고 있을 때의 위험
• Lab 10: 캡스톤 3개월차 — ATLAS 기반 위협모델에 반영