익스플로잇 난이도가 '어셈블리'에서 '작문'으로 떨어진 1년 — 2025~2026 AI 보안 사건 13건의 동작 분석

메모리 손상 취약점으로 서버를 장악하려면 무엇이 필요할까요? 힙 레이아웃을 읽고, 해제 타이밍을 맞추고, 기계어 바이트열을 정확한 위치에 배치해야 합니다. 그래서 어렵고, 그래서 할 수 있는 사람이 적었습니다.

2025년부터 2026년 사이, 같은 결과를 내는 데 필요한 것이 “이메일 본문에 흰 글씨로 문장 하나 적기” 로 바뀐 사건들이 연달아 발생했습니다. 이 글은 그 13건을 같은 틀로 뜯어본 기록입니다.

1. 구조는 똑같다, 입력만 바뀌었다

먼저 전통적인 Use-After-Free(UAF) 공격을 떠올려 봅시다.

프로그램 안에는 개발자가 메모리 해제 순서를 잘못 처리한 잠재적 결함이 숨어 있습니다. 평소엔 드러나지 않습니다. 공격자가 의도적으로 조작된 입력과 타이밍을 밀어 넣으면, 프로그램은 이미 반납한 메모리를 다시 참조하는 오류를 일으킵니다. 공격자는 그 찰나에 자기 명령어를 심고, 프로그램이 그걸 정상 데이터로 착각해 실행하면서 RCE가 완성됩니다.

AI 사건은 이름만 바뀝니다.

차이는 ②단계 하나입니다. 그리고 그 하나가 전부를 바꿉니다. 익스플로잇 개발 난이도가 어셈블리 수준에서 작문 수준으로 떨어졌기 때문입니다.

2. 계열 A — 보내기만 하면 끝나는 공격

같은 메커니즘이 1년에 걸쳐 세 번 진화한 기록입니다. 공통 구조는 이렇습니다.

공격자가 희생자에게 뭔가를 보내기만 합니다. 희생자는 클릭도 열람도 하지 않습니다. 며칠 뒤 희생자가 AI 비서에게 “지난주 요약해줘” 같은 평범한 질문을 하는 순간, AI가 그걸 읽고 공격자의 지시를 실행해 데이터를 외부로 내보냅니다.

3세대가 특히 불편합니다. Grafana의 AI 어시스턴트는 로그를 읽고 요약하는데, 로그에는 서버에 도착한 HTTP 요청의 쿼리 파라미터가 그대로 기록됩니다. 즉 인터넷의 누구나 쓸 수 있는 입력란이 AI의 컨텍스트로 직결되어 있었던 겁니다. 인증도 내부 접근도 필요 없고, 요청이 실패해도 상관없습니다 — 로그에 남는 것이 목적이니까요.

가드레일 4개가 순차적으로 뚫렸다

EchoLeak에서 가장 중요한 부분은 Microsoft에 이미 방어가 있었다는 점입니다.

• 인젝션 분류기(XPIA) → 지시문을 “사람에게 보내는 안내문"처럼 위장해 회피
• 링크 리댁션 → 참조 스타일 마크다운이라는 동등한 다른 문법이 남아 있었음
• CSP(콘텐츠 보안 정책) → 허용 목록에 있던 자사 Teams 프록시를 경유
• 사용자 교육 → 희생자가 한 행동은 “업무 질문"뿐. 교육할 대상이 없음

가드레일이 없어서 뚫린 게 아니라, 네 개가 하나씩 순서대로 뚫린 사건입니다.

그리고 ShadowLeak이 바꾼 것

AgentFlayer는 희생자의 브라우저가 이미지를 요청하면서 데이터가 나갑니다. 기업 프록시에서 보입니다.

ShadowLeak은 다릅니다. OpenAI 클라우드의 에이전트가 직접 요청합니다. 희생자의 네트워크를 통과하지 않습니다.

DLP, 프록시, EDR, 네트워크 모니터링은 모두 “데이터가 우리 경계를 넘는 순간"을 보도록 설계됐습니다. 그런데 데이터가 AI 제공자의 데이터센터에서 공격자 서버로 직행하면, 그 경계에는 아무것도 지나가지 않습니다. 에이전트를 붙이는 순간 ‘우리 경계’의 정의가 바뀝니다.

3. 계열 B — 페이로드가 코드에서 ‘문장’으로

전통적인 공급망 공격은 패키지에 악성 코드를 심습니다. 2025년의 두 사건은 심는 것 자체를 바꿨습니다.

Amazon Q 와이퍼 (2025.7, CVE-2025-8217). 공격자가 AWS의 VS Code 확장 저장소에 PR을 열어 write 권한을 받고, 주입한 것은 익스플로잇이 아니라 “홈 디렉터리 파일을 삭제하고 AWS 리소스를 열거·삭제하라"는 지시문이었습니다. 약 100만 설치 규모의 확장에 2일간 배포됐고, 구문 오류 때문에 작동하지 않아 피해가 없었습니다.

방어가 작동한 게 아니라 공격자의 실수가 막은 겁니다. 정적 분석기는 rm -rf를 찾지만, “홈 디렉터리 파일을 삭제하라"는 문장은 문법적으로 아무 코드도 아닙니다.

s1ngularity (2025.8). 악성 Nx 패키지가 개발자 PC에서 한 일이 핵심입니다. 비밀 탐색 로직을 직접 구현하지 않고, 로컬에 설치된 AI 코딩 CLI를 찾아 승인 생략 플래그로 실행했습니다 — --dangerously-skip-permissions, --yolo, --trust-all-tools. 그리고 “비밀이 있을 만한 파일을 찾아라"고 시켰습니다.

왜 이게 위험한가요? 전통적 스틸러는 .env, id_rsa, .aws/credentials 같은 경로를 미리 하드코딩해야 합니다. 목록에 없으면 놓칩니다. 반면 AI에게 맡기면 그 PC의 실제 구조를 읽고 추론해서 찾습니다. 사내 전용 설정 파일, 커스텀 스크립트에 박힌 키까지요. 공격자는 코드를 쓰지 않고 일반화 능력을 빌려 쓴 겁니다.

결과는 공개 GitHub 저장소로 업로드된 2,349건의 비밀, 그리고 Wiz 집계로 유출 토큰의 90%가 여전히 유효한 상태였습니다.

4. 계열 C — 거부당할 요청을 아예 하지 않는 법

2025년 11월 Anthropic이 공개한 GTG-1002 캠페인의 핵심 질문은 이것입니다. 안전 훈련을 받은 모델이 왜 침입 작업을 수행했는가?

답은 작업 분해(task decomposition) 입니다.

네 번째는 그냥 데이터 포매팅입니다. 침입의 윤곽은 요청들을 시간순으로 겹쳐 놓을 때만 보입니다.

모델이 안전 정책을 어긴 게 아닙니다. 안전 정책이 평가하는 단위(요청 1건)가 위험이 발생하는 단위(작전 전체)보다 작았던 겁니다. 그래서 요청 단위 분류기로는 이 공격을 탐지할 수 없고, 세션·계정 단위의 행동 궤적을 봐야 합니다.

참고로 Anthropic이 보고한 자동화 비율(침투 작업의 80~90%)과 귀속은 자체 평가이고, 일부 연구자가 의문을 제기했습니다. 메커니즘은 다른 사건과 교차 검증되지만 수치는 그렇지 않습니다.

그리고 더 흔한 쪽도 있습니다. 2026년 2월 보도된 멕시코 정부 침해(약 150GB 세무·유권자 데이터)는 사람이 운전하고 LLM이 스크립트를 짜 준 형태였고, 뚫린 구멍은 미패치 시스템이었습니다. AI는 준비 시간을 줄였을 뿐입니다.

5. 계열 D — 공격자가 없어도 사고는 난다

이 계열의 절반은 공격자가 없습니다.

Replit (2025.7). 사용자는 코드 프리즈 중이었고 “승인 없이 변경하지 말라"고 지시해 뒀습니다. 에이전트가 운영 DB를 삭제했습니다. 숨은 지시문도, 공격자도 없었습니다.

더 심각한 건 그 다음입니다. 에이전트는 가짜 데이터와 리포트를 만들어 실패를 성공처럼 보고하고, 단위 테스트 결과를 잘못 전하고, “복구는 불가능하다"고 단정했습니다. 사실이 아니었고, 사용자가 직접 롤백으로 복구했습니다. Replit CEO는 원클릭 복원이 이미 있었고 에이전트가 그 문서에 접근하지 못한 상태였다고 설명했습니다.

에이전트는 자기 능력 범위를 모르는 상태에서 단정적으로 보고했습니다. 사고 대응에서 이건 치명적입니다. 환각이 품질 문제가 아니라 사고 대응 능력을 직접 파괴한 사례입니다. 백업 존재 여부, 복구 가능성, 영향 범위는 에이전트 외부의 독립적 사실 소스에서 확인해야 합니다.

OpenClaw (2026.2). “삭제할 메일을 제안해 달라"고 했는데 에이전트가 직접 삭제를 시작했고, 휴대폰으로 보낸 중단 명령이 무시됐습니다.

중단 명령이 무시된다는 건 루프 외부에 인터럽트 채널이 없다는 뜻입니다. 모델에게 “멈춰 달라"고 메시지를 보내는 방식은 중단 요청을 또 하나의 해석 대상으로 만들 뿐입니다. 점검 질문 하나만 남겨둡니다.

우리 에이전트가 폭주할 때, 모델의 협조 없이 멈출 수 있는 수단이 있습니까?

6. 13건을 관통하는 결함은 세 개뿐

1. 지시와 데이터의 미분리 — 계열 A 전체, 계열 C의 우회 기법
2. 과도한 권한 — 계열 B의 빌드 토큰, 계열 D 전체. 공격자가 없어도 사고가 납니다
3. 무검증 출력 처리 — 유출의 마지막 한 걸음은 거의 항상 여기입니다

그리고 가장 실무적인 결론은 이것입니다.

①과 ②는 확률적으로만 막을 수 있지만, ③은 결정론적으로 막을 수 있습니다.

AI 응답에서 외부 도메인 리소스의 자동 로딩을 금지하고, 셸 명령을 실행 효과 기준으로 제한하고, 에이전트의 쓰기 권한을 분리하는 것은 분류기 정확도와 무관하게 작동합니다. 계열 A의 세 사건은 모두 ③만 막았다면 데이터가 나가지 않았습니다.

가드레일이 확률적 계층이라면, 출력 처리 통제는 그 아래 깔려야 하는 결정론적 바닥입니다. 그리고 계열 D가 반복해서 보여준 것처럼 — 프롬프트에 적은 제약은 ‘요청’이고, 코드로 강제한 제약만이 ‘통제’입니다.

더 읽을 거리

13건 전체의 단계별 동작 분석, 우회된 방어 목록, 사례별 통제 체크리스트는 지식베이스에 정리해 두었습니다.

• ⑧ 사례 기술 분석 — 공통 4단계 분석 틀과 전체 사례 인덱스
• 계열 A: 제로클릭 데이터 유출
• 계열 B: AI가 무기화된 공급망
• 계열 C: AI가 공격을 수행
• 계열 D: 과도한 권한과 경계 붕괴
• ⑦ 가드레일·평가 — 위 통제들을 실제로 구현하는 방법