⑥ 레드팀·실전 경험

지금까지 다룬 공격(②), 방어(③), 평가·운영(④), 거버넌스(⑤)는 모두 “알아야 할 지식"입니다. 하지만 AI 보안에서 지식은 머리로만 이해해서는 체화되지 않습니다. 직접 공격 코드를 돌려보고, 모델이 실제로 어떻게 망가지는지 눈으로 확인하고, 리포트를 작성해본 사람만이 “이 취약점이 왜 위험한지”, “이 방어책이 왜 충분하지 않은지"를 몸으로 압니다.

왜 실전 경험이 가장 중요한 축인가

• 이론과 현실의 간극: 논문에서 본 적대적 예제(adversarial example)가 실제로 내가 만든 분류기를 속이는 순간, “perturbation budget"이나 “transferability” 같은 개념이 추상적 정의에서 손에 잡히는 현상으로 바뀝니다.
• 방어의 한계 체감: 적대적 훈련(adversarial training)을 직접 적용해보면, 왜 방어가 “완벽한 해결책"이 아니라 “공격 비용을 높이는 트레이드오프"인지 이해하게 됩니다.
• 포트폴리오 = 채용/이직의 핵심 자산: AI 보안 분야는 아직 표준화된 자격증이나 채용 기준이 부족합니다. 실제로 동작하는 코드, 리포트, GitHub 레포지토리가 가장 강력한 증거입니다.
• 레드팀은 곧 위협모델링의 실전판: ⑤에서 배운 MITRE ATLAS, AI 위협모델링은 레드팀 시나리오를 설계할 때 그대로 사용되는 프레임워크입니다.

이 섹션의 구성

1. ART·Foolbox로 적대적 공격 실습하기 — 오픈소스 라이브러리로 이미지 분류기에 FGSM/PGD 공격을 직접 적용하고, 공격 성공률을 측정하고, 적대적 훈련까지 경험합니다.
2. LLM·에이전트 레드티밍 — Microsoft AI 레드팀 가이드를 기반으로, 작은 RAG 챗봇을 대상으로 프롬프트 인젝션·시스템 프롬프트 유출·민감정보 회수 등을 직접 테스트합니다.
3. AI 버그바운티로 포트폴리오 만들기 — 실제 공개 버그바운티 프로그램에 참여하여 합법적으로 실력을 검증받고 리포트 작성 역량을 키우는 방법입니다.
4. 포트폴리오용 실습 프로젝트 3가지 — 위 내용을 종합하여, 면접이나 이력서에 바로 활용할 수 있는 3개의 구체적 프로젝트와 12주 학습 계획을 제시합니다.

학습 마인드셋

• 작게 시작하기: 처음부터 거대한 프로덕션 시스템을 공격할 필요는 없습니다. MNIST 분류기, 작은 RAG 챗봇처럼 통제 가능한 환경에서 시작하세요.
• 기록하는 습관: 실습 과정, 실패한 시도, 성공한 공격, 측정 지표를 모두 기록하세요. 이 기록이 곧 포트폴리오와 레드팀 리포트의 원재료입니다.
• 공격과 방어를 함께 보기: 공격을 실행했다면 반드시 방어를 적용해보고 “before/after"를 비교하세요. 이 비교가 실력을 가장 잘 보여주는 자료입니다.
• 책임감 있는 태도: 실습에서 얻은 통찰을 책임감 있게 공개(responsible disclosure)하는 절차를 익히는 것도 실전 경험의 일부입니다.