⑤ 거버넌스·리스크 관리
⑤ 거버넌스·리스크 관리
이 섹션의 목표는 여러분을 “AI 보안 담당자(AI security officer)“로 만드는 것이 아닙니다. 그보다 훨씬 실용적이고, 동시에 훨씬 희소한 역량인 “AI 위험을 구조화할 수 있는 사람“이 되는 것이 목표입니다.
왜 “구조화 역량"이 핵심인가
조직에 새로운 AI 기능(챗봇, RAG, 에이전트, 코드 어시스턴트 등)이 도입될 때 경영진과 보안팀이 가장 먼저 던지는 질문은 대개 이런 것들입니다.
- “이 기능이 잘못되면 정확히 무엇이 위험한가?”
- “그 위험은 어떤 표준/규제 항목에 해당하는가?”
- “지금 수준의 통제로 충분한가, 추가로 무엇이 필요한가?”
- “문제가 생기면 누가, 무엇을, 어떻게 멈추는가?”
이 질문에 즉답할 수 있는 사람은 많지 않습니다. AI 보안의 기술적 디테일(적대적 예제 수식, 토크나이저 내부 동작 등)을 깊게 아는 사람은 점점 늘고 있지만, 그 위험을 비즈니스 언어와 표준 프레임워크로 번역해 의사결정자에게 전달할 수 있는 사람은 여전히 드뭅니다. 바로 이 지점이 지금 시장에서 가장 수요가 높고, 동시에 가장 차별화되는 축입니다.
이 축은 “암기"가 아니라 “번역 능력"입니다. OWASP LLM Top 10의 10개 항목명을 외우는 것보다, “우리 회사의 이 AI 기능이 가진 위험이 OWASP의 어떤 항목과 매핑되고, NIST AI RMF의 어떤 단계에서 다뤄지며, EU AI Act 적용 대상이라면 어떤 의무가 생기는가"를 한 장의 문서로 정리할 수 있는 능력이 핵심입니다.
이 섹션에서 다루는 4개의 프레임워크
각 프레임워크는 서로 다른 질문에 답합니다.
| 프레임워크 | 핵심 질문 | 성격 |
|---|---|---|
| OWASP LLM Top 10 | “LLM 애플리케이션에서 자주 발생하는 취약점은 무엇인가?” | 애플리케이션 보안 체크리스트 |
| MITRE ATLAS | “공격자는 AI 시스템을 어떤 단계로 공격하는가?” | 공격자 관점의 위협모델링 지식베이스 |
| NIST AI RMF | “AI 위험을 조직 차원에서 어떻게 관리(거버넌스/측정/대응)할 것인가?” | 위험관리 프로세스 프레임워크 |
| EU AI Act | “이 AI 시스템은 법적으로 어떤 의무를 지는가?” | 규제/컴플라이언스 |
이 네 가지는 경쟁 관계가 아니라 레이어가 다른 도구입니다. OWASP는 “무엇이 취약점인가"를, ATLAS는 “공격자가 어떻게 움직이는가"를, NIST AI RMF는 “조직이 어떻게 위험을 관리해야 하는가"를, EU AI Act는 “법적으로 무엇을 반드시 해야 하는가"를 알려줍니다. 실무에서는 이 네 가지를 하나의 표(매핑 테이블)로 엮어서 사용하는 경우가 많습니다.
국내 가이드라인 참고: 한국 환경에서 실무를 수행한다면, 글로벌 표준과 함께 **KISA의 ‘인공지능(AI) 보안 안내서’**를 반드시 병행해서 참조해야 합니다. 자세한 내용은 표준 및 참고 문서 섹션을 확인하세요.
학습 후 도달해야 할 지점
이 섹션을 마치면, 다음과 같은 산출물을 만들 수 있어야 합니다.
- 임의의 AI 기능을 입력받아 OWASP LLM Top 10 항목과 매핑하기
- 그 기능에 대한 ATLAS 기반 공격 시나리오를 1~2개 작성하기
- NIST AI RMF의 Govern/Map/Measure/Manage 구조에 맞춰 대응 통제를 정리하기
- EU AI Act 관점에서 위험 등급과 의무사항을 판단하기
- 위 내용을 하나의 AI 위험 등록부(Risk Register) 문서로 통합하기
마지막 5번 항목은 실습 페이지에서 직접 작성해 봅니다. 이 위험 등록부는 면접과 포트폴리오에서 그 자체로 강력한 무기가 됩니다.