① 기반 지식
① 기반 지식
AI 시스템을 공격하거나 방어하기 위해서는 두 가지 영역의 지식이 동시에 필요합니다. 하나는 일반 보안(General Security) — 네트워크, 웹, 암호학 등 전통적인 정보보안 분야이고, 다른 하나는 머신러닝/딥러닝(ML/DL) 의 동작 원리입니다.
둘 중 한쪽만 알면 “반쪽 이해"에 머무릅니다.
- 보안 지식만 있고 ML을 모르면: 프롬프트 인젝션이나 데이터 포이즈닝 같은 공격을 “이상한 입력값 처리 버그” 정도로만 이해하게 되어, 왜 모델이 그렇게 반응하는지, 어떤 방어가 근본적으로 효과적인지 판단할 수 없습니다.
- ML/DL 지식만 있고 보안을 모르면: 모델 자체의 정확도나 성능에는 강하지만, 그 모델이 배포되는 환경(API 게이트웨이, 인증/인가, 네트워크 경계, 키 관리 등)에 어떤 공격 표면이 존재하는지 파악하지 못해 “안전한 모델, 뚫리는 시스템"이 됩니다.
AI 보안은 결국 “전통적인 IT 시스템 위에 ML 모델이라는 새로운 컴포넌트가 추가된 것” 입니다. 기존 시스템의 공격 표면(네트워크, 웹, 암호화 채널)은 그대로 남아 있고, 여기에 모델 고유의 새로운 위협(적대적 예제, 모델 추출, 프롬프트 인젝션 등)이 추가됩니다. 따라서 이 사이트의 뒷부분(공격 기법, 방어 기법)을 제대로 이해하려면 아래 네 가지 기반 지식을 먼저 다져야 합니다.
이 섹션에서 다루는 내용
- 네트워크 보안 기초 — OSI/TCP-IP 계층별 위협, 방화벽/IDS/IPS, 제로트러스트. AI 모델 서빙 엔드포인트와 API 게이트웨이가 어떻게 노출되는지.
- 웹 보안 기초 — OWASP Top 10, 인증/인가, 세션 관리, API 보안. 이 개념들이 LLM 애플리케이션의 프롬프트 인젝션/출력 처리 취약점으로 어떻게 이어지는지.
- 암호학 기초 — 대칭/비대칭 암호화, 해시, 전자서명, TLS, 키 관리. 모델 가중치 암호화, 동형암호와 차분 프라이버시, 모델 출처 증명.
- ML/딥러닝 기초 — 지도/비지도/강화학습, 신경망 구조, 손실함수, 과적합, 트랜스포머와 LLM의 동작 원리(토큰화, attention, fine-tuning vs RAG). 이는 적대적 예제와 데이터 포이즈닝을 이해하는 토대가 됩니다.