용어집

API 게이트웨이 (API Gateway): 여러 백엔드 서비스나 모델 엔드포인트에 대한 단일 진입점 역할을 하며, 인증·인가·요청 제한·로깅 등의 공통 보안 기능을 수행하는 컴포넌트.
DP-SGD: Differentially Private Stochastic Gradient Descent. 그래디언트를 클리핑하고 노이즈를 추가하여 차분 프라이버시를 보장하는 딥러닝 학습 알고리즘.
EU AI Act: 유럽연합의 AI 규제 법안으로, AI 시스템을 위험 수준(금지·고위험·제한적·최소)에 따라 분류하고 각 수준에 맞는 의무사항을 부과한다.
FGSM (Fast Gradient Sign Method): 손실 함수의 그래디언트 부호 방향으로 입력에 한 번의 perturbation을 더해 적대적 예제를 생성하는 가장 단순한 화이트박스 공격 기법.
L-노름 (L_inf, L2 Norm): 적대적 perturbation의 크기를 제한하는 데 사용되는 거리 척도로, 입력 변화량의 최댓값(L-infinity) 또는 유클리드 거리(L2)로 표현되는 기준.
LIME (Local Interpretable Model-agnostic Explanations): 관심 입력 주변에서 샘플을 생성하고 단순한 해석 가능 모델을 적합시켜, 국소적인 예측 근거를 설명하는 모델 불가지론적 기법.
LLM 심판 (LLM-as-a-Judge): 다른 LLM의 출력 품질을 LLM에게 판정시키는 평가 방식. 유연하지만 심판 모델 자체의 편향과 불안정성이 있어 사람에 의한 주기적 보정이 필요하다.
MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems): MITRE ATT&CK 프레임워크를 AI 시스템에 확장한 위협 모델링 지식베이스로, AI 시스템에 대한 공격 전술과 기법을 체계적으로 정리한다.
MLOps: 머신러닝 모델의 개발, 배포, 운영, 모니터링을 자동화하고 관리하기 위한 방법론 및 도구의 집합.
mTLS (Mutual TLS): 통신하는 양측이 서로의 인증서를 검증하여 상호 신원을 확인하는 양방향 TLS 인증 방식.
NIST AI RMF (NIST AI Risk Management Framework): 미국 NIST가 발표한 AI 위험관리 프레임워크로, Govern·Map·Measure·Manage 네 가지 기능으로 구성되어 AI 시스템의 위험을 체계적으로 관리하도록 안내한다.
OWASP LLM Top 10: OWASP가 발표한 LLM 애플리케이션의 대표적인 10가지 보안 위험 목록으로, 프롬프트 인젝션, 안전하지 않은 출력 처리, 공급망 취약점 등을 포함한다.
PGD (Projected Gradient Descent): FGSM과 같은 방향의 perturbation을 여러 차례 반복 적용하면서 매 단계마다 허용된 변형 범위 안으로 결과를 투영하는, 보다 강력한 적대적 예제 생성 기법.
pip-audit: Python 패키지 의존성 중 알려진 취약점이 있는 버전을 점검하는 명령줄 도구.
RAG (Retrieval-Augmented Generation): LLM이 응답을 생성하기 전에 외부 지식베이스에서 관련 문서를 검색하여 프롬프트에 포함시키는 방식으로, 최신 정보 반영과 사실성 향상을 목적으로 한다.
safetensors: 임의 코드 실행 위험 없이 모델 가중치를 안전하게 저장하고 불러올 수 있도록 설계된 모델 직렬화 형식.
SAIF: Secure AI Framework. Google이 제시한 AI 보안 프레임워크로, 기존 보안 기반 위에 AI 특화 위험(모델, 데이터, 파이프라인)을 얹어 다루는 접근을 권장한다.
SBOM (Software Bill of Materials): 소프트웨어를 구성하는 구성요소와 의존성 목록을 명시한 문서. AI 영역에서는 모델 카드, 데이터시트 등으로 확장하여 적용한다.
SCA (Software Composition Analysis): 소프트웨어에 포함된 오픈소스 구성요소와 의존성을 분석하여 알려진 취약점(CVE)과 라이선스 문제를 식별하는 기법.
SHAP (SHapley Additive exPlanations): 게임 이론의 Shapley value를 적용하여 각 입력 특성이 예측 결과에 기여한 정도를 정량적으로 분해해 제시하는 모델 설명 기법.
SSRF (Server-Side Request Forgery): 공격자가 서버를 속여 의도하지 않은 내부 자원이나 외부 주소로 요청을 보내게 함으로써, 접근이 제한된 자원에 도달하게 하는 취약점.
가드레일 (Guardrails): 모델 가중치를 바꾸지 않고 LLM의 입력·검색·도구 실행·출력 각 지점에 배치하여 위험한 입력과 응답을 탐지·차단·수정하는 운영 단계의 방어 계층.
간접 프롬프트 인젝션 (Indirect Prompt Injection): 공격자가 직접 프롬프트를 입력하지 않고, 모델이 읽는 웹페이지·문서·검색 결과 등 외부 콘텐츠에 악성 지시문을 숨겨두는 방식의 프롬프트 인젝션.
검색 증강 생성 (RAG): LLM이 답변을 생성하기 전에 외부 지식 저장소에서 관련 문서를 검색해 프롬프트에 함께 제공함으로써, 최신성·사내 지식·근거 제시를 보완하는 구조.
견고성-정확도 트레이드오프 (Robustness-Accuracy Tradeoff): 적대적 훈련 등으로 모델의 견고성을 높일수록 정상 입력에 대한 정확도(clean accuracy)가 저하되는 상충 관계를 가리키는 개념.
고위험 AI 시스템 (High-Risk AI System): EU AI Act에서 안전이나 기본권에 중대한 영향을 줄 수 있다고 분류되어, 위험관리·데이터 거버넌스·인간 감독 등 엄격한 의무가 부과되는 AI 시스템.
공격 성공률 (Attack Success Rate, ASR): 전체 시도 또는 샘플 중 공격이 의도한 오분류나 정책 우회를 발생시킨 비율을 나타내는 지표.
과도한 권한 부여 (Excessive Agency): LLM 에이전트에게 실제 업무 수행에 필요한 수준보다 더 많은 기능·권한·자율성을 부여하여, 오작동이나 악용 시 피해 범위가 커지는 문제.
권한 범위 침범 (LLM Scope Violation): 외부에서 유입된 신뢰할 수 없는 텍스트가 모델의 지시로 승격되어, 사용자 권한을 빌려 접근 권한 밖의 데이터를 수집하게 되는 현상.
권한 상승 (Privilege Escalation): 시스템이나 AI 에이전트에 부여된 접근 권한의 경계를 벗어나, 원래 허용되지 않은 더 높은 수준의 작업이나 자원에 접근하게 되는 취약점.
다중 임차 (Multi-tenant): 여러 사용자나 고객이 동일한 인프라 또는 애플리케이션 인스턴스를 공유하면서도, 서로의 데이터와 자원에는 접근하지 못하도록 논리적으로 격리되는 시스템 구조.
데이터 포이즈닝 (Data Poisoning): 학습 데이터에 악의적인 데이터를 주입하여 모델의 학습 결과를 왜곡하거나 백도어(트리거)를 심는 공격.
데이터/모델 드리프트 (Data/Model Drift): 운영 중 입력 데이터의 분포나 모델의 예측 성능이 학습 시점과 점차 달라지는 현상.
데이터시트 (Datasheet for Datasets): 데이터셋의 수집 과정, 구성, 전처리 방법, 라이선스, 알려진 한계를 정리한 문서.
동형암호 (Homomorphic Encryption): 데이터를 암호화한 상태에서 복호화 없이 연산을 수행할 수 있게 하는 암호화 기법으로, 모델 추론 시 입력 데이터를 노출하지 않고 처리할 수 있다.
레드티밍 (Red Teaming): 공격자의 관점에서 시스템의 취약점과 위험을 능동적으로 탐색하고, 그 결과를 측정·완화로 연결하는 보안 활동.
레이블 플리핑 (Label Flipping): 학습 데이터 일부 샘플의 정답 레이블을 무작위 또는 의도적으로 다른 클래스로 변경하여 모델의 학습 결과를 왜곡시키는 데이터 포이즈닝 기법.
레이트 리미팅 (Rate Limiting): 일정 시간 동안 허용되는 요청 수를 제한하여 과도한 질의를 통한 모델 추출, 비용 남용, 서비스 거부를 완화하는 기법.
마이크로세그멘테이션 (Microsegmentation): 네트워크를 세분화된 구역으로 나누어 한 구역이 침해되더라도 다른 구역으로의 확산을 차단하는 제로 트러스트 구현 기법.
멤버십 추론 공격 (Membership Inference Attack): 특정 데이터가 모델의 학습 데이터셋에 포함되었는지 여부를 추론하는 공격으로, 개인정보 유출로 이어질 수 있다.
모델 DoS (Model Denial of Service): 과도하게 길거나 복잡한 입력, 무제한 생성 요청 등을 통해 모델 서빙 인프라의 연산 자원을 소모시켜 가용성을 저해하는 공격.
모델 레지스트리 (Model Registry): 학습된 모델의 가중치, 버전, 배포 단계(개발/스테이징/프로덕션) 등의 메타데이터를 관리하는 중앙 저장소.
모델 서빙 (Model Serving): 학습이 완료된 모델을 API나 엔드포인트 형태로 배포하여 실시간 또는 배치 추론 요청을 처리하는 과정.
모델 인버전 (Model Inversion): 모델의 출력이나 파라미터로부터 학습에 사용된 입력 데이터를 역으로 복원하려는 공격.
모델 카드 (Model Card): 모델의 아키텍처, 학습 데이터, 의도된 사용 사례, 알려진 한계와 위험, 평가 결과 등을 정리하여 전달하는 표준화된 문서.
모델 탈취 (Model Extraction): 공개된 API에 반복적으로 질의하여 응답을 수집한 뒤, 이를 바탕으로 원본 모델과 유사한 대체 모델을 학습시키는 공격.
문맥 관련성 (Context Relevance): 검색된 근거 문서가 질문과 관련이 있는지를 측정하는 지표. 품질 문제의 원인이 검색 단계인지 생성 단계인지를 가르는 진단에 쓰인다.
민-맥스 최적화 (Min-Max Optimization): 내부 단계에서 손실을 최대화하는 최악의 perturbation을 탐색하고, 외부 단계에서 그에 대한 손실을 최소화하도록 모델을 학습시키는 적대적 훈련의 수학적 정식화.
백도어 공격 (Backdoor Attack): 특정 트리거 패턴이 포함된 입력에 대해서만 공격자가 의도한 클래스로 오분류하도록, 학습 데이터에 트리거가 포함된 샘플을 주입하는 데이터 포이즈닝 기법.
범용 AI 모델 (General-Purpose AI, GPAI): 특정 용도에 한정되지 않고 다양한 다운스트림 애플리케이션의 기반이 되는 대형 파운데이션 모델로, EU AI Act에서 별도의 투명성·평가 의무가 부과되는 대상.
벡터 스토어 (Vector Store): 텍스트를 임베딩한 벡터를 저장하고 유사도 기반 근사 최근접 이웃 검색을 제공하는 저장소. 원문 청크를 함께 보관하는 경우가 많아 민감 데이터의 사본으로 취급해야 한다.
벡터 임베딩 취약점 (Vector and Embedding Weaknesses): RAG 시스템에서 사용하는 벡터 데이터베이스와 임베딩에 대한 접근통제 미흡, 임베딩으로부터의 원본 데이터 역추론 등으로 발생하는 보안 취약점.
봉투 암호화 (Envelope Encryption): 데이터를 데이터 암호화 키(DEK)로 암호화하고, 그 DEK를 별도의 키 암호화 키(KEK)로 다시 암호화하여 보호하는 계층형 키 관리 기법.
블랙박스 공격 (Black-box Attack): 공격자가 모델 내부 정보 없이 입력에 대한 출력만 관찰할 수 있는 상태에서 수행하는 공격.
살리언시 맵 (Saliency Map): 입력에 대한 출력의 그래디언트 크기를 시각화하여 예측에 가장 큰 영향을 미친 영역을 보여주는 설명 기법.
서로게이트 모델 (Surrogate Model): 타깃 모델에 대한 질의-응답 결과를 학습 데이터로 사용하여, 타깃 모델의 동작을 모방하도록 별도로 학습시킨 대체 모델.
설명 가능한 AI (XAI): 모델이 특정 예측을 내린 이유를 사람이 이해할 수 있는 형태로 제시하는 기법과 연구 분야. SHAP, LIME, Saliency Map 등이 대표적이다.
섭동 (Perturbation): 사람이 인지하기 어려운 수준으로 원본 입력에 추가되는 미세한 변형으로, 적대적 예제를 만드는 핵심 구성 요소.
시스템 프롬프트 유출 (System Prompt Leakage): 시스템 프롬프트에 포함된 정책, 자격증명, 내부 로직 등 비공개 정보가 모델의 응답을 통해 외부로 노출되는 취약점.
안전장치 (Guardrail): 모델이나 애플리케이션이 유해하거나 정책에 위반되는 입력·출력을 생성하지 않도록 적용하는 필터링, 분류, 차단 등의 방어 계층.
안전하지 않은 출력 처리 (Insecure Output Handling): LLM의 출력을 검증 없이 SQL, 셸 명령, 코드 실행, 브라우저 렌더링 등 후속 시스템에 그대로 전달하여 발생하는 취약점.
어텐션 메커니즘 (Attention, Self-Attention): 입력 시퀀스의 각 토큰이 다른 모든 토큰과의 연관도를 계산하여 문맥 정보를 반영하도록 하는 트랜스포머의 핵심 연산.
에이전트형 침투 테스트 (Agentic Pentest): LLM 기반 에이전트가 정찰, 취약점 분석, 도구 실행, 검증까지 침투 테스트 과정을 스스로 계획하고 수행하는 방식. 방어자의 점검 수단이면서 동일한 코드가 공격에도 쓰이는 이중 용도 기술이다.
역직렬화 취약점 (Pickle Deserialization Vulnerability): pickle 기반으로 직렬화된 모델 파일을 불러오는 과정에서 악의적인 코드가 함께 실행될 수 있는 구조적 취약점.
위험 등록부 (Risk Register): 시스템이나 기능별로 식별된 위험 요소, 영향, 발생 가능성, 대응 통제, 책임자 등을 정리한 문서로 AI 거버넌스의 핵심 산출물이다.
의미적 답변 유사도 (SAS): 예측 답변과 정답의 의미적 유사도를 크로스 인코더로 계산하는 모델 기반 평가 지표. 문자열이 달라도 뜻이 같으면 높은 점수를 준다.
인간 감독 (Human Oversight): AI 시스템의 동작과 출력을 사람이 지속적으로 검토하고 필요 시 개입하거나 중단할 수 있도록 마련하는 통제 체계.
인증 가능한 방어 (Certified Defense): 정해진 범위 내의 perturbation에 대해서는 모델의 출력이 변하지 않음을 수학적으로 증명할 수 있는 방어 기법.
작업 분해 우회 (Task Decomposition): 공격 전체를 개별적으로는 무해해 보이는 작은 요청들로 쪼개어, 요청 단위로만 평가하는 안전 정책과 가드레일을 통과시키는 기법.
적대적 예제 (Adversarial Example): 사람에게는 거의 차이가 없어 보이지만 모델의 예측을 의도적으로 틀리게 만드는, 미세한 변형(perturbation)이 추가된 입력 데이터.
적대적 훈련 (Adversarial Training): 학습 과정에서 적대적 예제를 함께 학습시켜 모델의 강건성(robustness)을 높이는 방어 기법.
전이성 (Transferability): 한 모델을 대상으로 생성된 적대적 예제가 구조나 학습 데이터가 다른 별개의 모델에도 유사한 오분류를 유발하는 현상.
제로 트러스트 (Zero Trust): 내부망 여부와 관계없이 모든 접근 요청을 신뢰하지 않고 매번 검증하며, 최소 권한 원칙에 따라 접근 범위를 제한하는 보안 모델.
제로클릭 (Zero-click): 희생자가 링크 클릭이나 파일 열람 같은 별도 행동을 하지 않고, 평소의 정상 업무만 수행하는 중에 공격이 성립하는 유형.
차분 프라이버시 (Differential Privacy): 데이터셋에 특정 개인의 데이터가 포함되었는지 여부가 분석 결과에 거의 영향을 주지 않도록 통계적 잡음을 추가하여 개인정보를 보호하는 수학적 프레임워크.
차분 프라이버시 예산 (Privacy Budget): 차분 프라이버시 메커니즘이 허용하는 정보 노출 한계를 나타내는 값으로, 여러 메커니즘을 결합할 때 합산되어 소비되는 자원.
책임 있는 공개 (Responsible Disclosure): 보안 연구자가 발견한 취약점을 공개에 앞서 해당 조직에 비공개로 먼저 알리고, 합리적인 수정 기간을 부여한 뒤 공개 여부를 협의하는 취약점 공개 절차.
출처 (Provenance): 데이터셋이나 모델 가중치가 언제, 어떤 소스로부터, 어떤 처리 과정을 거쳐 만들어졌는지를 추적할 수 있게 기록한 계보 정보.
충실도 (Faithfulness): 생성된 답변의 각 주장이 주어진 근거 문서에서 추론 가능한 비율. 정답 데이터 없이 계산할 수 있어 운영 트래픽의 환각 탐지에 쓰인다.
침입 탐지/방지 시스템 (IDS/IPS): 네트워크나 시스템의 비정상적인 트래픽·행위를 탐지하여 경보를 발생시키거나(IDS) 실시간으로 차단하는(IPS) 보안 솔루션.
콘텐츠 출처 인증 (Content Provenance, C2PA): 이미지·영상 등 콘텐츠가 언제, 어떤 도구로 생성·편집되었는지에 대한 정보를 암호학적 서명으로 첨부하여 출처와 변경 이력을 검증할 수 있게 하는 표준 및 기법.
클린 레이블 포이즈닝 (Clean-Label Poisoning): 레이블은 정상적으로 유지한 채 입력 자체에 미세한 조작을 가해, 데이터 검증을 통과하면서도 모델 학습에 의도된 오류를 주입하는 은밀한 포이즈닝 기법.
탈옥 (Jailbreak): 모델에 내재된 안전장치(가드레일)를 우회하여, 본래 거부해야 할 유해하거나 정책에 위반되는 응답을 생성하도록 유도하는 기법.
토큰화 (Tokenization): 텍스트를 단어·부분 단어·문자 단위의 토큰으로 분리하고 이를 정수 ID로 변환하여 모델 입력으로 사용할 수 있게 하는 전처리 과정.
파인튜닝 (Fine-tuning): 사전학습된 모델의 가중치를 추가적인 학습 데이터로 재조정하여 특정 작업이나 도메인에 맞게 적응시키는 학습 기법.
프롬프트 인젝션 (Prompt Injection): LLM에 입력되는 프롬프트(또는 LLM이 참조하는 외부 콘텐츠)에 악의적인 지시문을 삽입하여 모델의 원래 의도와 다른 동작을 유도하는 공격.
화이트박스 공격 (White-box Attack): 공격자가 모델의 구조, 파라미터, 그래디언트 등 내부 정보에 완전히 접근할 수 있는 상태에서 수행하는 공격.
환각 (Hallucination): 모델이 사실과 다르거나 근거가 없는 정보를 마치 사실인 것처럼 자연스럽게 생성하는 현상.
환각 (Hallucination): LLM이 사실이 아니거나 주어진 근거에서 도출되지 않는 내용을, 사실인 것처럼 자신 있게 생성하는 현상.