AI 리스크 관리 프레임워크: 2026년 단계별 가이드

AI 리스크 관리 프레임워크는 비즈니스 의사결정에 영향을 미치는 AI 시스템의 리스크를 찾아내고, 순위를 매기고, 통제하고, 모니터링하는 일련의 단계입니다. 실무에서 쓰는 형태는 다섯 단계입니다. AI를 목록화하고, 영향도에 따라 각 활용 사례의 순위를 매기고, 고위험 시스템에 통제를 적용하고, 거버넌스 책임자를 지정하고, 검증된 사고 대응 계획으로 모니터링합니다.

이 가이드는 재무, 인사, 구매 영역에 이미 AI를 쓰고 있거나 곧 도입할 CIO, 리스크 오너, SAP 프로그램 리드를 위한 것입니다. 각 단계를 NIST AI RMF와 EU AI Act에 대응시키고, 시작할 수 있는 리스크 레지스터 템플릿을 제공합니다.

자동화된 의사결정은 빠르게 무너집니다. 2012년 Knight Capital은 결함이 있는 트레이딩 소프트웨어를 배포했고, 미국 SEC에 따르면 시스템을 제때 멈출 수 있는 사람이 없어 45분 만에 4억 6,000만 달러가 넘는 돈을 잃었습니다. 머신러닝 때문이 아니었습니다. 효과적인 모니터링도 킬 스위치도 없던 자동 의사결정 시스템이었습니다. 오늘날 많은 AI 도입 사례에 똑같은 공백이 있습니다.

아래 원칙은 여전히 유효합니다. 다만 외부 변화 세 가지가 계획의 전제를 바꿉니다.

NIST가 생성형 AI 프로파일을 추가했습니다. NIST AI 리스크 관리 프레임워크 (AI RMF 1.0, 2023년 1월)는 Govern, Map, Measure, Manage의 네 가지 기능으로 구성됩니다. 2024년 7월 NIST는 Generative AI Profile(NIST AI 600-1)을 발표했고, 허위 정보 생성(confabulation), 프롬프트 인젝션, 데이터 프라이버시, 지식재산권 같은 리스크를 다룹니다. 기업 데이터 위에서 Joule, Microsoft Copilot 또는 자체 생성형 AI 에이전트를 운영한다면 리스크 레지스터에서 이 문서를 참조하십시오. NIST는 핵심 프레임워크를 개정 중이라고 밝혔으며, 아직 버전 1.1은 없습니다.

EU AI Act 일정이 바뀌었습니다. 이 법은 2024년 8월 1일에 발효되었습니다. 금지 관행과 AI 리터러시 의무는 2025년 2월 2일부터, 범용 AI 의무는 2025년 8월 2일부터 적용되었습니다. 나머지 규정 대부분과 집행은 2026년 8월 2일부터 적용됩니다. 2026년에 채택된 Digital Omnibus 개정 이후, 부속서 III에 열거된 고위험 시스템(채용, 신용 평가, 필수 서비스 접근 등)의 규정은 2027년 12월 2일부터, 규제 대상 제품에 내장된 고위험 AI는 2028년 8월 2일부터 적용됩니다. 확인할 곳은 집행위원회의 이행 일정입니다. 과징금은 금지 관행의 경우 3,500만 유로 또는 전 세계 매출의 7%, 그 밖의 대부분의 위반은 1,500만 유로 또는 3%까지 부과됩니다.

시간이 더 생겼다고 기다릴 이유는 없습니다. 기술 문서, 데이터 거버넌스, 사람의 감독, 시판 후 모니터링은 대부분의 팀이 예상하는 것보다 구축에 오래 걸립니다.

ISO/IEC 42001이 AI 거버넌스에 인증 가능한 표준을 제공했습니다. 2023년 12월에 발표된 이 표준은 정보 보안에서 ISO 27001이 한 역할을 AI 관리에서 합니다. ISO/IEC 23894(2023)는 AI 리스크 관리에 특화된 지침을 더합니다. 제 생각에는 규제 대상 구매자에게 AI 기반 소프트웨어를 파는 기업이라면 조달 질의서에 42001이 등장할 것으로 예상해야 합니다.

걸프 지역 기관에는 UAE의 AI 개발 및 활용 헌장(2024)과 사우디아라비아 SDAIA의 AI 윤리 원칙이 EU 법처럼 구속력 있는 법은 아닙니다. 그래도 규제 당국과 공공 부문 구매자는 이미 이를 어떻게 충족하는지 묻고 있습니다.

제대로 된 프레임워크는 설계에서 배포, 일상 운영까지 모델의 전체 수명 주기에 걸쳐 작동합니다.

구성 요소	다루는 내용	핵심 활동
거버넌스 체계	감독과 의사결정 권한	AI 리스크 위원회 구성, 시스템마다 책임자 지정
리스크 식별	기술, 윤리, 규제 리스크	리스크 워크숍, 위협 모델링, 시나리오 분석
컴플라이언스 정렬	EU AI Act, GDPR, ISO 42001, 현지 규정	활용 사례마다 적용되는 규정에 매핑
편향성과 공정성	차별적 결과	편향성 테스트, 공정성 감사, 집단별 영향
설명 가능성	사람이 이해할 수 있는 의사결정	설명 가능성 기법, 모델 문서화
보안과 개인정보 보호	모델과 데이터 보호	학습 데이터 암호화, 적대적 테스트
지속적 모니터링	배포 후 동작	KPI, 이상 징후 탐지, 사람이 검토하는 루프
사고 대응	오작동과 윤리 위반	에스컬레이션 경로, 롤백 및 복구 계획

대부분의 프레임워크는 프로젝트 흐름 밖에 놓여 있어서 실패합니다. AI 거버넌스는 감사, 변경 통제와 나란히 운영 모델 안에 있어야 합니다. 그렇지 않으면 문제가 늦게 드러나고, 그때는 고치기가 더 어렵고 비용도 더 듭니다.

1. 01식별모든 AI 시스템을 목록화
2. 02순위 지정발생 가능성과 영향도 기준
3. 03통제고위험 시스템에 가장 엄격하게
4. 04거버넌스모델마다 지정된 책임자
5. 05모니터링경보와 검증된 사고 대응 계획

핵심 시스템은 매월, 나머지는 분기마다 검토

먼저 목록을 만드십시오. AI 시스템마다 세 가지 질문에 답합니다. 어떤 데이터를 처리합니까? 어떤 의사결정에 영향을 줍니까? 잘못되었을 때 최악의 결과는 무엇입니까?

일반적인 리스크 범주는 다음과 같습니다.

1. 편향성과 공정성. 과거 데이터로 학습한 모델은 그 편향을 물려받습니다. 5년간의 채용 결정이 특정 프로필에 치우쳐 있었다면 모델도 그것을 반복합니다. Reuters가 2018년에 보도한 대로, Amazon은 "women's"라는 단어가 들어간 이력서를 낮게 평가한다는 사실을 발견하고 AI 채용 도구를 폐기했습니다. 예측할 수 있던 일입니다. 배포 전에 기본적인 편향성 감사만 했어도 잡아냈을 것입니다.
2. 보안. 결제, 인사 기록, 계약을 다루는 AI 시스템은 공격 대상입니다. 데이터 포이즈닝, 프롬프트 인젝션, 모델 탈취는 현실의 공격 경로입니다.
3. 컴플라이언스. GDPR, EU AI Act, ISO 42001, HIPAA, 현지 규정이 동시에 적용될 수 있습니다. 규제 당국은 결과물만이 아니라 AI 의사결정의 방법론을 보여 달라고 점점 더 요구합니다.
4. 운영 드리프트. 1분기에 학습한 모델도 데이터 패턴이 달라지면 3분기에는 다르게 동작할 수 있습니다. 고객이 불만을 제기하거나 감사에서 발견되기 전까지는 아무도 알아채지 못합니다.

모든 리스크가 같지는 않습니다. 발생 가능성과 비즈니스 영향도로 순위를 매기십시오.

1. 심각: 재무 승인, 채용 결정, 접근 통제에 영향을 주는 AI입니다. 가장 엄격한 통제, 사람의 감독, 완전한 문서화가 필요합니다.
2. 중간: AI가 추천하고 최종 판단은 사람이 내리는 경우입니다. 통제는 가벼워도 되지만 감사 로그는 여전히 적용됩니다.
3. 낮음: 범위가 제한적이고 사람에게 미치는 영향이 작은 내부 도구입니다. 기본 모니터링과 주기적 검토를 합니다.

EU AI Act 범주를 교차 점검 기준으로 쓰십시오. 채용, 신용, 필수 서비스 접근은 명시적으로 고위험입니다.

편향성. 대표성 있는 학습 데이터를 쓰십시오. 정해진 주기로 인구통계 집단별 결과를 감사하십시오. 개인에 관한 결정, 즉 채용, 대출, 접근 권한에는 사람이 개입하도록 두십시오. 집단 간 승인율 차이를 조사하십시오.

보안. 학습 데이터와 모델 출력을 암호화하십시오. 모델을 변경할 수 있는 사람을 제한하십시오. 조작된 입력으로 동작을 흔들 수 있는지 테스트하십시오. 비정상적인 접근 패턴을 지켜보십시오.

운영 연속성. 시스템마다 정상 상태가 어떤 모습인지 정의한 다음 경보 임계값을 설정하십시오. 사기 차단율, 채용 합격 비율, 공급업체 승인 패턴 같은 지표가 움직이면 월말에 놀라는 대신 경보를 받아야 합니다. 그리고 누군가 시스템을 신속하게 끌 수 있도록 해 두십시오.

AI 거버넌스에는 세 가지가 필요합니다.

1. 지정된 책임자. 모델마다 그 결과물에 책임지는 사람이 한 명 있어야 합니다. 의장이 없는 위원회는 책임자가 없는 것과 같습니다.
2. 감사 추적. AI가 영향을 준 모든 의사결정에는 추적 가능한 기록이 필요합니다. 사용한 데이터, 출력, 그리고 누가 언제 검토했는지입니다.
3. 규제 정렬. 시스템마다 ISO 42001, NIST AI RMF, EU AI Act, GDPR 또는 해당 지역의 동등한 규정에 비추어 점검하십시오. 규정이 바뀌면, 방금 EU 일정이 바뀐 것처럼, 다시 점검하십시오.

이를 SAP 프로그램 안에서 구축한다면, 제 가이드 SAP 구축 프로젝트의 AI 거버넌스가 S/4HANA와 SuccessFactors에서 통제가 어디에 놓이는지 다룹니다.

기업 환경에서 널리 쓰이는 도구는 다음과 같습니다.

도구	주요 초점
Fiddler AI	모델 모니터링, 설명 가능성, 편향 탐지
IBM watsonx.governance (Watson OpenScale 포함)	모델 거버넌스, 편향 및 드리프트 모니터링, 문서화
Microsoft Responsible AI dashboard (Azure Machine Learning)	공정성, 오류 분석, 데이터 불균형
Arthur	성능, 드리프트, 공정성 모니터링
Amazon SageMaker Clarify	학습 및 추론 단계의 편향 탐지

문제가 생겼을 때 즉흥적으로 대응하는 팀은 상황을 더 키웁니다. 사고가 나기 전에 에스컬레이션 경로를 정의하십시오. 누가 연락을 받는지, 모델을 중지하거나 롤백할 권한이 누구에게 있는지, 고객의 데이터가 영향을 받았다면 고객에게 무엇을 알릴지입니다.

AI가 잘 돌아가고 있다고 믿다가, 조용한 오류가 눈덩이처럼 불어 위기가 되고 나서야 허둥대는 기업을 본 적이 있습니다. 서류철에 넣어 두기만 하지 않고 실제로 시험해 본, 문서화된 사고 대응 계획이 그 차이를 만듭니다.

AI 시스템 하나에 한 행을 씁니다. 핵심 시스템은 매월, 나머지는 분기마다 검토하십시오.

항목	기록할 내용	예시
시스템과 책임자	이름, 비즈니스 책임자, 기술 책임자	송장 자동 승인 모델; AP 매니저; 데이터 사이언스 리드
영향을 주는 의사결정	무엇을 결정하거나 추천하는지	기준 금액 미만 송장을 검토 없이 승인
사용 데이터	출처, 개인 데이터, 민감 항목	공급업체 마스터, 송장 라인, 지급 이력
리스크 등급	심각 / 중간 / 낮음; 해당하면 EU AI Act 범주	중간; 부속서 III 해당 없음
주요 리스크	편향, 보안, 컴플라이언스, 드리프트	공급업체 구성이 바뀌면서 생기는 드리프트; 조작된 송장을 통한 사기
통제	테스트, 사람의 검토, 임계값, 킬 스위치	주간 표본 검토; 금액 상한; 승인율 변동 시 경보
모니터링 지표	무엇을 지켜보고 경보 수준은 어디인지	자동 승인율이 정상 범위를 벗어남
사고 연락처	누가 얼마나 빨리 중지할 수 있는지	AP 매니저, 합의된 대응 시간 내
마지막 검토	날짜와 검토자	매월, AI 리스크 위원회

이 레지스터를 소유하는 거버넌스 구조는 제 AI 거버넌스 프레임워크 가이드를 보십시오. 규제 당국이나 감사인이 요구하기 전에 레지스터를 외부에서 검토받고 싶다면, 그것은 제 AI 거버넌스 자문 업무에 포함됩니다.

AI 리스크 관리 프레임워크란 무엇입니까?

AI 시스템이 비즈니스 의사결정에 영향을 줄 때 생기는 리스크를 식별하고, 평가하고, 관리하는 체계적인 프로세스입니다. 모델의 전체 수명 주기를 다루며, 편향, 보안, 컴플라이언스, 운영 드리프트에 대한 통제를 포함합니다.

SAP 환경에서는 구매(공급업체 평가), 인사(지원자 스크리닝), 재무(송장 승인), 공급망(수요 예측)에 쓰이는 모델에 적용됩니다. 이런 시스템은 사람, 돈, 컴플라이언스에 영향을 줍니다.

NIST AI 리스크 관리 프레임워크란 무엇입니까?

미국 국립표준기술연구소(NIST)가 만든 자율 프레임워크로, 2023년 1월 AI RMF 1.0으로 발표되었으며 네 가지 기능으로 구성됩니다.

1. Govern: 정책, 책임, 문화
2. Map: 맥락, 의도한 용도, 잠재적 영향
3. Measure: 편향, 견고성, 설명 가능성, 보안 테스트
4. Manage: 리스크의 우선순위 지정과 처리, 모니터링

2024년 7월 NIST는 Generative AI Profile(NIST AI 600-1)을 추가했습니다. Joule이나 Copilot 같은 어시스턴트를 관리하는 데 가장 유용한 미국 측 참고 자료입니다.

EU AI Act의 고위험 규정은 언제부터 적용됩니까?

2026년 Digital Omnibus 개정 이후, 부속서 III에 열거된 고위험 시스템(채용, 신용 평가, 필수 서비스 접근 등)의 규정은 2027년 12월 2일부터 적용됩니다. EU 제품 안전법이 적용되는 제품에 내장된 고위험 AI는 2028년 8월 2일부터 뒤따릅니다. 금지 사항과 범용 AI 규정은 이미 적용되고 있습니다.

기업 AI의 가장 큰 리스크는 무엇입니까?

1. 편향과 차별: 치우친 과거 데이터는 치우친 결과를 낳습니다
2. 보안: 데이터 포이즈닝, 프롬프트 인젝션, 모델 탈취
3. 컴플라이언스: GDPR, EU AI Act, ISO 42001, 업종별 규정
4. 운영 드리프트: 데이터 패턴이 바뀌면서 정확도가 떨어집니다
5. 설명 가능성 부족: 설명할 수 없는 결정은 규제 당국, 고객, 내부 감사 앞에서 방어하기 어렵습니다

AI 사고 대응 계획에는 무엇이 들어가야 합니까?

사고가 나기 전에 정의해 두어야 할 네 가지가 있습니다.

1. 에스컬레이션 경로: 누가 먼저 통보받는지, 누가 모델을 중지하거나 롤백할 수 있는지, 누가 고객과 소통하는지
2. 차단: 하위 프로세스를 깨뜨리지 않고 시스템을 격리하는 방법
3. 고객 커뮤니케이션: 영향받은 사람들에게 무엇을 언제 알릴지
4. 사후 검토: 근본 원인, 재학습 또는 롤백, 갱신된 통제

적어도 1년에 한 번은 테이블탑 훈련으로 계획을 시험하십시오.