AI 거버넌스 프레임워크: 책임 있는 AI 계획 세우기

AI 거버넌스 프레임워크는 조직이 AI를 어떻게 사용하는지, 그리고 AI가 잘못되었을 때 무슨 일이 일어나는지를 정하는 책임자, 정책, 통제, 검토의 체계입니다. 의사결정을 자동화하는 모든 시스템을 목록으로 만들고, 영향도에 따라 순위를 매기고, 각 시스템에 책임자 한 명을 지정하고, 리스크에 맞게 통제를 조정하는 방식으로 구축합니다. EU에서 사업을 한다면 일정은 AI Act가 정합니다. 채용이나 신용 평가 같은 시스템에 대한 고위험 규정은 이제 2027년 12월 2일부터 적용됩니다.

기업들은 AI로 입사 지원자를 선별하고, 사기를 탐지하고, 공급망을 관리하고, 가격을 정합니다. 저는 채용 플랫폼이 단지 경력 공백이 있다는 이유로 자격을 갖춘 지원자를 탈락시키는 것을 본 적이 있습니다. 의사결정 시스템이 고객 세그먼트 전체에 잘못된 규칙을 적용하는 것도 본 적이 있습니다. 공통점은 시스템이 어떻게 동작해야 하는지, 그렇지 않을 때는 어떻게 해야 하는지에 대한 명확한 정책을 아무도 정해 두지 않았다는 것이었습니다.

이것은 기술의 실패가 아니라 관리의 실패입니다. 대부분의 기업은 세 가지 기본 질문에 답하지 못합니다.

1. AI를 어떻게 사용할지 누가 승인합니까?
2. 기대한 대로 작동하는지 누가 확인합니까?
3. 잘못되었을 때는 어떻게 합니까?

거버넌스가 그 답입니다. 제대로 하면 일을 늦추지 않습니다. 의존하는 시스템이 책임 있게 사용되도록 보장합니다.

1. 01모든 시스템 목록화의사결정을 자동화한다면 범위에 포함
2. 02영향도 순위 지정채용, 신용, 가격 책정, 고객 스코어링 우선
3. 03책임자 한 명 지정위원회가 아니라 한 사람
4. 04리스크에 맞춰 통제 조정테스트, 사람의 검토 지점, 경보
5. 05정해진 주기로 검토핵심 시스템은 매월, 나머지는 분기마다

실패 사례와 예외 상황을 통제에 반영

소프트웨어 벤더가 컴플라이언스를 알아서 처리한다고 가정하는 팀은 대개 틀립니다. EU AI Act에서는 시스템을 도입해 운영하는 조직에도 고유한 의무가 있습니다.

프레임워크	적용 지역	현황과 요구 사항
EU AI Act	유럽연합	2024년 8월부터 시행 중인 법. 리스크 기반으로 일부 용도는 금지하고, 고위험 시스템에는 의무를 부과하며, 그 밖의 시스템에는 투명성 규칙을 적용
GDPR	유럽연합	사람에게 영향을 미치는 자동화된 의사결정에 대한 적법한 처리 근거, 데이터 최소화, 권리
ISO/IEC 42001	글로벌	2023년 12월에 발표된 인증 가능한 AI 관리 시스템 표준
NIST AI RMF	미국	Govern, Map, Measure, Manage를 기반으로 한 자율 적용 프레임워크
미국 주 법률	미국	포괄적인 연방 AI 법은 없음. 늘어나는 주 법률과 이를 선점하려는 연방 차원의 시도가 있음
싱가포르 Model AI Governance Framework	싱가포르	설명 가능성과 책임성에 관한 자율 적용 지침
OECD AI 원칙	OECD 회원국	구속력 없는 국제 원칙

캐나다가 제안한 인공지능 및 데이터법(Artificial Intelligence and Data Act)은 2025년 1월 의회가 정회되면서 폐기되었으므로 이 목록에는 더 이상 포함되지 않습니다.

2026년 Digital Omnibus 이후의 EU AI Act 일정

EU는 2026년 7월 Digital Omnibus on AI(Regulation (EU) 2026/1744)를 통해 AI Act를 개정하면서 고위험 규정의 적용을 늦췄습니다. 아래는 유럽 집행위원회의 AI Act 일정에 따른 현재 날짜입니다.

날짜	적용되는 내용
2024년 8월 1일	AI Act 발효
2025년 2월 2일	금지 관행과 AI 리터러시 의무
2025년 8월 2일	범용 AI 모델 규정, 각국 감독 당국과 과징금
2026년 8월 2일	제50조 투명성 의무를 포함한 나머지 규정 대부분, 집행 시작
2026년 12월 2일	동의 없는 성적 딥페이크와 아동 학대 콘텐츠에 대한 새로운 금지
2027년 12월 2일	고용, 신용 평가, 필수 서비스 등 부속서 III 시스템에 대한 고위험 규정
2028년 8월 2일	EU 제품 안전법이 적용되는 제품에 내장된 AI(부속서 I)에 대한 고위험 규정

연기는 시간을 벌어 줍니다. 해야 할 일이 사라지는 것은 아닙니다. 지원자 선별이나 신용 평가에 AI를 쓴다면, 2027년 12월에 필요한 문서화, 사람의 감독, 모니터링을 갖추는 데는 대부분의 팀이 예상하는 것보다 더 오래 걸립니다. 이런 시스템을 구매한다면 지금 벤더에게 고위험 요건을 어떻게 충족할 것인지 물어보십시오.

1. 범위와 정책

무엇보다 먼저 시스템이 어디에서 의사결정을 하고 있는지 찾으십시오. 대부분의 팀은 이 단계를 건너뛰거나 IT에 목록이 있다고 가정합니다. 대개는 없습니다.

부서별로 하나씩 살펴보십시오. 지원자를 걸러 내거나, 거래를 승인하거나, 고객에게 점수를 매기는 도구를 보십시오. 의사결정을 자동화한다면 누가 AI라고 부르든 아니든 범위에 포함됩니다. SAP를 운영한다면 Joule이나 내장 예측 시나리오처럼 이미 켜 둔 AI 기능도 포함하십시오.

그다음 사람들이 실제로 따를 수 있는 쉬운 말로 정책을 쓰십시오. "우리는 윤리적인 AI 사용을 우선시합니다"는 정책이 아닙니다.

2. 책임자 지정

시스템이 아무리 잘 작동해도 결과에 책임지는 사람이 있어야 합니다. 책임을 나누면 아무도 움직이지 않습니다.

시스템마다 한 명의 책임자를 지정하십시오. 실제로 그 시스템을 사용하고, 주요 변경을 승인하고, 문서를 관리하고, 문제가 생기면 답하는 사람입니다. 민원이 접수된 뒤 누가 시스템을 일시 중지할 수 있는지도 미리 정해 두십시오.

제가 함께 일한 한 회사에서는 세 사람이 각자 다른 누군가가 책임자라고 생각하고 있었습니다. 그 결과 아무도 다루지 않은 핵심 이슈를 두고 몇 달간 침묵이 이어졌습니다.

3. 리스크 평가와 통제

모든 시스템에는 리스크가 있습니다. 중요한 것은 그 리스크가 눈에 보이는가입니다.

일반적인 리스크 목록을 빌려 오지 마십시오. 우리 시스템이 지원자를 부당하게 탈락시킬 수 있는지, 잘못된 가격을 추천할 수 있는지, 고객을 잘못 분류할 수 있는지 물어보십시오. 그런 다음 통제를 만드십시오. 배포 전 테스트, 운영 중 수동 검토 지점, 결과가 예상 범위를 벗어날 때의 경보입니다. 각 리스크 정책에 현실적인 시나리오를 두세 개 넣으면 사람들이 그 정책이 왜 있는지 이해합니다.

4. 모니터링과 감사

시스템은 변합니다. 입력 데이터가 달라지고, 업데이트가 동작을 바꿉니다. 한 재무팀이 추천 도구에서 조용히 발생한 오류를 겪은 일이 기억납니다. 알아채는 데 2주가 걸렸습니다. 정기 감사가 한 번만 있었어도 이틀째에 잡았을 것입니다.

정해진 검토 주기를 두십시오. 핵심 시스템은 매월, 나머지는 분기마다입니다. 제가 함께 일한 한 팀은 한 달에 한 번 샘플 결과 몇 건을 검토하는 것만으로 중대한 가격 오류를 잡아냈습니다. 실패 사례와 예외 상황을 기록하고 통제에 반영하십시오.

5. 투명성

시스템과 함께 일하는 사람들, 그리고 규제 영역에서는 시스템의 영향을 받는 사람들도 그 시스템이 무엇을 하는지 이해해야 합니다. 입력과 의사결정을 쉬운 말로 설명하십시오. 강점뿐 아니라 한계도 문서로 남기십시오. 시스템을 과대 포장하면 오용으로 이어집니다.

6. 교육

모든 것이 문서화되어 있어도 사람들은 일상적으로 쓰는 과정에서 실수를 합니다. 기술 인력뿐 아니라 업무 사용자를 교육하십시오. 자사의 데이터와 사례로 하십시오. 제가 함께 일한 한 HR 팀은 과거 지원자 선별에서 나온 실제 피드백을 활용해 1년에 두 번 30분짜리 리프레셔 교육을 진행했습니다. 복잡할 것은 없었지만, 사용자들이 자신감과 책임감을 느끼는 데 도움이 되었습니다.

가장 유용한 첫 산출물은 레지스터입니다. 제가 본 가장 효과적인 프레임워크 중 일부는 스프레드시트에서 시작해 거기서 커졌습니다. 시스템마다 다음을 기록합니다.

1. 시스템과 목적: 무엇을, 누구를 위해 결정하거나 추천하는지.
2. 책임자: 지정된 한 사람과 대리인.
3. 리스크 등급: 예를 들어 높음(사람들의 일자리, 돈, 서비스 접근에 영향), 중간, 낮음. 해당하면 EU AI Act 범주도 함께 기록.
4. 사용 데이터: 출처, 포함된 개인 데이터, 동의와 보존.
5. 벤더 제공 또는 자체 개발: 그리고 벤더가 제공하는 문서.
6. 통제: 배포 전 테스트, 사람의 검토 지점, 경보.
7. 검토 주기: 매월, 분기, 연간 중 무엇인지, 그리고 마지막 검토 날짜.
8. 사고 경로: 누구에게 알리고, 누가 일시 중지할 수 있으며, 사용자에게 어떻게 알리는지.

영향이 큰 시스템부터 채우십시오. 채용, 가격 책정, 신용, 고객 스코어링입니다. 리스크가 낮은 내부 도구는 나중에 해도 됩니다.

영향이 큰 활용 사례부터 시작하십시오. 한 회사에서는 자동화 도구가 모호한 이유로 입사 지원자를 걸러 내고 있었습니다. 민원이 여러 건 들어온 뒤에야 문제를 알았습니다. 검토 세션 한 번이면 일찍 잡을 수 있었습니다.

감독 수준은 리스크에 맞추십시오. 제가 함께 일한 한 팀은 사내 챗봇에 가격 책정 엔진과 같은 깊이의 검토를 적용했습니다. 거버넌스 팀은 지쳤고, 큰 이득 없이 개발만 느려졌습니다.

결정은 내린 시점에 문서화하십시오. 나중에 채워 넣는 문서는 사람들이 맥락을 잊어서 실패합니다. 날짜를 적은 한 쪽짜리 의사결정 메모를 모아 둔 공유 폴더가 아무도 업데이트하지 않는 정교한 시스템보다 낫습니다.

완벽한 프레임워크를 기다리지 마십시오. 아무도 쓰지 않게 된 정책 문구를 몇 달 동안 다듬는 팀을 본 적이 있습니다. 규칙 하나, 책임자 한 명, 검토 주기 하나로 시작한 다음 조정하십시오.

저항을 예상하고 답하십시오. 도구를 쓰는 팀에게 거버넌스는 관료주의처럼 보입니다. 그들이 신경 쓰는 것과 연결하십시오. 고객의 신뢰, 피한 과징금, 막아 낸 공개적 실패입니다.

감독 없는 자동화된 의사결정은 빠르고 값비싸게 실패할 수 있습니다. 2012년 Knight Capital의 자동 주문 라우터는 결함이 있는 코드를 실행하다가 45분 동안 400만 건이 넘는 주문을 쏟아냈고, 이 회사는 4억 6,000만 달러가 넘는 손실을 입었습니다(SEC). Amazon은 여성 단체를 언급한 이력서에 불이익을 준다는 사실을 발견하고 실험 중이던 채용 도구를 폐기했습니다. 더 조용한 실패가 더 흔합니다. 민원이나 감사에서 발견될 때까지 시스템이 몇 달 동안 서서히 어긋납니다.

ISO/IEC 42001은 AI 관리 시스템에 대한 인증 가능한 표준으로 2023년 12월에 발표되었습니다. NIST의 AI Risk Management Framework는 미국 조직 대부분이 쓰는 자율 적용 참조 프레임워크입니다. 개인에게는 IAPP의 Artificial Intelligence Governance Professional(AIGP) 자격이 가장 잘 알려진 자격입니다.

IBM watsonx.governance, Fiddler AI, Azure Machine Learning의 Responsible AI 대시보드 같은 전용 도구도 있습니다. 대부분의 조직에는 실질적인 출발점이 더 단순합니다. 위의 레지스터, 로깅, 접근 통제, 검토 주기입니다. 리스크 점수화를 더 깊이 다룬 내용은 제 AI 리스크 관리 프레임워크 가이드를 참고하십시오. AI가 SAP 안에서 돌아간다면 SAP 구축 시의 AI 거버넌스 글에서 SAP 고유의 통제를 다루고, AI 거버넌스 프레임워크 페이지에서는 제가 조직이 이를 도입하도록 돕는 방식을 설명합니다.

AI 거버넌스 프레임워크란 무엇입니까?

조직이 AI를 어떻게 사용하는지, 시스템을 어떻게 테스트하고 모니터링하는지, 문제가 생기면 어떻게 하는지를 정하는 책임자, 정책, 통제, 검토 주기의 체계입니다. 또한 규제 당국과 영향을 받는 사람들에게 의사결정을 설명할 수 있게 해 줍니다.

EU AI Act의 고위험 규정은 언제부터 적용됩니까?

Digital Omnibus on AI(Regulation (EU) 2026/1744) 이후, 고용, 신용 평가, 필수 서비스에 쓰이는 AI 같은 부속서 III 시스템의 고위험 규정은 2027년 12월 2일부터 적용됩니다. EU 제품 안전법이 적용되는 제품에 내장된 AI의 고위험 규정은 2028년 8월 2일부터 적용됩니다. 금지 관행은 2025년 2월부터, 투명성 의무는 2026년 8월부터 적용되고 있습니다.

SAP 환경에서 AI 거버넌스가 중요한 이유는 무엇입니까?

SAP 시스템에는 이제 의사결정을 하거나 의사결정에 영향을 미치는 AI가 들어 있습니다. Joule, 재무와 공급망의 예측 시나리오, HR의 지원자 선별이 그 예입니다. 편향되거나 잘못된 결과가 누군가 알아채기 전에 통합된 프로세스 전반으로 퍼질 수 있습니다. 거버넌스는 이런 기능이 대체한 수작업 프로세스와 같은 수준의 책임을 지도록 합니다.

AI 거버넌스는 누가 책임집니까?

여러 기능이 함께합니다. 컴플라이언스, IT와 보안, 데이터 팀, 법무와 리스크, 경영진입니다. 가장 중요한 구조적 결정은 AI 시스템마다 책임자 한 명을 두는 것입니다. 위원회가 아니라 한 사람입니다.

AI 거버넌스에는 어떤 인증이 있습니까?

조직에는 ISO/IEC 42001이 인증 가능한 AI 관리 시스템 표준입니다. NIST AI RMF는 인증이 아니라 자율 적용 프레임워크입니다. 개인에게는 IAPP의 AIGP 자격이 가장 잘 알려진 AI 거버넌스 자격입니다.

AI 거버넌스를 무시하면 어떻게 됩니까?

눈에 보이는 실패로는 여성에게 불이익을 준 채용 도구를 폐기한 Amazon, 결함 있는 자동 거래 시스템으로 45분 만에 4억 6,000만 달러가 넘는 돈을 잃은 Knight Capital이 있습니다. 더 흔한 실패는 조용합니다. 시스템이 몇 달 동안 어긋나는데 민원이나 감사가 있기 전까지 아무도 알아채지 못합니다.