법무법인 태평양 AI팀은 과학기술정보통신부(이하 “과기정통부”)가 공개한 「인공지능기본법」 하위 가이드라인을 차례로 소개하고 분석하는 시리즈 뉴스레터를 보내 드리고 있습니다. 두번째 주제는 「안전성 확보 의무」입니다.
I. 인공지능사업자의 안전성 확보 의무
인공지능사업자는, 학습에 사용된 누적 연산량이 1026 부동소수점 연산 이상인 인공지능시스템으로서 과기정통부 장관이 인공지능 기술 발전 수준, 위험도 등을 고려해 고시하는 기준에 해당하는 인공지능시스템에 대하여, 안전성을 확보하기 위한 조치를 해야 합니다. 인공지능사업자는 이러한 인공지능시스템에 대하여 ① 인공지능 수명주기 전반에 걸친 위험의 식별·평가 및 완화, ② 인공지능 관련 안전사고를 모니터링하고 대응하는 위험관리체계 구축을 해야 합니다{｢인공지능 발전과 신뢰 기반 조성 등에 관한 기본법｣(이하 ”AI기본법”) 제32조 제1항}. 또한 인공지능사업자는 위 사항의 이행 결과를 과기부 장관에게 제출해야 합니다(AI기본법 제32조 제2항).
이때 위험이란 인공지능시스템의 이용에 의하여 사람의 생명·신체의 안전 또는 기본권이 침해되거나 공공의 안전이 위태로워질 가능성(기술적으로 객관적이고 예측가능한 범위 내에 있는 경우로 한정)을 말합니다.
과기정통부는 이러한 안전성 확보 의무에 대한 구체적인 고시(안전성 확보 고시, 이하”안전성 고시”)와 가이드라인(인공지능 안전성 확보 가이드라인, 이하 “안전성 가이드라인”) 초안을 공개하고 업계 등 관계자 의견수렴 절차에 착수했습니다. 아래에서 그 내용을 살펴보겠습니다.
II. 안전성 고시 및 안전성 가이드라인 개요
1. 안전성 확보 의무가 적용되는 시스템 및 의무대상자의 범위
가. 적용 시스템
안전성 확보 의무가 적용되는 인공지능시스템은 아래 요건을 모두 충족하는 것입니다 (안전성 고시 제3조 제2항).
- 학습에 사용된 누적 연산량이 1026 부동소수점 연산 이상. 누적연산량은 인공지능시스템 학습 과정에서 기록된 데이터 및 시스템 로그 등 객관적 지표를 활용하여 산출하되 데이터 전처리, 미세조정 등 모든 학습 관련 연산량을 포괄적으로 반영하여 산출함. 초기 예상이 기준치에 미달하더라도 후속 학습 등으로 누적 연산량이 기준치를 초과하는 경우 요건을 충족함.
- 인공지능 발전 수준을 고려할 때 최첨단 인공지능기술을 적용하여 구성·운영되고 있는 것. 이때 최첨단 기술 적용 여부는 학습 착수 또는 시스템 설계 단계에서 판단하며, 시스템의 아키텍처, 파라미터 규모, 학습 데이터 특성, 활용 목적, 성능 목표, 인공지능 분야의 기술발전수준 등을 종합적으로 고려하여 판단함. 기술 수준은 공개 벤치마크, 국제 평가 지표, 주요 연구기관·기업의 기술 보고서 등 객관적 자료를 근거로 검토함.
- 인공지능시스템의 위험도가 사람의 생명, 신체의 안전 및 기본권에 광범위하고 중대한 영향을 미칠 우려가 있는 경우, 위험성은 학습 착수 또는 시스템 설계 단계에서 위험 식별 및 평가 절차를 통해 구조적으로 판단함.
나. 의무 대상자
AI기본법 제32조 제2항에 따라 인공지능 안전성 확보조치 이행 결과를 제출해야 하는 사업자는 다음과 같습니다(안전성 고시 제3조 제3항).
- 적용 대상 인공지능시스템이 개발되어 타인에게 제공되는 시점부터 안전성 확보 의무 대상에 해당하는 경우 : 해당 인공지능시스템을 개발한 인공지능개발사업자
- 당초 개발된 인공지능시스템은 안전성 확보 의무 대상에 해당하지 않았으나 그 시스템을 실질적으로 변경하여 안전성 확보 의무 대상에 포함된 경우 : 해당 변경을 가한 인공지능개발사업자 또는 인공지능이용사업자
2. 인공지능시스템의 위험을 사전에 식별할 의무
인공지능사업자는 안전성 확보 의무가 적용되는 인공지능시스템의 기획 단계부터 종료·폐기 단계까지 수명주기 전반에 걸쳐 기술적 특성, 오남용 및 악용 가능성을 고려하여 합리적인 범위 내에서 위험을 식별해야 합니다(안전성 고시 제4조).
가. 수명주기 단계별 잠재적 위험
- 기획 단계 : 목적 외 사용 가능성이나 민감 영역 적용 시 위험 발생
- 데이터 수집 단계 : 개인정보 침해, 저작권 침해
- 모델 학습 단계 : 의도하지 않은 패턴 학습, 백도어 삽입
- 배포 단계 : API 보안 설정 오류로 인한 취약점 노출
- 운영 단계 : 성능 저하, 새로운 공격 패턴 출현
- 종료 단계 : 데이터 완전 삭제 실패, 서비스 중단 영향
나. 위험 식별을 위해 고려해야 할 인공지능시스템의 기술적 특성
- 기능적 오류 : 환각 현상(hallucination), 논리적 추론 실패, 불일치 응답
- 데이터 편향 : 집단 차별적 결과, 과거 편견 강화
- 보안 취약점 : 프롬프트 인젝션, 적대적 예제, 모델 추출, 백도어 삽입 등
다. 합리적으로 예상할 수 있는 오남용·악용 가능성
- 의료 AI 결과를 비전문가가 그대로 활용하여 오진 발생
- 법률 AI 답변을 무비판적으로 활용해 법적 문제 발생
- 딥페이크 신원 도용, 자동화된 피싱 공격, 허위정보 조작 캠페인
- 발생 가능성이 극히 낮거나 실행 불가능한 시나리오는 제외할 수 있음. 그러나 이미 유사 사례가 있거나 공개 도구로 쉽게 실행가능한 악용은 반드시 포함해야 함.
라. 위험식별을 체계적으로 수행하기 위한 절차
| (1단계) 준비 | - 범위와 목적 정의, 책임 부서담당자 지정 - 식별 범위(대상 시스템, 평가 기간, 중점 검토 영역) 설정 - TF 구성, 역할과 책임 명시 - 일정 수립(단계별 마일스톤 및 완료 기한) |
|---|---|
| (2단계) 정보 수집 | - 내부 자료 : 모델 설계 문서, 데이터셋 정보, 시스템 로그, 과거 사고 기록 - 외부 자료 : 유사 모델 사례, 규제 가이드라인, 안전 보고서, 전문가 의견 - 수집 방법 : 문서 검토, 인터뷰, 설문조사, 벤치마킹 |
| (3단계) 위험 발굴 | - 필수 방법론 : 관리 후보 위험 목록 또는 위험 분류체계 중 최소 1개 - 선택 방법론 : 시나리오 분석, 위협 모델링, 레드팀 테스트 등 - 최소 기준 : 필수 1개 포함해 총 2개 이상 방법론 병행 |
| (4단계) 기록 관리 | - 표준 양식에 따라 체계적으로 문서화 - 필수 항목 : 고유 식별번호, 위험 명칭, 식별 시점, 현존/잠재 구분 - 추가 항목 : 발생 기능 단계, 영향도, 발생 가능성, 식별 근거, 관련 규제 등 - 원칙 : 명확성, 일관성, 추적가능성 확보 |
| (5단계) 검증 | - 내부 검증 : 위험관리조직 또는 품질보증팀의 교차 검토 - 외부 검증 : 필요시 외부 전문가, 제3자 기관 검토 - 검증 기준 : 누락 위험, 과대·과소 평가 여부, 근거 적정성 |
| (6단계) 갱신 | - 정기 갱신 : 분기별 1회 이상 - 수시 갱신 : 시스템 변경, 신규 위협 발견, 중대 사고 발생 시 - 갱신 내용 : 신규 위험 추가, 기존 위험 재평가, 절차 개선 |
마. 위험 식별 관련 문서 관리 체계
인공지능사업자는 다음 체계에 따라 위험 식별 관련하여 문서화하고 관리하여야 합니다.
| 고유 식별번호 | - 체계적 규칙에 따라 각 위험에 일관된 번호 부여 - 재평가시 동일 번호를 유지하되 버전으로 구분 - 추적 가능성과 이력 관리가 가능해야 함 |
|---|---|
| 위험 명칭 | - 명확하고 직관적인 명칭 사용. 국제적으로 통용되는 용어나 표준 분류체계 활용이 바람직함 - 필요한 경우 정의나 설명 병기하여 모호성 방지 - 조직은 표준 용어집을 유지, 갱신하여 용어 일관성 확보 |
| 식별 시점 | - 최초 발견일 반드시 기록(재검토, 재식별 일자와 경위 포함) - 발견 경로(정기 점검, 사고 발생, 외부 제보 등) 명시 |
| 위험 구분 및 관리 | - 현존 위험은 실제로 확인된 위험으로 즉각적인 대응 계획 수립 - 잠재적 위험은 예측된 위험으로 정기적인 모니터링 계획에 포함 - 정기적(예 : 분기별 1회 이상)으로 위험 목록 갱신, 신규 추가, 삭제, 재평가 등 변경 사유를 기록하여 투명성 확보 |
| 보관 기간 | - 시스템 운영 종료 후 최소 3년 이상 보관 - 관련 법령에서 달리 정한 경우 그에 따름 |
3. 인공지능시스템 위험 평가
인공지능사업자는 안전성 확보 의무가 적용되는 인공지능시스템 관련 위험의 중대성, 관리가능성, 실현가능성 및 그 영향의 심각성, 빈도 등을 평가하고, 이러한 평가 관련 내용을 문서화하여 체계적으로 관리하여야 합니다(안전성 고시 제5조).
가. 평가 항목
| 심각성 (Severity) | 위험이 현실화될 경우 초래하는 피해의 크기(인명 손실, 대규모 재산 피해, 사회적 혼란 등은 높은 심각성으로 평가) |
|---|---|
| 중대성 (Criticality) | 위험이 실현될 경우 사회·경제·윤리적으로 초래할 수 있는 파급력(예 : 생명·신체에 직접적 피해, 핵심 인프라 마비 등은 최고 수준으로 분류) |
| 실현 가능성 (Likelihood/Feasibility) | 위험이 실제로 발생할 수 있는 가능성(발생 빈도, 과거 사고 등 정량적 데이터와 전문가 의견 등 정성적 평가를 병행) |
| 빈도 (Frequency) | 위험이 반복적으로 발생할 가능성(과거 발생 사례, 시스템 로그, 업계 사례 반영) |
| 관리 가능성 (Controllability) | 위험 발생시 통제·대응할 수 있는 정도(예 : 기술적 차단 수단 존재, 인간 개입으로 통제 가능시 관리가능성이 높음) |
나. 문서 관리
| 고유 식별번호 | - 위험 식별 단계에서 생성된 식별 위험 ID를 기초로 연계하여 관리 - 동일 위험에 대해 재검토가 이루어지면 버전 또는 회차 정보를 붙여 기록 - 조직 내 표준화된 ID 체계 사용, 임의 변경 금지 |
|---|---|
| 평가 시점 | - 필수 요소 : 평가가 실제로 이루어진 날짜와 시간 또는 의사결정이 확정된 시점을 기준으로 표기 - 추가 기재 요소 : 평가 주체(부서, 담당자, 외부 참여자 등), 평가 주기 구분(정기 평가, 수시 평가 등) 명기 |
| 평가 방법 | - 평가 체계 (예 : 내부 AI 위험 평가 매트릭스, ISO/IEC 23894) - 평가 지표 (예 : 위험 발생 가능성, 피해 규모 등) - 분석 도구 (예 : 체크리스트, 시뮬레이션 툴, 외부 검증 툴) 등 |
| 평가 결과 | - 위험 수준 등급(예 : 낮음/중간/높음. 1-5단계 수치화) - 대응 우선순위(예 : 즉시 조치, 3개월 내 조치, 모니터링) - 조치 권고사항(예 : 데이터셋 교체, 사용자 안내 강화, 모델 업데이트 등) - 외부 검토 여부(예 : 외부 전문가 검토 완료/미검토 등) |
4. 인공지능시스템 위험 제거·완화
인공지능사업자는 위험하다고 평가된 인공지능시스템의 위험을 수용가능한 수준으로 제거하거나 완화하기 위한 조치를 수립 및 시행하여야 합니다. 그리고 해당 조치가 체계적으로 이행되었음을 입증할 수 있도록 구체적인 내용을 정형화된 방식으로 문서화하고 관리해야 합니다(안전성 고시 제6조).
가. 위험 제거·완화 조치 수립 시 고려사항
인공지능사업자는 인공지능시스템의 위험 제거·완화 조치를 수립할 때, 해당 조치가 실질적인 위험 저감으로 이어지도록 충분한 분석과 우선순위 평가를 해야 합니다. 이를 위해 다음 네 가지 요소를 반드시 고려하여야 합니다.
| 위험평가 결과 및 우선순위 | - 위험평가 항목과 연계하여 우선순위 설정 - 고위험 항목부터 착수, 동일 수준일 경우 취약계층·핵심 인프라에 영향을 미치는 위험을 우선 조치 - 조직의 위험 허용 한계(risk appetite tolerance)를 기준으로 조치 필요성 판단 - 선택 근거 문서화 |
|---|---|
| 조치의 시급성 및 효과 | - 즉시 피해 가능성, 확산 속도, 노출 규모로 시급성 판단 - 위험 감소 폭을 효과의 목표지표로 제시(예 : 레드팀 성공률, Mean Time to Detect, Mean Time to Repair 등) - “高 시급성” x “高 효과” 조치를 최우선 실행 - 성능 저하, 공정성 저하, 가용성 저하 등 부작용을 사전에 평가하여 우선순위 결정에 반영 |
| 실행가능성 (비용·인력·기술적 한계) | - 기술 난이도, 인력·예산, 일정·운영 제약, 규제 준수를 종합 검토 - 일부 버전 배포 후 문제없으면 점진적 확대, 내부 그룹, 베타 사용자 등을 순차적 테스트, 그룹별 통계적 차이에 대한 유의성 검증, 오류율·응답시간·안전성 점수 등에 기초하여 대응계획 수립 등의 전략 검토 - 직접·간접 비용 대비 위험감소 효과에 대한 비용·효익 분석 - 즉시 이행이 곤란한 경우 속도 제한, 범위 축소, 인간 검토 강화 등 임시조치 병행 |
| 조치 후 잔여 위험 수준 | - 잔여 위험을 재평가하여 수용 가능성 판단 - 검증 계획(재평가 지표, 레드팀 재시험, 모니터링 기준 등) 수립 - 목표 수준 사전 설정, 달성 여부로 효과 판정 - 재평가 요인(인공지능시스템의 재학습, 구조 변경, 사고, 시간 경과에 따른 성능 저하 현상 등) 발생 시 즉시 재평가 |
나. 문서 관리
| 고유 식별번호 | - 기존의 위험 식별·평가 단계에서 사용된 번호 체계 유지 - 동일 위험에 대한 식별-평가-대응-사후관리 전 과정을 연속된 체계로 추적 가능 |
|---|---|
| 위험 완화·제거 시행 시점 | - 조치가 실제로 시행된 날짜와 시점을 명확히 기록 - 다단계 조치일 경우 각 단계별 시행일을 구분해 명시 - 조치의 시의성, 효과 분석, 사후 모니터링 주기 설정, 외부 요청에 따른 검증 시 핵심 근거로 사용 가능 |
| 위험 완화·제거 방법 | - 기술적 조치(예 : 기능 제한, 프롬프트 필터링, 알고리즘 교체 등),운영적 조치(예 : 사용자 제한, 응답 거부 설정, API 접근 제어 등), 조직적 조치(예 : 외부 전문가 자문, 위험 검증 절차 등) 조치의 유형과 세부 실행 방안 포함 - 조치에 사용된 기술 구성, 책임자, 검토 과정 등 포함되는 것이 더욱 바람직함 |
| 위험 완화·제거 결과 | - 조치 시행 이후 실제 위험 수준의 변화를 재평가해 명시 - 재평가는 기존 위험 평가 항목을 동일하게 적용하거나 필요시 새로운 항목을 추가해 활용 |
5. 인공지능안전사고 발생시 대응
인공지능시스템의 장애로 인하여 사람의 생명·신체의 안전 또는 기본권에 직접적인 피해가되거나 공공의 안전에 중대한 위해가 되는 안전사고가 발생할 수 있습니다. 인공지능사업자는 이러한 인공지능안전사고를 모니터링하고 대응할 수 있는 위험관리체계를 구축하여야 합니다(안전성 고시 제7조).
인공지능사업자는 인공지능안전사고 발생시 즉시성과 가역성, 최소권한, 완전 기록을 기본 원칙으로 대응하되, 시스템 중단 여부는 사용자 안전과 사회적 영향 관점에서 보수적으로 판단하여야 합니다. 또한 실제 영향을 받는 사용자, 고객, 파트너에게 사고 발생 사실을 안내해야 하며, 동일 기능 사용자에게도 예방적 고지를 해야 합니다. 이때 주의할 사항은 다음과 같습니다.
| 알림 시점 | - 사고 인지 즉시 1차 안내(상태 페이지/인 앱) - 24시간 이내 초기 공지(이메일, 콘솔) - 필요시 7일 이내 상세 공지 |
|---|---|
| 공지 필수 항목 | - 사고 개요(발생·탐지 시각, 영향 기능·버전) - 영향 범위 - 즉시 조치(시스템 중단·축소·롤백·필터 상향) - 사용자 행동 지침 - 지원 창구 - 다음 업데이트 예정 시각 |
| 표현 원칙 | - 미확정 정보는 ‘조사 중’으로 표기 - 추정치는 범위 제시 - 관련 법령 형식 준수 |
| 후속 소통 | - 경과 보고를 심각도에 비례해 정기 시행 - 보상·지원 절차와 이의 제기 경로 명시 |
6. 과기정통부 장관에 대한 문서 제출 의무
인공지능사업자는 본인이 제공하는 인공지능시스템이 안전성 확보 의무가 적용되는 시스템으로 확인된 날부터 3개월 이내에 안전성 고시 제4조부터 제7조까지의 안전성 확보 조치 사항을 문서로 작성하여 과기정통부 장관에게 제출하여야 합니다.
또한 해당 인공지능시스템을 이용한 제품·서비스 제공을 시작한 연도부터 매년 12월 31일까지 위 조치 사항에 대한 문서를 정기적으로 제출하여야 합니다. 다음 사유가 발생한 경우 각 기한 내 문서를 제출해야 하며, 필요시 과기정통부와 협의하여 제출 기간 연장이 가능합니다.
- 인공지능시스템에 대한 실질적 변경에 따라 위험이 증가한 경우 : 변경이 이뤄진 날부터 1개월 이내
- 새롭게 식별된 위험이 발생한 경우 : 위험 발생 인지한 날부터 1개월 이내
- 중대한 인공지능안전사고가 발생한 경우 : 사고가 발생한 날로부터 7일 이내
이러한 문서는 인공지능시스템을 개발한 사업자가 직접 제출하는 것이 원칙이나, 개발 사업자가 국외에 소재한 경우 국내대리인을 통해 제출할 수도 있습니다.
III. 시사점 및 대응
안전성 고시와 가이드라인은, 학습에 사용된 누적 연산량이 1026 부동소수점 연산 이상인 인공지능시스템으로 최첨단 인공지능기술을 적용하여 구성∙운영되고, 그 위험도가 사람의 생명, 신체의 안전 및 기본권에 광범위하고 중대한 영향을 미칠 우려가 있는 인공지능시스템에 적용됩니다. 안전성 고시 및 가이드라인의 적용 대상인 인공지능시스템의 누적 연산량 기준은 EU AI Act가 정한 ‘1025 부동소수점 연산’보다 완화된 것이므로 대상 기업은 개발 또는 서비스를 제공하는 인공지능시스템이 안전성 확보 의무 적용 대상인지를 먼저 확인할 필요가 있습니다. 만일 안전성 확보 의무 적용 대상에 해당한다면, 인공지능시스템 수명주기 전반에 걸쳐 안전성 확보를 위한 조치를 취하여야 합니다.
* * *
법무법인(유한) 태평양의 AI팀은 이와 관련한 탁월한 전문성을 바탕으로 국내외 인공지능 관련 규제의 흐름을 지속적으로 모니터링하고 있으며, 기업들이 AI 기술을 안전하게 활용하면서도 법적 리스크를 최소화할 수 있도록 전방위적 자문과 적극적인 실무 지원을 제공하겠습니다. 이에 대하여 문의사항이 있으시면 언제든지 저희 법무법인으로 연락하여 주시기 바랍니다.
