법무법인 태평양 AI팀은 과학기술정보통신부(이하 “과기정통부”)가 공개한 「인공지능기본법」 하위 법령 및 가이드라인을 차례로 소개하고 분석하는 시리즈 뉴스레터를 보내 드리고 있습니다. 네번째 주제는 「고영향 인공지능사업자의 책무」입니다.
I. 고영향 인공지능과 관련한 사업자 책무
사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서 에너지, 보건의료, 원자력, 교통, 교육 등 특정 영역에서 활용되는 AI 시스템은 고영향 AI에 해당하고(AI 기본법 제2조 제4호), 고영향 AI에 대하여는 다음 각 호의 조치와 관련된 사항을 홈페이지 등에 게시하여야 합니다(AI 기본법 제34조 제1항 및 시행령(안) 제26조).
[사업자 책무 관련 사항]
| 호 | 법률 규정 사항 | 시행령(안) 구체화 내용 |
|---|---|---|
| 제1호 | 위험관리방안의 수립·운영 | 위험관리방안의 주요 내용(내부 정책, 조직 등) |
| 제2호 | 결과 도출 주요 기준, 학습용데이터의 개요 등에 대한 설명방안 수립·시행 | 설명 방안의 주요 내용 (설명·안내 절차, 설명가능한 주요 안내 사항 등) |
| 제3호 | 이용자 보호방안의 수립·운영 | 이용자 보호방안의 내용 |
| 제4호 | 사람의 관리·감독 | 관리·감독자의 성명 및 연락처 |
| 제5호 | 문서의 작성 및 보관 | 문서 작성사항(위 4개 항목), 게시방법 및 보관 기간(5년) |
중복 규제 방지를 위해 개발사업자가 의무 이행 시 이용사업자의 의무는 이행한 것으로 간주하고(시행령(안) 제26조 제2항), 타법상 동일·유사 조치 이행시 AI기본법상 의무는 이행한 것으로 간주합니다(시행령(안 제26조 제5항).
과기정통부는 고영향 인공지능의 신뢰·안전 확보를 위해 사업자책무에 대한 구체적인 고시(이하 “사업자책무 고시”)와 가이드라인(이하 “고영향 인공지능 사업자책무 가이드라인”) 초안을 공개하고 업계 등 관계자 의견수렴 절차에 착수했습니다. 아래에서 그 내용을 살펴보겠습니다.
II. 사업자책무 고시(안) 개요 및 주요 내용
• (위험관리방안의 수립·운영) 위험관리방안 수립·운영 시 위험관리정책 및 위험관리 조직체계를 수립·운영하도록 규정함(책무 고시(안) 제4조 제1항). 이에 따라 사업자는 위험관리방안을 문서로 작성하여 관리하고, 인공지능시스탬의 수명주기의 모든 과정에서 이를 준수해야 하며, 위험관리방안을 주기적으로 점검·갱신하고 그 변경 내역을 관리해야 함(책무 고시(안) 제4조 제2항, 제3항).
• (인공지능 및 그 학습용데이터 등에 대한 설명 방안의 수립·시행) 인공지능의 투명성 및 설명가능성을 확보하고, 학습용데이터의 설명 방안은 ‘학습용데이터에 관한 정보의 체계적 관리에 관한 내용’을 포함하도록 하고, 홈페이지 게시 등으로 구체적인 설명 방안을 정하고 있음(책무 고시(안) 제5조).
• (이용자 보호방안의 수립·운영) 개발 과정에서는 안전하고 적법한 데이터 수집 및 관리, 안전한 알고리즘 설계 및 모델 개발, 예외적인 상황을 고려한 시험 및 평가 수행 등의 조치를 포함하여야 하고(책무 고시(안) 제6조 제1항), 운영 과정에서는 모니터링 및 대응방안 수립, 이용자의 의견 수렴 및 이에 기반한 지속적인 개선절차, 이용자의 권리 보장 및 피해 발생 시 이를 보상할 수 있는 방안 등을 포함해야 함(책무 고시(안) 제6조 제2항)
• (사람의 관리·감독) 개발 과정에서 사람이 인공지능 동작에 개입할 수 있는 기준을 확립하고, 긴급 정지 등의 개입 방법을 마련해야 하며(책무 고시(안) 제7조 제1항), 운영 중에는 성능저하 및 오류 발생에 대한 정기적인 점검계획 및 방안을 마련하고, 인공지능의 범위 및 수행능력에 대한 이해도를 향상시키기 위한 교육 및 훈련을 제공해야 함(책무 고시(안) 제7조 제2항).
• (안전성·신뢰성 확보 조치 내용을 확인할 수 있는 문서의 작성·보관) 고영향 인공지능의 안정성·신뢰성 확보의무 준수를 위한 문서를 안전신뢰문서로 정의하면서 인공지능사업자는 이를 문서로 작성하여 관리하여야 하고, 주기적으로 점검하고 최신의 기술, 방법론 등이 적용될 수 있도록 규정함(책무 고시(안) 제8조 제1항, 제2항).
III. 사업자책무 가이드라인(안) 개요 및 주요 내용
| 구분 | 주제 | 세부 내용 |
|---|---|---|
| 위험관리방안의 수립‧운영 (제1호) | 위험관리정책 수립 및 이행 | - 인공지능 위험관리 담당 조직 및 인력을 중심으로 위험관리 계획을 수립하고, 위험을 식별해야 함 - 식별된 위험으로 인해 발생가능한 결과를 분석 및 평가하고, 그 결과에 따라 위험 요소별로 위험을 처리하는 적절한 조치를 채택해야 함 - 인공지능 수명주기 동안 위험관리정책을 조직 내·외부 변화에 대응시키고 지속적으로 개선해야 함 |
| 위험관리 조직체계 수립 및 운영 | - 위험을 관리하는 담당조직을 구성하거나 조직 내 위험관리를 담당하는 인력을 지정해야 함 - 개발사업자는 이용사업자 및 이용자에게, 이용사업자는 이용자에게 인공지능 위험과 관련된 충분한 정보를 제공하기 위해 노력해야 함 - 위험관리 담당 조직 또는 인력은 해당 위험 분야에 대한 전문성을 갖춘 조직 및 직원과 긴밀히 협력해야 함 | |
| 설명 방안의 수립‧시행 (제2호) | 인공지능이 도출한 최종결과 및 기준에 대한 근거 마련 | - 인공지능의 투명성 및 설명가능성을 확보하고, 가능한 범위에서 설명가능성을 높이기 위한 다양한 기술적 조치를 마련해야 함 - 인공지능에 사용되는 학습용데이터의 일반적 내용과 함께 형식, 수량, 크기, 수집 및 전처리 방식 등의 정보를 정의하여 관리해야 함 - 위에서 수립된 내용을 근거로 이용자에게 설명하는 방안을 수립하고, 수립된 설명 방안을 근거로 이용자에게 이를 전달해야 함 |
| 이용자보호방안 (제3호) | 인공지능 개발 단계 | - 데이터 수집 시 이용자 보호를 위해 적법한 절차대로 데이터를 수집 및 관리하고, 이 과정에서 데이터 유출 및 오용 방지를 위한 기술을 적용해야 함 - 알고리즘 설계 및 모델 개발 시, 이용자 보호를 위해 안전하게 개발해야 함 - 다양하고 예외적인 시나리오를 포함하여 시험을 수행하고 이 결과를 평가하여 이용자 보호에 대비해야 함 |
| 인공지능 운영 단계 | - 인공지능 운영 중 발생할 수 있는 문제를 실시간으로 모니터링 할 수 있는 기술적 기반을 마련하고, 안전제약(사전설정된 목적·범위) 등의 대응 절차를 마련해야 함 - 이용자의 불만, 의견을 수렴하고 개선 요구를 반영하여 지속적으로 인공지능을 업데이트해야 함 - 이용자 권리 보장을 위한 체계 및 보호 정책을 수립하고 이를 이용자에게 안내해야 함 | |
| 고영향AI에 대한 사람의 관리‧감독 (제4호) | 인공지능 개발 단계 | - 사람이 인공지능 동작에 개입할 수 있는 기준(예: 의도한 목적과 다른 성능 또는 결과)을 정의해야 함 - 사람이 인공지능 동작에 개입할 수 있는 방법을 수립해야 함 |
| 인공지능 운영 단계 | - 인공지능의 성능저하 및 오류 발생을 예방할 수 있도록 정기적인 점검 계획 및 방안을 마련해야 함 - 인공지능의 범위 및 수행능력에 대한 이해도를 향상시키기 위한 교육 및 훈련 방안을 제공해야 함 | |
| 문서의 작성‧보관 (제5호) | - 위 책무사항에 관한 문서(전자문서 포함) 작성 및 주기적 점검, 최신 기술‧방법론이 적용되도록 관리해야 함 |
IV. 시사점 및 대응
사업자책무 고시(안) 및 가이드라인(안)은 고영향 인공지능 사업자에게 위험관리방안, 설명방안, 이용자보호방안 마련, 문서 관리 등 구체적이고 실무적인 의무를 부과함으로써 기업 전반의 AI 거버넌스 체계를 새롭게 정비할 것을 요구하고 있습니다. 이에 따라 AI 개발 및 활용에 있어 신뢰성 확보와 책임 있는 운영이 기업 경쟁력의 중요한 요소로 부각될 전망입니다.
기업은 AI 개발 및 활용 전 과정에 걸쳐 위험요인을 체계적으로 파악하고 관리하기 위한 리스크 맵과 사전 평가 절차를 마련하고, 내부 감사나 리스크위원회와 연계한 상시 모니터링 체계를 구축할 필요가 있습니다. 관련 법령상 기준과 절차를 사전에 명확히 정의하여 매뉴얼화하고, 이를 정기 교육과 훈련을 통해 내재화하는 등 컴플라이언스를 강화해야 할 것입니다.
* * *
법무법인(유한) 태평양의 AI팀은 이와 관련한 탁월한 전문성을 바탕으로 국내외 인공지능 관련 규제의 흐름을 지속적으로 모니터링하고 있으며, 기업들이 AI 기술을 안전하게 활용하면서도 법적 리스크를 최소화할 수 있도록 전방위적 자문과 적극적인 실무 지원을 제공하겠습니다. 이에 대하여 문의사항이 있으시면 언제든지 저희 법무법인으로 연락하여 주시기 바랍니다.
