인사이트뉴스레터

AI기본법 가이드라인 해설 시리즈 (2) : 인공지능사업자의 안전성 확보 의무 관련 고시 및 가이드라인

발행일 · 2025-09-24

법무법인 태평양 AI팀은 과학기술정보통신부(이하 “과기정통부”)가 공개한 「인공지능기본법」 하위 가이드라인을 차례로 소개하고 분석하는 시리즈 뉴스레터를 보내 드리고 있습니다. 두번째 주제는 「안전성 확보 의무」입니다. I. 인공지능사업자의 안전성 확보 의무 인공지능사업자는, 학습에 사용된 누적 연산량이 10 26 부동소수점 연산 이상인 인공지능시스템으로서 과기정통부 장관이 인공지능 기술 발전 수준, 위험도 등을 고려해 고시하는 기준에 해당하는 인공지능시스템에 대하여, 안전성을 확보하기 위한 조치를 해야 합니다. 인공지능사업자는 이러한 인공지능시스템에 대하여 ① 인공지능 수명주기 전반에 걸친 위험의 식별·평가 및 완화, ② 인공지능 관련 안전사고를 모니터링하고 대응하는 위험관리체계 구축을 해야 합니다{「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 ”AI기본법”) 제32조 제1항}. 또한 인공지능사업자는 위 사항의 이행 결과를 과기부 장관에게 제출해야 합니다(AI기본법 제32조 제2항). 이때 위험이란 인공지능시스템의 이용에 의하여 사람의 생명·신체의 안전 또는 기본권이 침해되거나 공공의 안전이 위태로워질 가능성(기술적으로 객관적이고 예측가능한 범위 내에 있는 경우로 한정)을 말합니다. 과기정통부는 이러한 안전성 확보 의무에 대한 구체적인 고시(안전성 확보 고시, 이하”안전성 고시”)와 가이드라인(인공지능 안전성 확보 가이드라인, 이하 “안전성 가이드라인”) 초안을 공개하고 업계 등 관계자 의견수렴 절차에 착수했습니다. 아래에서 그 내용을 살펴보겠습니다. II. 안전성 고시 및 안전성 가이드라인 개요 1. 안전성 확보 의무가 적용되는 시스템 및 의무대상자의 범위 가. 적용 시스템 안전성 확보 의무가 적용되는 인공지능시스템은 아래 요건을 모두 충족하는 것입니다 (안전성 고시 제3조 제2항). 학습에 사용된 누적 연산량이 10 26 부동소수점 연산 이상. 누적연산량은 인공지능시스템 학습 과정에서 기록된 데이터 및 시스템 로그 등 객관적 지표를 활용하여 산출하되 데이터 전처리, 미세조정 등 모든 학습 관련 연산량을 포괄적으로 반영하여 산출함. 초기 예상이 기준치에 미달하더라도 후속 학습 등으로 누적 연산량이 기준치를 초과하는 경우 요건을 충족함. 인공지능 발전 수준을 고려할 때 최첨단 인공지능기술을 적용하여 구성·운영되고 있는 것. 이때 최첨단 기술 적용 여부는 학습 착수 또는 시스템 설계 단계에서 판단하며, 시스템의 아키텍처, 파라미터 규모, 학습 데이터 특성, 활용 목적, 성능 목표, 인공지능 분야의 기술발전수준 등을 종합적으로 고려하여 판단함. 기술 수준은 공개 벤치마크, 국제 평가 지표, 주요 연구기관·기업의 기술 보고서 등 객관적 자료를 근거로 검토함. 인공지능시스템의 위험도가 사람의 생명, 신체의 안전 및 기본권에 광범위하고 중대한 영향을 미칠 우려가 있는 경우, 위험성은 학습 착수 또는 시스템 설계 단계에서 위험 식별 및 평가 절차를 통해 구조적으로 판단함. 나. 의무 대상자 AI기본법 제32조 제2항에 따라 인공지능 안