법무법인 태평양 AI팀은 과학기술정보통신부(이하 “과기정통부”)가 공개한 「인공지능기본법」 하위 가이드라인을 차례로 소개하고 분석하는 시리즈 뉴스레터를 보내드리고 있습니다. 세 번째 주제는 「고영향 인공지능 판단」으로, 본 호에서는 고영향 인공지능 판단 가이드라인(이하 “본 가이드라인”)의 주요 내용과 의미를 살펴봅니다.
I. 고영향 인공지능의 정의 및 판단 기준
고영향 인공지능이란 (i) 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서, (ii) 특정 영역(이하 I. 1. 참조)에서 활용되는 것을 의미합니다(「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 “법”) 제2조 제4호). 고영향 인공지능에 해당할 경우, 이를 이용하여 제품이나 서비스를 제공하려는 자는 고영향 인공지능에 기반하여 서비스 등이 운용된다는 사실을 이용자에게 사전에 고지하여야 하고, 신뢰성 및 안전성확보조치를 갖춰야 한다는 점에서 그 정확한 판단이 중요합니다.
1. 1단계 조건
다음 중 어느 하나의 영역에서 사용되어야 합니다.
| 구분 | 사용 영역 |
|---|---|
| 에너지 | 「에너지법」에 따른 에너지의 공급 |
| 먹는물 | 「먹는물관리법」에 따른 먹는물의 생산 공정 |
| 보건의료 | 「보건의료기본법」에 따른 보건의료의 제공 및 이용체계의 구축·운영 |
| 의료기기 | 「의료기기법」에 따른 의료기기 및 「디지털의료제품법」에 따른 디지털의료기기의 개발 및 이용 |
| 원자력 | 「원자력시설 등의 방호 및 방사능 방재 대책법」에 따른 핵물질과 원자력시설의 안전한 관리 및 운영 |
| 범죄 수사·체포 | 범죄 수사나 체포 업무를 위한 생체인식정보의 분석·활용 |
| 채용, 대출 심사 등 | 채용, 대출 심사 등 개인의 권리·의무 관계에 중대한 영향을 미치는 판단 또는 평가 |
| 교통 | 「교통안전법」에 따른 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영 |
| 공공서비스 | 공공서비스 제공에 필요한 자격 확인, 결정 또는 비용징수 등 국민에게 영향을 미치는 국가기관등의 의사결정 |
| 교육 | 「교육기본법」에 따른 유아교육ㆍ초등교육 및 중등교육에서의 학생 평가 |
2. 2단계 조건
1단계의 특정 영역에서 활용되는 인공지능시스템이, 2단계 조건인 “사람의 생명, 신체의 안전 및 기본권의 보호에 중대한 영향을 미치거나 위험을 초래할 우려”가 있는 경우 고영향 인공지능에 해당하게 됩니다. 중대한 영향 및 위험성 판단에 있어서는 인공지능시스템의 의도된 목적, 기능, 활용 맥락을 다각도에서 검토하여야 합니다. 특히 위험의 중대성은 해당 권익의 본질적 속성과 위험의 증가 정도를 종합적으로 고려하여 판단합니다. 이를 위해서는 위험 평가 시 측정 방법 및 지표를 활용하는 것이 바람직하나, 지표에 전적으로 의존하는 것 보다 인공지능시스템의 목적·기능과 활용 맥락(긍정적 효과, 사회적 수용성 등)을 균형 있게 고려해야 합니다.
II. 영역별 권익 및 인공지능이 중대한 영향을 미치거나 위험을 초래하는 경우
본 가이드라인에서 제시하는 영역별 고영향 인공지능의 주요 판단 기준, 해당 사례와 비해당 사례를 정리하면 다음과 같습니다.
| 구분 | 생명, 신체의 안전 및 기본권과의 관련성 | 인공지능이 중대한 영향을 미치거나 위험을 초래하는 경우 |
|---|---|---|
| 에너지 | 안정적이고 균등한 에너지 공급은 재산권, 경제활동의 자유 등과 관련 | 전력망 제어 인공지능의 오작동으로 인해 대규모 정전이 발생하여 병원 및 산업시설 등의 기능이 마비되고 생명∙안전에 피해 발생 |
| 먹는물 | 먹는물의 공급은 국민의 생명∙신체의 안전, 환경권, 보건권과 직결 | 수질 관리 인공지능의 오판으로 오염수가 공급되는 경우 다수 국민의 음용 시 생명∙신체에 피해 발생 |
| 보건의료 의료기기 | 질병의 진단, 치료, 의료기기 등은 환자의 생명∙신체의 안전, 보건권에 영향 | 의료진의 개입 없는 진단 인공지능의 오진으로 치료 시기를 놓쳐 환자의 신체∙건강에 직접적 피해 발생 |
| 원자력 | 원자력시설의 안전은 주변 주민과 종사자의 생명∙신체의 안전, 환경권, 보건권과 직결 | 원자력시설 제어 인공지능의 오작동∙해킹으로 방사능이 유출되거나 안전시설 운영이 저해되어 대규모 인명 피해 우려 |
| 범죄 수사 및 체포 | 생체인식정보의 수집∙분석은 정보주체의 신체의 자유, 사생활의 비밀, 개인정보자기결정권과 관련 | 생체정보 분석 인공지능의 오류로 무고한 사람을 범인으로 특정하여 부당한 수사∙체포 및 기본권 침해 발생 |
| 채용 | 채용 지원자 또는 임직원의 직업선택의 자유, 노동권, 평등권과 관련 | 편향된 채용 인공지능이 실질적인 인사권자의 개입 없이 지원자를 부당하게 탈락시켜 평등권 및 채용 기회 박탈 |
| 대출심사 | 금융소비자의 평등권, 재산권, 인간다운 생활을 할 권리와 관련 | 편향된 신용평가 인공지능이 오판함으로써 특정 금융소비자를 부당하게 차별하여 대출 기회를 박탈하고 재산권을 침해 |
| 교통: 차 | 탑승자 또는 보행자의 생명∙신체의 안전, 이동권과 직결 | 자율주행 인공지능이 회피 기동을 하지 못하여 교통사고 발생 시 탑승자 또는 보행자의 생명∙신체의 안전과 재산권을 침해 |
| 교통: 선박 | 자율운항선박 기술 인공지능이 오작동 또는 항로설정의 오판으로 탑승객의 생명∙신체의 안전에 위험 초래 | |
| 교통: 항공 | 항공기 운항 및 교통관제 인공지능이 오작동으로 인해 활주로 진입 시점을 부적절하게 조정하는 경우 생명∙신체에 직접적 피해 | |
| 교통: 철도 | 철도차량 운전 인공지능이 오작동으로 신호체계를 잘못 해석하는 경우 생명∙신체의 안전에 영향을 미치거나 위험 초래 | |
| 공공서비스 | 모든 국민이 필요에 따라 평등하게 공공서비스를 제공받을 권리(평등권)과 관련 | 공공서비스 수혜 자격 심사 인공지능의 오류로 적격자를 부당하게 배제하여 사회적 기본권을 직접 침해 |
| 교육 | 모든 국민이 능력에 따라 균등하게 교육받을 권리 및 교육에서의 평등권과 관련 | 편향된 기준을 가진 학생 평가 인공지능이 학습 기회를 부당하게 박탈하고 공정한 평가를 받을 권리를 침해 |
III. 시사점 및 대응
본 가이드라인은 인공지능을 활용하는 기업들에게 다음과 같은 대응이 필요함을 시사하고 있습니다.
첫째, 전사적인 인공지능 활용 현황 점검 및 자율 진단이 요구됩니다. 자사의 제품 또는 서비스에 활용되는 인공지능시스템이 본 가이드라인의 세부 기준에 따라 고영향 인공지능에 해당하는 지 여부를 우선 자체적으로 진단하는 절차가 필요합니다. 자체적인 판단이 어려운 경우 과기정통부에 고영향 인공지능 해당 여부 확인을 요청할 수 있다는 점을 참고하시기 바랍니다(법 제33조).
둘째, 컴플라이언스 체계의 구축이 필요합니다. 고영향 인공지능을 활용하는 사업자에 해당하는 경우, 위험관리방안 및 이용자 보호 방안의 수립∙운영, 인공지능 도출 결과 및 학습용데이터에 대한 설명가능성 확보, 인적 개입 등의 의무를 이행하기 위한 내부 정책과 프로세스를 구축하여야 하며, 관련 내용을 체계적으로 문서화하고 관리하는 역량도 보유하여야 합니다(법 제34조). 이와 관련한 구체적인 내용은 본 가이드라인과 함께 공개된 「고영향 인공지능 사업자 책무 가이드라인」을 참고하실 수 있습니다.
* * *
법무법인(유한) 태평양의 AI팀은 이와 관련한 탁월한 전문성을 바탕으로 국내외 인공지능 관련 규제의 흐름을 지속적으로 모니터링하고 있으며, 기업들이 AI 기술을 안전하게 활용하면서도 법적 리스크를 최소화할 수 있도록 전방위적 자문과 적극적인 실무 지원을 제공하겠습니다. 이에 대하여 문의사항이 있으시면 언제든지 저희 법무법인으로 연락하여 주시기 바랍니다.
