I. EU 인공지능법(The Artificial Intelligence Act) 시행 예정
인공지능에 관한 세계 최초의 포괄적인 법안인 “인공지능법(the Artificial Intelligence Act)”(이하 “EU 인공지능법”)이 2024. 5. 21. EU 이사회에 의해 최종 승인되었고, 효력발생일(EU 관보 게재 후 20일 후)로부터 6개월 후 위험 단계별로 순차적으로 시행되어 2026. 6.경 전면 시행될 예정입니다.
EU 인공지능법은 조항에 따라 그 시행 예정일이 따라 6개월 내지 36개월 후까지 상이하지만, 한국 내에 인공지능 시스템을 구축하더라도 그에 따른 서비스나 산출물 등을 EU 내에 제공하는 경우에 적용될 수 있으므로 EU 인공지능법 적용여부 및 의무사항을 점검할 필요가 있습니다.
EU 인공지능법은 잠재적인 위험 및 영향 수준에 따라 인공지능 시스템을 (1) 금지된 인공지능 시스템(Prohibited AI Systems), (2) 고위험 인공지능 시스템(High-risk AI Systems), (3) 범용 AI (General purpose AI, GPAI) 모델, (4) 최소 위험 인공지능 시스템 (Minimal Risk AI Systems)으로 분류하고 있고, 인공지능 시스템이 어떤 분류에 해당하는지에 따라 각 시스템별로 서로 다른 의무가 적용됩니다.
EU 인공지능법은 잠재적인 위험 및 영향 수준에 따라 시스템을 분류하고 위험군별로 의무사항을 달리 정하고 있으므로, 다음 3단계에 따라 의무사항을 점검하고 컴플라이언스 시스템을 구축하는 것이 바람직합니다.
II. EU 인공지능법의 규제 체계
1. [1단계] 인공지능 시스템 해당 여부
인공지능 시스템이란 “다양한 수준의 자율성을 가지고 작동하도록 설계된 기계 기반 시스템으로서 배포 후 적응력을 발휘할 수 있으며, 명시적 또는 묵시적 목적을 위해 수신한 입력으로부터 물리적 또는 가상 환경에 영향을 미칠 수 있는 예측, 콘텐츠, 추천 또는 결정과 같은 출력을 생성하는 방법을 추론하는 기계 기반 시스템”을 의미합니다.
2. [2단계] 인공지능 시스템의 위험군 평가
1) 금지된 인공지능 시스템(Prohibited AI Systems)
- 행동을 왜곡하고 정보에 입각한 의사결정을 방해하여 심각한 피해를 입히는 잠재의식, 조작 또는 기만적 기술을 배포하는 경우
- 연령, 장애 또는 사회 경제적 상황과 관련된 취약성을 악용하여 행동을 왜곡하고 심각한 피해를 입히는 경우
- 민감한 속성(인종, 정치적 견해, 노동 조합 가입, 종교적 또는 철학적 신념, 성생활 또는 성적 지향)을 추론하는 생체 인식 분류 시스템(합법적으로 획득한 생체 인식 데이터 세트의 라벨링 또는 필터링이나 법 집행 기관이 생체 인식 데이터를 분류하는 경우 제외)
- 사회적 점수 매기기, 즉 사회적 행동이나 개인적 특성을 기반으로 개인이나 그룹을 평가하거나 분류하여 해당 사람들에게 해롭거나 불리한 대우를 초래하는 경우
- 프로파일링이나 성격 특성만을 토대로 개인이 범죄를 저지를 위험을 평가하는 경우(범죄 활동과 직접적으로 연관된 객관적이고 검증 가능한 사실을 기반으로 인간의 평가를 강화하는 데 사용되는 경우 제외)
- 인터넷이나 CCTV 영상에서 얼굴 이미지를 대상 없이 스크랩하여 얼굴 인식 데이터베이스를 수집하는 경우
- 의학적 또는 안전상의 이유를 제외하고 직장이나 교육 기관에서 감정을 추론하는 경우
- 법 집행을 위해 공개적으로 접근 가능한 공간에서의 ‘실시간’ 원격 생체 인식하는 경우
- 실종자, 납치 피해자, 인신매매 또는 성착취를 당한 사람들을 검색하는 경우 제외
- 생명에 대한 실질적이고 임박한 위협이나 예측 가능한 테러 공격을 예방하는 경우 제외
- 심각한 범죄(예: 살인, 강간, 무장 강도, 마약 및 불법 무기 밀매, 조직 범죄, 환경 범죄 등)에서 용의자를 식별하는 경우는 제외
2) 고위험 인공지능 시스템(High-risk AI Systems)
- AI 시스템이 제품의 안전 구성요소로 사용되도록 설계되었거나, 인공지능 시스템 자체가 부속서 I(제품 안전성 관련)에 나열된 유럽연합 법률의 적용을 받는 제품인 경우
- 부속서 III(건강, 안전, 기본권 관련)이 정하고 있는 8가지 고위험 요소에 이용되는 인공지능 시스템
- 금지되지 않는 생체 인식
- 중요 인프라
- 교육 및 직업 훈련
- 고용, 근로자 관리 및 자영업 접근
- 필수 공공/민간 서비스에 대한 접근 및 향유
- 법 집행 (형사절차, 치안, 사법절차 등)
- 이주, 망명 및 국경 통제 관리
- 사법 행정 및 민주적 절차 - 위 부속서 III에 열거된 인공지능 시스템의 경우 원칙적으로 고위험으로 간주되지만, 의사결정 결과에 실질적으로 영향을 미치지 않는 등의 경우를 포함하여, 자연인의 건강, 안전 또는 기본권에 피해를 입힐 심각한 위험을 초래하지 않으면 고위험 시스템에서 제외됨
3) 범용 AI (General purpose AI, GPAI) 모델
- 최적화된 자체 감독을 이용하여 대량의 데이터로 훈련한 경우를 포함해, 상당한 일반성을 나타내고 모델이 시장에 출시된 방식에 관계없이 광범위한 고유 작업을 능숙하게 수행할 수 있으며, 다양한 하위 시스템이나 응용 프로그램에 통합될 수 있는 인공지능 모델을 의미함
4) 최소 위험 인공지능 시스템 (Minimal Risk AI Systems)
3. [3단계] 각 시스템에 따른 의무 사항 점검
1) 금지된 인공지능 시스템(Prohibited AI Systems)
- EU 내 공급 금지
2) 고위험 인공지능 시스템(High-risk AI Systems)
- 위험관리 시스템 구축
- 전 수명 주기에 걸쳐 알려진 위험과 합리적으로 예측 가능한 위험의 식별 및 분석, 그에 대한 위험 관리 조치의 채택 등을 규정한 문서 작성 및 실행 계획 작성 - 데이터 거버넌스 체계 구축
- 데이터 이용에 대한 법적 근거 확인
- 데이터의 편향성 및 관련성 확인 (합성데이터의 경우 이를 통한 편향성 탐지에 제한이 발생할 수 있으므로, 이러한 점 고려 필요) - 기술 문서 작성
- 부속서 IV에 따른 문서 작성 - 투명성과 추적성 확보를 위한 로그 기록 등
- 인공지능 시스템 기능의 추적성을 보장하기 위한 이벤트 로그 기록 확보
- 배포자에 대한 투명성 확보 문서 작성 - 인간에 의한 감독
- 인간-기계 인터페이스 도구 등을 통해 자연인이 효과적으로 감독할 수 있는 방식 도입 필요 - 사이버 보안
- 정확성, 견고성, 사이버보안을 달성하기 위한 사용 지침 작성 - 품질 관리 시스템 도입
- 적합성 평가 절차, 설계∙설계제어∙설계검증에 사용되는 기술, 절차 및 조치 사항 등에 대한 문서 작성 및 그 실행 - 적합성 평가
- CE 마크 기재
- 등록
- 중요인프라 관련 인공지능 시스템은 국가DB에, 나머지는 EU에 등록
3) 범용 AI (General purpose AI, GPAI) 모델
- 시스템적 위험을 가진 GPAI인지 식별
- 원칙적으로 높은 영향력 역량을 보유한 경우 또는 유럽 집행위원회가 이에 준한다고 판단되는 경우
- 컴퓨팅 파워가 10^25보다 큰 경우에는 시스템적 위험을 가진 GPAI로 추정 - 시스템적 위험이 있다고 판단되는 GPAI의 경우
- 집행위원회 통보
- 모델에 대한 기술 문서 작성
- 훈련 데이터 등에 대한 설명 자료 작성
- Copyright Directive 준수 정책 실행
- 시스템적 위험 요소 등 Risk 평가
- 사고 보고를 위한 내부 절차 마련 및 보고 의무 준수
- 사이버 보안 - 시스템적 위험이 없다고 판단되는 GPAI의 경우
- 모델에 대한 기술 문서 작성 (무료/오픈소스의 경우에는 적용되지 아니함)
- 훈련 데이터 등에 대한 설명 자료 작성
- Copyright Directive 준수 정책 실행
4) 최소 위험 인공지능 시스템 (Minimal Risk AI Systems)
- 자율적 준수
III. 시사점
공급자 외 배포자도 투명성 확보 등 의무가 부과되고 있는데 일부 의무는 자신의 통제 권한 내에서만 준수하도록 규정되어 있어, 문제 발생 시 공급자와 책임 소재에 대한 분쟁 우려를 해소하기 위해 계약서에 이를 명확히 하는 것이 바람직합니다.
그리고 위 인공지능법상 의무의 구체적 이행을 위한 사항에 관하여 유럽집행위원회는 하위 법규(implementing acts)와 가이드라인에 위임하고 있으므로, 추후 컴플라이언스 시스템 구축 시에는 이러한 하위 법규 및 가이드라인까지 꼼꼼하게 참고해야 할 것입니다.
전세계적으로 인공지능 규제에 대한 관심이 뜨겁고, 국내에서도 인공지능과 관련된 여러 법안이 국회에 계류 중인데, EU 인공지능법은 향후 국내 인공지능 규제에도 영향을 미칠 것으로 예상되므로 사전에 그 의무사항을 점검하는 것이 바람직합니다.
