AI 기본법은 2026년 1월 시행을 앞두고 있으며, 과학기술정보통신부는 최근 시행령·시행규칙 제정안과 함께 고시·가이드라인 초안을 순차적으로 공개하였습니다. 이번 공개는 인공지능사업자의 투명성·안전성 확보, 고영향 인공지능 관리, 영향평가 등 핵심 의무를 구체화하였다는 점에서 의미가 큽니다.
특히 질병의 진단·치료, 의료기기, 디지털헬스 등 의료·보건 분야는 생명·신체 안전과 직결되어, 고영향 인공지능으로 분류될 가능성이 높습니다. 이에 헬스케어 기업은 제품 개발 단계부터 법적 의무를 염두에 둔 대응이 필요합니다.
I. 고영향 인공지능 해당 가능성
고영향 인공지능이란 (i) 사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 인공지능시스템으로서, (ii) 특정 영역에서 활용되는 것을 의미합니다(「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 “법”) 제2조 제4호).
법 제2조 제4호 다목, 라목에서는 보건의료와 의료기기에 활용되는 인공지능의 경우, ‘사람의 생명, 신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있다면’ 고영향 인공지능에 해당할 수 있다고 규정하고 있습니다.
| 법 제2조 제4호 각목 | 구분 | 사용 영역 |
|---|---|---|
| 다목 | 보건의료 | 「보건의료기본법」에 따른 보건의료의 제공 및 이용체계의 구축·운영 |
| 라목 | 의료기기 | 「의료기기법」에 따른 의료기기 및 「디지털의료제품법」에 따른 디지털의료기기의 개발 및 이용 |
고영향 인공지능에 해당할 경우, 이를 이용하여 제품이나 서비스를 제공하려는 자는 고영향 인공지능에 기반하여 서비스 등이 운용된다는 사실을 이용자에게 사전에 고지하여야 하고, 신뢰성 및 안전성확보조치를 갖춰야 합니다.
과학기술정보통신부(이하 “과기정통부”)가 공개한 「고영향 인공지능 판단 가이드라인」에 따르면, 질병의 진단·치료에 이용되거나, 의료기기에 해당하면 ‘생명, 신체의 안전 및 기본권과의 관련성’이 인정되므로, 보건의료, 의료기기 분야는 대부분 ‘생명, 신체의 안전 및 기본권과의 관련성’이 인정될 가능성이 높아 보입니다.
한편, ‘중대한 영향’의 경우에는 의료진의 개입 없는 진단 인공지능의 오진을 대표적인 사례로 언급하고 있습니다.
| 구분 | 생명, 신체의 안전 및 기본권과의 관련성 | 인공지능이 중대한 영향을 미치거나 위험을 초래하는 경우 |
|---|---|---|
| 보건의료 의료기기 | 질병의 진단, 치료, 의료기기 등은 환자의 생명∙신체의 안전, 보건권에 영향 | 의료진의 개입 없는 진단 인공지능의 오진으로 치료 시기를 놓쳐 환자의 신체∙건강에 직접적 피해 발생 |
따라서 의료기기, 특히 AI가 탑재된 진단·분석 장비나 소프트웨어는 원칙적으로 고영향 인공지능으로 분류될 가능성이 높습니다. 이는 의료기기 제조사, 수입업체, 병원 등 인공지능을 실질적으로 운용·제공하는 사업자에게 추가적 책무가 발생함을 의미합니다. 그 밖에 의료기기 외에도 환자 상담 챗봇, 영상판독 시스템, 임상 의사결정보조 시스템 등도 인공지능 영향평가 결과 ‘중대한 영향’이 인정된다면 고영향 판단 대상이 될 수 있습니다.
II. 인공지능 관련 주요 의무사항
가. 고영향 인공지능사업자의 책무
고영향 인공지능사업자로 분류된 기업은 다음의 의무를 이행해야 합니다.
① 위험관리체계를 마련하여 인공지능의 설계·개발·운영 전 과정에서 위험을 식별·평가·완화해야 합니다.
② 설명가능성을 확보해 인공지능의 판단 근거를 명확히 설명할 수 있도록 관련 문서와 데이터를 관리해야 합니다
③ 오류 발생 시 피해를 최소화하기 위한 이용자 보호조치를 마련하고 대체 절차를 구축해야 합니다.
④ 인적 감독체계를 통해 인공지능의 판단 결과가 반드시 사람의 검토를 거치도록 해야 합니다.
⑤ 위험관리 정책과 설명가능성 확보조치, 이용자 보호방안을 문서화해 공개해야 합니다.
보건의료 영역은 환자의 생명과 직결되는 특성이 있으므로, 특히 설명가능성과 인적 감독체계 확보와 관련하여 의료인의 관리감독과 최종판단이 강조된다고 볼 수 있습니다.
나. 인공지능 영향평가
고영향 인공지능사업자는 인공지능이 개인의 기본권에 미칠 영향을 사전에 평가해야 합니다. 시행령·가이드라인은 다음 일곱 가지 항목을 평가 요소로 제시합니다.
① 영향받는 이해관계자의 범위
② 관련 기본권의 종류
③ 인공지능 사용이 초래할 사회적·경제적 영향
④ 인공지능 사용의 목적 및 방식
⑤ 평가 지표 및 측정 방법
⑥ 위험 예방 및 손실 복구 방안
⑦ 개선이 필요한 경우의 이행계획
의료기기나 디지털헬스 제품은 진단 지연, 데이터 편향에 따른 불이익 등 기본권 침해 가능성이 평가에 포함될 수 있습니다. 가이드라인은 ISO/IEC 23894 등 국제표준에 따른 위험평가 매트릭스 활용을 권장하며, 위험 등급화, 우선순위 설정, 예방조치 및 외부 검토 여부를 명시하는 방식을 제시하고 있습니다.
영향평가는 제품 출시 전 사전 수행이 원칙이며, 이미 운영 중인 인공지능 시스템도 필요시 자율적으로 평가할 수 있습니다. 의료기기 제조·수입업체는 개발 초기 단계에서부터 영향평가를 설계 절차에 포함하는 것이 바람직합니다.
다. 투명성 확보 의무
생성형 또는 고영향 인공지능을 활용한 제품·서비스는 이용자에게 인공지능 사용 사실을 사전 고지하고, 결과물에는 “AI 생성” 등의 표시를 해야 합니다. 시행령·가이드라인은 계약서, 이용약관, 화면 라벨, 안내문 게시 등 다양한 고지 방식을 허용하고 있습니다.
의료기기나 소프트웨어의 경우, 의사 또는 환자가 결과를 직접 확인하는 경우 “본 결과는 인공지능 기반 분석을 포함합니다” 등 명시적 문구를 표시하는 것이 권장됩니다.
딥페이크 등 합성콘텐츠는 이용자가 인공지능 생성 여부를 명확히 인식할 수 있도록 시각적·청각적 표시를 강화해야 합니다.
라. 연산량 기준에 따른 안전성 확보 의무
시행령·고시 초안은 학습 연산량이 10의 26제곱(FLOPs) 부동소수점 이상인 인공지능을 고성능 인공지능으로 분류하고, 전 주기적 위험관리체계 구축을 의무화했습니다. 고성능 인공지능을 운용하는 사업자는 위험관리 결과를 과기정통부에 제출해야 하며, 최초 제출은 적용 확인일로부터 3개월 이내, 이후 매년 12월 31일까지 정기 제출이 요구됩니다.
의료 분야는 독자적으로는 대부분 이 기준에 해당하지 않을 것으로 보이나, 초거대 의료모델 도입에 대비해 위험 문서화 및 리스크 내부분석표를 사전에 구축하는 것이 바람직합니다.
III. 실제 인공지능 활용 시 유의점
가. 의료기기 등 제품에서의 AI 활용
AI가 탑재된 의료기기·체외진단기기·디지털헬스 제품은 고영향 인공지능으로 분류될 가능성이 높습니다. 이에 따라 제조사·수입업체는 다음 조치를 검토해야 합니다.
• 인공지능 영향평가 수행 및 고영향 인공지능 해당 여부 확인
• 고영향 인공지능사업자의 책무 이행(해당될 경우)
• 위험관리·설명자료·이용자 보호조치 준비
• 내부 문서화 체계 및 책임자 지정
• 투명성 고지 및 결과물 표시 방안 마련
해외 제조사의 제품을 국내에 수입·유통하는 경우, 해당 제품이 고영향 인공지능에 해당하면 국내 수입업체도 일정 부분 책임을 부담합니다 따라서 해외 제조사의 법 준수 여부를 확인하고, 국내 표시·안내문에 필요한 보완조치를 마련해야 합니다.
또한 일정 규모 이상의 해외 AI 기업은 국내대리인 지정 의무가 부과될 예정이므로, 계약 단계에서 역할과 책임을 명확히 해야 합니다.
나. 일반 기업활동에서의 AI 활용
사내 챗봇, 자동 문서요약, 보고서 작성 등 일반 업무에서 AI를 활용하는 경우에도 투명성 의무가 적용될 수 있습니다. 내부 직원만 사용하는 시스템은 표시 의무가 면제될 수 있으나, 외부 고객 대응에 활용된다면 “AI 생성” 표시가 필요합니다.
또한 인사·채용 등 개인의 권리·의무에 영향을 미치는 AI는 고영향 인공지능으로 분류될 가능성이 있으므로, 사전 영향평가와 차별방지조치 마련이 필요합니다. 이와 별도로, 개인정보나 기밀정보 입력 제한 및 결과물 검증 책임자 지정 등 내부 관리지침을 마련하는 것이 바람직합니다.
IV. 대응 방안 및 BKL의 제언
AI 기본법은 문서화 중심의 규제체계를 취하고 있어, 기업의 내부 컴플라이언스 체계가 곧 대응 역량이 됩니다. 헬스케어 기업은 ① 자사 AI 시스템 목록화 및 분류, ② 위험관리체계 구축, ③ 영향평가 절차 수립, ④ 사내 교육 및 내부 가이드라인 마련, ⑤ 외국인공지능사업자 또는 국내대리인과의 책임 분담 명확화 등을 중심으로 대응 준비를 고려할 필요가 있습니다.
AI 기본법 시행령·시행규칙은 2025년 말 확정될 예정이며, 2026년 1월부터 시행됩니다. 초기에는 계도기간이 운영될 가능성이 높지만, 투명성 고지·위험관리·영향평가 등은 올해 안에 준비를 시작하는 것이 바람직합니다.
법무법인 태평양은 인공지능 및 헬스케어 규제 분야의 전문성을 바탕으로, 귀사의 AI 활용과 법적 리스크 대응을 위한 종합 자문을 제공해 드립니다.
