I. RAISE 법안의 주요 내용 (뉴욕주 AI 안전법)
뉴욕주 의회는 2025년 6월 13일 RAISE(Responsible Artificial Intelligence Safety and Education) 법안을 가결하였습니다. 이 법안의 목적은 100명 이상 인명 피해 또는 10억 달러 이상의 재산 피해를 초래할 수 있는 AI 위험에 대하여 법적 안전 장치를 마련하는 것입니다. 이를 위해 일정 규모 이상의 AI 모델 개발사로 하여금 안전 및 보안 체계에 대한 투명성 보고, 위험 발생 시 즉각 보고 등을 의무로 정하고 있습니다. 그 주요 내용은 다음과 같습니다.
1. 적용 대상
훈련에 1억 달러 이상의 연산 자원(컴퓨팅 파워)이 투입된 초거대 AI 모델을 뉴욕주 주민에게 제공하는 대형 개발자(large developer)가 적용 대상입니다. 사실상 OpenAI, 구글, Anthropic과 같은 초거대 AI 기업들이 주요 대상이며, 현재 사용 가능한 어떤 AI 모델보다도 훈련 비용 기준으로 규모가 큰 ‘프런티어 모델’에 초점을 맞추고 있습니다. 스타트업이나 학계 연구에는 부담을 최소화하기 위해 범위를 좁게 설정한 것으로 해석됩니다.
2. 대형 개발자들의 의무
① 프런티어 모델 배포 전 (a) 서면 형태의 안전 및 보안 프로토콜을 구현해야 하고, (b) 프로토콜의 무삭제 사본을 5년간 보관해야 하며, (c) 적절히 편집한 프로토콜 사본을 게시하고, 편집한 프로토콜 사본을 법무장관 등에게 전달해야 하며, (d) 프런티어 모델이 배포되는 기간 동안 프로토콜에 따라 수행된 테스트 정보 및 제3자가 테스트 절차를 재현할 수 있을 정도의 세부사항을 보관하여야 하고, (e) 중대한 피해의 비합리적 위험을 방지하기 위한 적절한 안전조치를 이행해야 합니다.
② 치명적 위해(critical harm)가 발생할 위험을 야기할 경우 프런티어 모델을 배포해서는 안 됩니다.
③ 안전 및 보안 프로토콜을 매년 검토해야 하고, 프런티어 모델의 기능이나 업계의 모범 사례에 변화가 있을 경우 이를 반영해서 수정해야 하고, 중대한 변경사항이 있을 경우 해당 프로토콜 사본을 적절히 편집하여 게시하여야 합니다.
④ 프런티어 모델에 영향을 미치는 모든 안전 사고(safety incident)에 대해 해당 사고를 인지한 시점으로부터(또는 사고가 발생했을 것이라는 합리적 판단이 가능해진 시점으로부터) 72시간 이내에 법무장관 및 국토안보 및 비상서비스국(Division Of Homeland Security And Emergency Services)에 사고내용을 보고하여야 합니다.
3. 위반 시 제재
대형 개발자들이 동법상 의무를 위반한 경우, 법무장관은 최초 위반에 대해서는 1,000만 달러 이하, 반복 위반에 대해서는 3,000만 달러 이하의 민사 벌금을 구하는 민사소송을 제기할 수 있고, 금지명령 또는 확인청구(Injunctive Or Declaratory Relief)를 할 수 있습니다.
다만, 대형 개발자들의 위반행위와 관련하여 개인이 이 법에 근거해 직접 민사 소송을 제기하는 사적 구제권(A Private Right Of Action)은 인정되지 않습니다.
II. RAISE 법안과 캘리포니아주 SB 1047 법안과의 비교
캘리포니아주에서는 지난해 비슷한 취지로 고위험 AI 모델에 안전 조치를 의무화하려 한 SB 1047 법안이 주지사 거부권 행사로 무산된 바 있습니다.
이에 RAISE 법안은 캘리포니아 사례에서 나타난 산업계 반발을 교훈 삼아, 논란이 컸던 킬 스위치(kill switch, 고도화된 인공지능이 예상 범위를 벗어나 오작동 하거나 통제를 벗어나 위험한 행동을 할 경우 즉각 정지시킬 수 있는 비상장치) 등의 강제 조항을 제외하고, 보다 현실적인 수준에서 안전장치 마련과 산업 수용성 간의 균형을 도모한 것으로 평가받고 있습니다.
구체적으로, RAISE 법안은 내용적으로 캘리포니아 SB 1047의 골격을 일부 계승하면서도, 기업 부담 완화와 실효성 제고를 위해 몇 가지 중요한 차별점을 두고 있습니다. 두 법안의 주요 차이점을 정리하면 다음과 같습니다.
1. 적용 대상 범위
두 법안 모두 이른바 “프런티어 모델”로 불리는 초거대 AI 시스템을 겨냥하지만, 세부 기준에서 차이가 있습니다. SB 1047은 훈련에 10^26회 연산(플롭스) 이상 및 1억 달러 초과 비용이 든 모델을 대상으로 하되, 기존 모델을 파인튜닝(미세조정)하여 개발한 경우는 연산 3×10^25회 이상 및 1천만 달러 초과라는 별도 기준까지 포함해 폭넓게 적용하려 했습니다. 반면 RAISE 법안은 오직 1억 달러 이상 훈련비용과 10^26 연산(플롭스) 초과 연산량 기준에 충족하는 최상위 모델만 규제하도록 하여 그 적용 대상이 더 좁습니다.
2. 새로운 감독기구 설치 여부
SB 1047은 법 집행과 기준 수정을 전담할 프런티어 모델 위원회(Board of Frontier Models)라는 신규 정부 기구를 설립하고, 공익 목적의 AI 개발을 지원할 주립 클라우드 컴퓨팅 인프라(cluster) 구축까지 포함했었습니다. 그러나 RAISE 법안에는 이러한 별도의 조직 신설 조항이 없습니다. 규제 집행은 기존의 뉴욕주 법무부를 중심으로 이루어집니다. 이는 관료적 복잡성을 줄이고 기업의 부담을 완화하려는 조치로 볼 수 있습니다.
3. 기업부담 완화 조치
킬 스위치 의무의 삭제는 RAISE 법안의 가장 눈에 띄는 변화입니다. SB 1047은 기업이 유사시 AI 모델을 즉각 종료할 수 있는 기능(킬 스위치)을 갖추도록 요구했는데, 이는 오픈소스 모델의 특성상 실효성이 없다는 비판과 함께 빅테크의 거센 반발을 불러왔습니다. RAISE 법안은 해당 조항을 아예 제외함으로써 불필요한 기술적 의무를 배제했습니다.
또한 SB 1047은 기존에 공개된 모델을 활용해 새로운 AI를 재학습(fine-tune) 하는 업체까지 2차적 책임을 지도록 규정했으나, RAISE 법안은 다른 기업이 공개한 모델을 후속 활용하는 경우에는 직접 책임을 묻지 않는 것으로 명시하였습니다. 이외에도 SB 1047에 포함됐던 지속적 고급 위협(APT; Advanced Persistent Threat) 관련 정의 등 일부 논란이 된 개념을 RAISE에서는 과감히 생략하고, 가장 핵심적인 위험(Critical harm)에만 초점을 맞췄습니다.
III. 향후 전망 및 시사점
만약 캐시 호철(Kathy Hochul) 뉴욕 주지사가 RAISE 법안에 서명하게 되면 법률로 발효되며 뉴욕주는 초거대 AI에 대해 법적 안전 기준을 최초로 도입한 미국 내 첫번째 주가 됩니다. 이는 향후 다른 주(州)나 연방 차원의 입법에도 상당한 파급 효과를 미칠 것으로 전망됩니다.
기업 실무자 입장에서 주목해야 할 핵심 시사점은 다음과 같습니다.
1. 미국 AI 규제의 향후 방향성 설정
RAISE 법안은 미국 내에서 AI 안전 규제의 방향타 역할을 할 수 있습니다. 비록 아직 연방 차원의 AI 안전 관련 입법은 없지만, 뉴욕주가 선도적으로 AI 투명성과 안전 의무를 도입함으로써 AI에 대한 ‘안전선(safety net)’ 확보를 우선시하는 입법 트렌드가 형성되고 있습니다. 이는 기존의 자율적 윤리 가이드라인에서 법적 규범화로 무게중심이 이동하고 있음을 보여주는 신호이며, 향후 미국의 AI 규제가 초거대 AI가 초래할 수 있는 재앙적 위험에 초점을 맞춰 발전할 가능성을 시사합니다.
또한, AI 윤리 이슈 중 편향(bias), 프라이버시, 고용 문제 등은 개별 분야별로 다른 입법이나 규제 틀에서 다루어 질 가능성이 높습니다.
2. 다른 주 및 연방 차원의 파급 효과
뉴욕주의 움직임은 다른 주 정부들과 연방 의회에도 적지 않은 영향을 미칠 것입니다. 이미 캘리포니아주는 SB 1047 좌절 후 전문가 태스크포스의 권고 보고서를 통해 대안을 모색하고 있고, 매사추세츠 등 일부 주에서도 유사 입법 논의가 이어지고 있습니다.
연방 차원에서도 최소한의 연방 가이드라인 또는 선행규제 프레임워크(preemptive regulatory framework)에 대한 논의 가능성이 한층 높아지고 있습니다. RAISE 법안의 제정 여부는 미국 전역의 AI 규제 체계 형성에 중요한 분기점이 될 수 있으며, 나아가 EU의 AI법안 등 해외 입법과의 정책 조율 필요성도 함께 제기될 것입니다.
3. 기업의 고려사항
RAISE 법안은 일차적으로 초거대 AI 모델 개발사를 겨냥하고 있어 스타트업 등 대부분의 기업에는 직접적 영향이 적을 것으로 보입니다. 그러나 간접적으로 대형 사업자들이 법 준수를 위해 마련한 안전 기준과 모범 사례가 업계 전반에 사실상 표준으로 확산될 가능성이 있습니다. 예를 들어 AI 안전성 보고서의 형식이나 위험통제 목록 등이 업계 전반의 벤치마크가 될 수 있어, 중소기업들도 향후 투자 유치나 대기업과의 협업 시 이러한 기준 충족을 요구받을 수 있습니다.
또한 현 시점에서 규제 대상이 아닌 기업이라 하더라도, 기술 발전에 따라 초거대 모델 개발에 참여하거나 고위험 오픈소스 모델을 활용하는 경우가 증가하면, 향후 규제 범위가 확대될 가능성도 있습니다. 이러한 변화에 대비해, 자체적인 윤리·안전 기준을 사전에 마련해두는 기업은 규제 리스크 대응에서 비교우위를 점할 수 있습니다.
기업 실무자들은 이번 뉴욕주 RAISE 법안을 통해, 안전한 AI 개발은 더 이상 선택이 아닌 필수라는 인식을 가져야 합니다. AI 혁신의 속도와 안전장치의 강화 사이의 균형이 본격적으로 논의되는 가운데, 기업들은 규제 당국과의 협업을 통해 현실적이고 효과적인 안전 기준 수립에 참여하고, 선제적인 내부 통제 체계를 갖춤으로써 리스크를 관리해야 합니다. 이러한 노력이야말로 향후 미국 내 다른 주와 국가의 AI 규제 환경 속에서도 기업의 신뢰 확보와 지속 가능한 경쟁력 유지를 위한 핵심 전략이 될 것입니다.
법무법인 태평양의 AI팀은 국내외 인공지능 관련 규제의 흐름을 지속적으로 모니터링하고, 기업들이 가이드라인 등 내용을 면밀히 검토하여 대응함으로써 AI 개발 및 서비스의 지속 가능성을 높일 수 있도록 적극 지원하겠습니다.
