곧 시행될 인공지능 기본법, 제약바이오 기업이 알아야 할 핵심과 대비 정리

AI 기본법 개요와 시행 일정

‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’(이하 AI 기본법)은 인공지능 기술의 건전한 발전을 지원하고 신뢰 기반을 마련하기 위한 기본 법률입니다. 이 법은 2024년 12월 국회를 통과하여 2025년 1월 21일 공포되었으며, 1년 후인 2026년 1월 22일부터 시행될 예정입니다 (특히 디지털 의료기기에 관한 규정은 2026년 1월 24일부터 시행됩니다.) AI 기술 발전의 혜택과 함께 높아진 윤리·안전 우려를 법적으로 다루고자 제정된 것으로, 기업과 정부의 역할 및 책임을 명확히 규정합니다.

주요 내용 한눈에 보기: AI 기본법은 용어 정의, 정부의 정책 수립 및 조직 구성, 인공지능사업자(기업)의 책임과 의무, 그리고 신뢰성 확보를 위한 절차 등을 포괄합니다. 특히 기업과 직접 관련된 핵심 조항들을 통해 “고영향 인공지능”, “생성형 인공지능” 등에 대한 정의와, 이를 다루는 기업의 준수 사항을 규정하고 있습니다. 아래에서는 제약·바이오 업계와 연관 깊은 주요 개념과 조항을 중심으로 살펴보겠습니다.

고영향 AI란? 

고영향 인공지능(High-Impact AI)이란 사람의 생명, 신체 안전, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템을 말합니다. 주요 예시는 다음과 같습니다:

• 보건의료 분야: 의료 서비스의 제공·운영 (「보건의료기본법」 제3조 제1호) 
• 의료기기 및 디지털 의료제품: 의료기기 및 디지털 의료기기의 개발·이용 (「의료기기법」 제2조 제1항 및 「디지털의료제품법」 제2조 제2호) 
• 에너지 및 식수: 에너지 공급, 먹는물 생산 공정 
• 원자력 시설: 핵물질·원자력시설의 안전한 관리
• 공공·사회적 결정: 범죄수사 목적의 생체인식, 채용·대출 심사 등 개인의 권리 관계에 영향 미치는 판단, 교통수단 운영, 공공서비스 자격 결정, 교육 분야의 학생평가 등 

요약하면, 의료·보건, 디지털 헬스/의료기기를 포함하여 사회 안전과 권리에 중대한 영향을 줄 수 있는 분야의 AI가 고영향 AI에 해당합니다. 제약바이오 기업이 환자 진단 AI나 디지털 치료제와 같이 의료 분야에 AI를 활용한다면, 이 법의 고영향 AI 규정을 적극 고려해야 합니다. 고영향 AI로 분류되면 기업에는 추가적인 안전성 확보 의무 등이 부과되므로, 자사 AI 기술이 해당되는지 사전 검토가 필요합니다 (이에 대해서는 아래 ‘기업의 의무’에서 상세히 다룹니다).

인공지능사업자의 주요 의무 사항

AI 기본법은 “인공지능사업자”(AI 비즈니스를 영위하는 모든 기업·기관)에게 몇 가지 핵심 의무를 부과합니다. 제약바이오 기업도 AI 시스템을 개발하거나 활용한다면 해당 사업자로 간주될 수 있으므로, 아래 의무사항들을 숙지하고 대비해야 합니다.

1. 투명성 의무 – AI 사용 사전 고지 (제31조)

고영향 AI나 생성형 AI를 이용한 제품·서비스를 제공하는 경우, 사용자에게 해당 AI가 사용됨을 미리 알려야 합니다. 쉽게 말해, AI 기반 서비스임을 명확히 고지하는 것입니다. 예를 들어:

• 병원용 진단 소프트웨어에 AI 알고리즘이 쓰인다면 환자나 의료진에게 “AI에 기반한 분석 결과”임을 안내해야 합니다.
• 또한 생성형 AI(예: 챗GPT처럼 텍스트·이미지 등을 생성하는 AI)를 통해 만들어진 결과물을 제공할 때는 해당 결과물이 AI에 의해 생성되었음을 표시해야 합니다.
• 만약 AI가 실제와 유사한 가상의 콘텐츠(예: 딥페이크 영상 등)를 제공하는 경우에도, 사용자가 이를 명확히 인지할 수 있도록 표시해야 합니다.

이러한 투명성 확보 조치는 의무사항이며, 위반 시 최대 3천만원 이하의 과태료가 부과될 수 있습니다. 따라서 제품 설명서, 이용약관, 화면 표시 등에 AI 사용 여부를 분명히 밝혀야 합니다. 제약바이오 분야에서도 AI 신약개발 플랫폼이나 의료 AI 챗봇 등을 사용자(의사, 환자 등)에게 제공한다면, 사전에 AI 활용 사실을 공지하는 절차가 필요합니다.

2. 안전성 확보 의무 (제32조)

AI 기본법은 대규모 AI 시스템에 대한 안전성 확보 조치도 규정하고 있습니다. “학습에 사용된 누적 연산량”이 대통령령으로 정하는 기준을 넘는 거대한 AI 시스템(예: 초거대 AI 모델)을 개발·운용하는 경우, 인공지능사업자는 AI 시스템 전 과정에 걸쳐 위험을 식별·평가·완화하고 사고를 모니터링·대응하는 위험관리체계를 구축해야 합니다. 그리고 이러한 안전조치 이행 결과를 과학기술정보통신부 장관에게 제출해야 합니다.

※ 현재 기준 미확정: “누적 연산량 기준” 등 세부 사항은 아직 결정되지 않았습니다. 추후 시행령에서 구체화될 예정이며, 이에 따라 어느 범위의 기업이 대상이 될지 판가름 날 것입니다. 제약기업이 대형 AI 모델(예: 신약 후보 물질 설계에 사용하는 초거대 모델 등)을 개발하는 경우, 해당 기준에 유의해야 합니다.

일반적인 중소 규모 AI 활용에는 직접 적용되지 않을 수도 있으나, AI 모델 규모가 큰 기업이라면 사전 위험성 평가와 안전 대책 수립 프로세스를 마련해 두는 것이 좋습니다.

3. 고영향 AI 여부 사전 검토 (제33조)

인공지능사업자는 AI 제품이나 서비스를 출시하기 전에 해당 AI가 고영향 AI에 해당하는지 자체 검토해야 합니다. 만약 자체 판단이 어려운 경우, 과학기술정보통신부 장관에게 공식 확인을 요청할 수 있습니다. 과기정통부 장관은 기업의 요청이 있으면 전문위원회 자문 등을 거쳐 그 AI가 고영향에 속하는지 확인해 주게 됩니다.

이 규정은 기업 스스로 자신의 AI가 법의 고영향 범주에 드는지 책임지고 판단하도록 요구하는 것입니다. 제약바이오 회사의 입장에서는, 자사 AI 기술이 앞서 언급한 11개 고영향 영역에 속하는지 면밀히 점검해야 합니다. 예컨대, 디지털 치료제나 AI 진단기기는 의료기기로서 고영향 영역(의료기기 및 디지털의료제품)에 포함될 가능성이 높습니다. 이런 경우 내부 검토 기록을 남기고, 필요 시 정부에 질의하여 분류를 명확히 해두는 것이 바람직합니다.

4. 고영향 AI의 안전성·신뢰성 확보 조치 (제34조)

고영향 AI를 제공하는 사업자에게는 일반 AI보다 강화된 안전성·신뢰성 확보 조치가 요구됩니다. 이는 의무사항으로, 고영향 AI 시스템의 개발·운영 전반에 걸쳐 아래와 같은 내부 통제체계를 갖추라는 취지입니다:

• 위험관리방안 수립·운영: 해당 AI가 초래할 수 있는 위험요소를 파악하고 관리하는 계획을 수립하여 실행.
• 결과 산출 설명체계: AI가 최종 결과를 도출한 중요 기준이나 사용된 데이터 개요 등을 설명하는 방안을 마련. (예: 의사결정 과정에 대한 설명 가능성 확보)
• 이용자 보호방안 수립·운영: AI 사용으로 이용자에게 피해가 가지 않도록 구제절차나 고객지원 체계 등을 갖출 것.
• 인간의 관리·감독: 고영향 AI 활용 과정에 인간이 개입·감독할 수 있는 절차를 유지. (완전 자동화된 결정에 대비한 최종 승인 절차 등)
• 문서화 및 기록 보관: 이상 발생 시 추적 가능하도록 안전조치 내용을 문서로 작성 및 보관.
• 그 밖에 위원회가 정한 사항: 국가인공지능위원회에서 추가로 심의·의결한 사항을 이행.

제약바이오 기업이 만약 의료 AI 솔루션을 개발·판매한다면, 위 항목들을 충족하는 품질관리 및 거버넌스 체계를 마련해야 합니다. 예를 들어, 의료 AI 진단 시스템의 경우 알고리즘의 오작동 위험을 지속 평가하고, 의사 등 전문가의 검증 과정을 넣으며, 의사결정 근거에 대한 설명자료를 준비하는 등이 필요합니다. 이러한 조치는 의료기기 규제와도 일맥상통하는 부분이 있어, 기존의 의료법 규정이나 가이드라인(예: 식약처의 소프트웨어 의료기기(SaMD) 가이드라인)과 함께 종합적으로 고려해야 합니다.

5. 인공지능 영향평가 권고 (제35조)

영향평가란 AI 시스템이 사람의 기본권에 미칠 영향을 사전에 평가하는 절차를 말합니다. AI 기본법은 고영향 AI를 제공하는 기업에게 자체적으로 영향평가를 실시하도록 노력할 것을 규정하고 있습니다. 다시 말해, 법적 강제는 아니지만 고영향 AI라면 AI 윤리·인권 영향평가를 해보는 것이 바람직하다고 권고하는 수준입니다.

특히 공공기관 등이 고영향 AI 제품이나 서비스를 도입하려는 경우, 영향평가가 수행된 제품을 우선 고려하도록 규정되어 있습니다. 이는 향후 정부 조달이나 의료기관 도입 시, AI 영향평가를 거친 솔루션이 선호될 수 있음을 시사합니다. 따라서 제약바이오 기업도 자사의 AI 기술에 대해 윤리적·사회적 영향평가 보고서를 준비해 두면 신뢰 확보에 도움이 될 것입니다. 현재 과기정통부 등에서 영향평가 가이드라인을 제정 중이므로 이를 참고하여 내부 체크리스트를 만드는 것을 권장합니다.

6. 해외 AI 기업의 국내대리인 지정 (제36조)

글로벌 제약사나 해외 AI 기업이 국내에 영업소나 주소 없이 한국 사용자에게 AI 서비스를 제공하는 경우, 국내대리인을 지정해야 하는 의무도 생깁니다. 이용자 수, 매출액 등 일정 기준(대통령령으로 정함)을 충족하는 해외 인공지능사업자는 한국 내에 대리인을 서면 지정하고 과기정통부에 신고해야 합니다. 이 국내대리인은 앞서 언급한 안전성 확보 결과 제출(제32조), 고영향 AI 여부 확인 신청(제33조), 안전조치 이행 지원(제34조) 등을 대리 수행하게 됩니다. 만약 지정 의무를 어길 시에는 3천만원 이하 과태료가 부과됩니다.

제약바이오 분야에서는, 예를 들어 해외에 본사를 둔 AI 신약개발 플랫폼 회사가 한국 제약사들에게 서비스를 제공하는 경우 이 요건에 해당될 수 있습니다. 해당 기업들은 2026년 시행 전에 국내 법인이나 대리인을 선정하여 법 준수를 준비해야 합니다. 또한 국내대리인으로 지정된 자가 법 위반 시에는 본사가 위반한 것으로 간주되므로, 대리인 선정 시 신뢰할 만한 주체인지, 역할 수행에 문제가 없을지 검토해야 합니다.

7. 그 밖의 사항: 정부 감독 및 처벌 규정

위 의무사항의 이행을 담보하기 위해 정부의 조사권과 시정명령 조치도 규정되어 있습니다. 과기정통부 장관은 필요 시 자료 제출 요구나 현장 조사를 할 수 있고, 법 위반이 확인되면 시정명령을 내릴 수 있습니다. 시정명령을 불이행하면 역시 최대 3천만원의 과태료 대상이 됩니다.

또한 AI 윤리 원칙 마련(제27조), 국가인공지능위원회 설치(제7조), AI 기본계획 수립(제6조) 등 정부 측의 책무도 다수 규정되어 있습니다. 이러한 정부 정책 방향 역시 향후 산업계 지원 및 규제의 큰 틀을 형성할 예정이므로, 기업들은 관련 정책 동향을 주시해야 합니다. (예: AI 윤리 원칙이 제정·공표되면 기업 내부지침에 반영 권고)

제약·바이오 기업을 위한 체크리스트 및 대응 방안

이제 핵심 조항들을 이해했으니, 제약바이오 기업의 입장에서 무엇을 준비해야 하는지 점검해 보겠습니다. 다음은 실무 적용을 위한 체크리스트입니다:

• AI 기술 현황 파악: 우리 회사가 개발 중이거나 활용하는 AI가 어떤 용도인지 목록화합니다. 특히 의료/헬스케어 관련 AI인지, 또는 의사결정 자동화 AI 등 고영향 분야에 속하는지 분류하세요.
• 고영향 AI 해당 여부 검토: 위 목록 중 고영향 영역에 해당할 가능성이 있는 AI에 대해 내부 검토 기록을 남기세요. 법령의 열거 영역과 대조하고, 애매하면 전문가 자문이나 주무부처 확인 절차를 밟아 둡니다.
• 투명성 확보 계획: AI가 적용된 제품/서비스에는 사용자 고지 문구를 마련하세요. 예컨대, 제품 설명서에 “본 서비스에는 인공지능 기술이 적용되어 있습니다”와 같이 명시하고, AI 생성 결과물에는 별도 표지 또는 워터마크 등을 붙이는 방안을 마련합니다. 내부 직원들에게도 사용자 고지 의무를 교육하세요.
• 위험관리 및 품질체계 점검: 고영향 AI로 식별된 경우, 현재 운용 중인 제품 개발 프로세스에 위험관리 절차가 포함되어 있는지 확인합니다. 없으면 리스크 매트릭스 작성, 위험 완화 대책 수립 등 ISO 14971(의료기기 위험관리)과 유사한 체계를 도입하세요. 또한 오류 모니터링 체계와 사용자 피드백 수집 창구도 마련해 두세요.
• 설명가능성 및 문서화: AI 의사결정의 근거를 설명할 수 있도록 시스템을 보완하세요. 중요한 알고리즘 결정 기준이나 사용 데이터의 개요를 나중에라도 제시할 수 있게 기록을 남겨둡니다. 변경 관리, 검증 결과 등 문서화하여 감사 추적성을 확보하세요.
• 이용자 보호 프로토콜: AI 오작동이나 오류로 인한 환자 위험, 사용자 피해 발생 시 대응할 SOP(Standard Operating Procedure)를 정립하세요. 예컨대, 오류 발견 시 신속한 수동 개입, 사용자 공지 및 피해구제 지원 절차를 미리 만들어 둡니다.
• 국내대리인 검토: 우리 회사가 외국 법인이고 국내 지사가 없다면, 매출/사용자 규모에 따라 국내대리인 대상인지 검토합니다. 해당 시 신뢰할 만한 국내 파트너를 선정해 2026년 이전에 신고를 준비하세요.
• 내부 교육 및 컴플라이언스 체계: 경영진부터 개발자, 규제대응팀까지 AI 기본법의 핵심 의무를 숙지하도록 교육합니다. 기존 개인정보보호, 의료법 컴플라이언스 등에 AI 투명성·안전성 체크리스트를 추가하세요. 2026년 시행에 맞춰 사내 규정이나 표준절차를 업데이트하고, 법 적용에 대비한 모니터링 담당자를 지정하면 좋습니다.
• 관계 법령·가이드 정합성 점검: AI 기반 의료기기는 의료기기 인허가도 필요하므로, 식약처의 가이드라인 등과 중복·충돌 여부를 검토합니다. 현재 정부에서 마련 중인 인공지능 영향평가 가이드라인, 디지털의료제품 관련 가이드라인 등을 입수하여 우리 회사 실무에 적용할 부분이 없는지 살펴보세요.

맺음말: 신뢰 확보를 통한 혁신 가속화

AI 기본법은 제재보다는 예방과 지원에 방점을 둔 기본법입니다. 제약바이오 기업들은 이 법을 규제로만 보기보다, 신뢰 확보를 통한 혁신 촉진 장치로 활용할 수 있습니다. 즉, 법에서 요구하는 투명성·안전성 조치를 선제적으로 도입함으로써 환자와 규제당국의 신뢰를 얻고, 장기적으로 AI 기술 도입을 가속화할 수 있습니다.

곧 시행령 등 세부 규정이 마련될 예정이므로, 기업들은 지속적으로 업데이트를 팔로업해야 합니다. 특히 고영향 AI로 분류되는 의료AI 기업은 한발 앞서 컴플라이언스 체계를 정비하고, 필요하면 법률 자문을 구해 리스크를 점검하는 것이 안전합니다.

결론적으로, AI 시대의 제약바이오 혁신은 윤리와 신뢰 위에서만 가능함을 명심해야겠습니다. 이번 AI 기본법을 준수하는 노력이 단기적으로는 번거로울 수 있지만, 결국 환자 안전과 데이터 신뢰 확보를 통한 의료AI 발전으로 돌아올 것입니다. 법률의 취지에 맞게 준비를 철저히 해서, 규제를 준수하는 모범 기업이자 AI 혁신의 선도 기업으로서 입지를 다지시길 바랍니다.