인공지능 기본법 시행 이후, AI를 운영하는 회사가 점검할 항목

정식 이름은 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」입니다. 2025년 1월 21일 공포되어 2026년 1월 22일 시행되었고, 시행령도 같은 날 시행되었습니다. 이후 2026년 7월 21일 시행된 일부개정은 주로 학습용 데이터, 위원회 명칭 같은 진흥 조항을 바꾼 것으로, 이 글에서 다루는 사업자 의무(제31조~제36조)에는 큰 변화가 없습니다. 아래 다섯 항목은 AI를 쓰는 대부분의 회사에 해당하는 것부터 순서대로 놓았습니다.

1. 우리 회사가 ‘인공지능사업자’인지 확인합니다

법은 인공지능사업자를 두 가지로 나눕니다(제2조제7호).

• 인공지능개발사업자: 인공지능을 개발하여 제공하는 자
• 인공지능이용사업자: 개발사업자가 제공한 인공지능을 이용하여 인공지능제품 또는 인공지능서비스를 제공하는 자

외부 언어 모델을 연결해 고객 상담, 문서 생성, 심사 보조 같은 서비스를 제공한다면 이용사업자에 해당합니다. 반대로 AI를 내부 업무 용도로만 쓰는 경우에는 시행령이 고지·표시 규정의 전부 또는 일부를 적용하지 않을 수 있게 정하고 있습니다(시행령 제23조제4항).

점검할 것: 회사에서 쓰는 AI 시스템을 목록으로 만들고, 시스템마다 고객에게 제공되는지 내부용인지 적어 둡니다. 이 목록이 나머지 모든 점검의 출발점입니다.

2. 이용자에게 AI라는 사실을 알리고 있는지 확인합니다

제31조는 세 가지를 요구합니다.

1. 고영향 인공지능이나 생성형 인공지능을 이용한 제품·서비스를 제공하려면, 해당 인공지능에 기반하여 운용된다는 사실을 이용자에게 사전에 고지해야 합니다.
2. 생성형 인공지능이 만든 결과물에는 그렇다는 사실을 표시해야 합니다.
3. 실제와 구분하기 어려운 가상의 음향, 이미지, 영상 등의 결과물은 AI가 생성했다는 사실을 이용자가 명확하게 인식할 수 있는 방식으로 고지하거나 표시해야 합니다.

시행령 제23조에 따르면 고지는 제품이나 계약서, 사용 설명서, 이용약관 등에 적거나, 이용자 화면이나 단말기에 표시하거나, 제품을 제공하는 장소에 게시하는 방식으로 할 수 있습니다. 표시는 사람이 알아볼 수 있는 방식과 기계가 읽을 수 있는 방식 모두 가능하지만, 기계가 읽는 방식만 쓴다면 문자나 음성으로 이용자에게 적어도 한 번은 알려야 합니다.

점검할 것: 고지 문구가 어디에 있는지 화면과 약관에서 직접 찾아보고, 생성 결과물 몇 건을 뽑아 표시가 실제로 붙어 있는지 확인합니다. 정책에 적혀 있는 것과 결과물에 실제로 붙는 것은 다를 수 있습니다.

3. 고영향 인공지능에 해당하는지 검토합니다

고영향 인공지능은 사람의 생명, 신체의 안전, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI로, 법이 정한 영역에서 쓰이는 것을 말합니다(제2조제4호). 기업 실무에서 자주 걸리는 영역은 다음과 같습니다.

• 채용, 대출 심사처럼 개인의 권리·의무에 중대한 영향을 미치는 판단이나 평가
• 보건의료, 의료기기
• 에너지 공급, 먹는물 생산, 교통 같은 기반 시설

이 밖에 원자력시설, 범죄 수사용 생체인식정보 분석, 공공 서비스 관련 국가기관 등의 의사결정, 유아·초등·중등 교육의 학생 평가가 포함되며, 대통령령으로 영역을 더 정할 수 있습니다.

사업자는 자사 AI가 고영향 인공지능에 해당하는지 사전에 검토해야 하고, 필요하면 과학기술정보통신부에 확인을 요청할 수 있습니다(제33조). 시행령 제25조에 따르면 정부는 30일 안에 회신하며, 한 번에 한해 30일을 연장할 수 있습니다.

점검할 것: 1번 목록의 시스템마다 해당 영역에 들어가는지 검토하고, 검토한 사실과 판단 근거를 기록으로 남깁니다. ‘해당하지 않는다’는 판단도 근거가 있어야 나중에 설명할 수 있습니다.

4. 고영향 인공지능이라면 책무 이행을 문서로 남깁니다

고영향 인공지능을 제공하는 사업자는 다음 조치를 해야 합니다(제34조제1항).

1. 위험관리방안의 수립·운영
2. 기술적으로 가능한 범위에서, 최종 결과와 그 결과를 도출하는 데 쓰인 주요 기준, 학습용 데이터의 개요에 대한 설명 방안의 수립·시행
3. 이용자 보호 방안의 수립·운영
4. 사람의 관리·감독
5. 안전성·신뢰성 확보 조치의 내용을 확인할 수 있는 문서의 작성과 보관
6. 그 밖에 위원회에서 심의·의결된 사항

시행령 제27조는 이 조치를 이행했다는 근거를 문서로 5년간 보관하도록 하고, 위험관리방안과 설명 방안의 주요 내용, 이용자 보호 방안, 관리·감독하는 사람의 성명과 연락처를 사무소나 홈페이지 등에 게시하도록 정하고 있습니다(영업비밀은 제외할 수 있습니다). 외부 모델을 쓰는 이용사업자라면, 개발사업자가 위험관리·설명·이용자 보호 조치(제1호~제3호)를 이행한 범위에서는 이용사업자도 이행한 것으로 봅니다. 단, 본래 목적이나 용도를 현저하게 바꾸는 등 중대한 기능 변경을 하지 않았어야 합니다(시행령 제27조제3항). 사람의 관리·감독과 문서 보관은 이 규정의 대상이 아니므로 직접 챙겨야 합니다. 이용사업자는 개발사업자에게 필요한 자료를 요청할 수 있습니다. 영향평가(제35조)는 하도록 노력해야 하는 의무이지만, 국가기관 등이 제품·서비스를 고를 때 영향평가를 받은 것을 우선 고려하도록 되어 있어 공공 시장을 생각한다면 함께 검토할 만합니다.

점검할 것: 사람이 언제 개입하는지, 그 개입이 어디에 남는지 확인합니다. 감사에서 사후에 작성한 보고서보다 판단이 일어날 때 함께 남은 기록이 근거로 쓰기 쉽습니다.

5. 사실조사와 과태료 일정을 정확히 압니다

과학기술정보통신부는 결과물 표시(제31조제2항·제3항), 안전성 확보(제32조), 고영향 책무(제34조제1항) 위반이 의심되거나 신고·민원이 있으면 자료를 요구하거나 조사할 수 있고, 조사 결과 위반이 확인되면 중지나 시정을 명령할 수 있습니다(제40조). 과태료는 3천만 원 이하이며 대상은 다음 세 가지입니다(제43조).

• 제31조제1항의 사전 고지를 하지 않은 경우
• 국내대리인을 지정하지 않은 경우
• 제40조의 중지·시정명령을 이행하지 않은 경우

정부는 시행에 맞춰 사실조사와 과태료를 최소 1년 이상 유예하고, 그 기간에는 인명 사고나 인권 훼손 같은 매우 예외적인 경우에만 사실조사를 하겠다고 밝혔습니다. 이 글을 쓴 시점에 유예가 끝나는 날짜는 공식 발표되지 않았습니다. 유예되는 것은 집행이고 의무는 이미 시행 중이라는 점을 구분해 두어야 합니다.

그 밖에 확인할 것

• 안전성 확보 의무(제32조)는 학습에 쓴 누적 연산량이 10의 26승 부동소수점연산 이상인 최첨단 AI 등에 적용됩니다(시행령 제24조). 대부분의 이용사업자에게는 해당하지 않습니다.
• 국내대리인(제36조)은 국내에 주소나 영업소가 없는 사업자 중 매출액이나 이용자 수가 시행령 기준을 넘는 경우에 지정해야 합니다. 해외 본사를 둔 회사라면 확인합니다.

한 장으로 보는 점검표