고영향 AI란 무엇인가
AI기본법은 모든 AI를 동일하게 규제하지 않습니다. 사람의 생명, 신체, 기본권에 중대한 영향을 미칠 수 있는 AI를 별도로 분류하여 더 강한 의무를 부과합니다. 이것이 고영향 인공지능입니다.
고영향 AI로 분류되면 일반 AI 사업자가 져야 하는 의무에 더하여 안전성 확보 의무, 영향평가, 사고 보고 의무 등이 추가됩니다. 따라서 "우리 서비스가 고영향 AI에 해당하는가"는 모든 AI 사업자가 반드시 확인해야 하는 첫 번째 질문입니다.
AI기본법이 정의하는 고영향 AI 10개 분야
AI기본법 및 시행령은 고영향 AI가 적용되는 분야를 구체적으로 열거하고 있습니다. 각 분야와 해당 여부를 판단하는 기준을 정리합니다.
1. 생명·신체의 안전
사람의 생명이나 신체에 직접적인 영향을 미칠 수 있는 분야입니다.
해당 예시:
- 의료 진단 보조 AI (질병 예측, 영상 판독)
- 자율주행 차량의 주행 판단
- 산업 현장 안전 모니터링 AI
- 응급 상황 대응 의사결정 AI
비해당 예시:
- 건강 정보 제공 챗봇 (진단이 아닌 일반 정보)
- 운동 추천 앱 (생명에 직접 영향 없음)
2. 기본권 보호
개인의 기본적 권리에 중대한 영향을 미칠 수 있는 분야입니다.
해당 예시:
- 범죄 예측 AI (프로파일링)
- 감시 카메라 기반 실시간 안면 인식
- 표현의 자유에 영향을 미치는 콘텐츠 필터링 AI
비해당 예시:
- 일반적인 스팸 필터
- 콘텐츠 추천 알고리즘 (단순 추천)
3. 사법·수사
법적 판단이나 수사에 활용되는 AI입니다.
해당 예시:
- 양형(형량) 추천 AI
- 증거 분석 자동화 AI
- 보석/구금 결정 보조 AI
- 범죄 위험도 평가 AI
4. 교육
교육 기회와 성취에 영향을 미치는 AI입니다.
해당 예시:
- 입학 심사/선발에 활용되는 AI
- 학생 성적 예측 및 분류 AI
- 학습 경로 결정 AI (특정 과정으로의 배치)
- 부정행위 감지 AI
비해당 예시:
- 단순 학습 보조 챗봇
- 출석 관리 시스템 (QR체크인 등)
- 학습 콘텐츠 추천
교육기관 운영자 참고: 크로노젠 LMS의 QR출석 체크인, 학습 진도 관리 등은 고영향 AI에 해당하지 않습니다. 다만, AI를 활용한 학습자 성취도 예측이나 자동 수료/불수료 판정 기능을 추가한다면 고영향 AI로 분류될 수 있습니다.
5. 채용·고용
채용과 고용 관계에서 활용되는 AI입니다.
해당 예시:
- AI 이력서 스크리닝
- AI 면접 평가
- 승진/해고 의사결정 보조 AI
- 근무 성과 자동 평가 AI
비해당 예시:
- 채용 공고 추천
- 일정 관리 자동화
6. 복지·사회보장
복지 급여와 사회보장 서비스에 관한 AI입니다.
해당 예시:
- 복지 급여 자격 심사 AI
- 사회보장급여 수급 자격 자동 판정
- 긴급 복지 지원 대상 선별 AI
- 장애 등급 판정 보조 AI
비해당 예시:
- 복지 서비스 안내 챗봇
- 상담 예약 자동화
- 복지센터 일정 최적화
복지기관 운영자 참고: 크로노젠의 업무 자동화(일정 배치, 문서 생성, 정산 자동화)는 고영향 AI에 해당하지 않습니다. 하지만 AI가 수급자 자격을 자동으로 판정하는 기능은 고영향 AI로 분류됩니다. 크로노젠은 이러한 고영향 판단에 대해 반드시 Human-in-the-Loop(사람 검토) 단계를 포함하고, DPU로 전 과정을 기록합니다.
7. 금융·보험
금융 상품과 보험에 관한 AI입니다.
해당 예시:
- 신용 평가 AI
- 대출 심사 자동화 AI
- 보험 가입 심사/거절 AI
- 보험금 지급 결정 AI
8. 의료·건강
의료 행위와 건강 관리에 관한 AI입니다.
해당 예시:
- AI 기반 의료 영상 판독 (CT, MRI, X-ray)
- 질병 진단 보조 AI
- 약물 처방 추천 AI
- 수술 로봇의 자율 판단 기능
비해당 예시:
- 건강 정보 검색 챗봇
- 운동/식단 추천 앱
- 병원 예약 자동화
9. 교통·이동
교통 수단과 이동에 관한 AI입니다.
해당 예시:
- 자율주행 차량 (레벨 3 이상)
- 항공기 자동 운항 시스템
- 교통 신호 제어 AI
- 긴급 차량 경로 최적화 AI
10. 에너지·환경
에너지 공급과 환경 관리에 관한 AI입니다.
해당 예시:
- 전력망 자동 제어 AI
- 원자력 시설 모니터링 AI
- 대규모 수자원 관리 AI
- 재난 예측 및 대응 AI
고영향 AI 해당 시 추가 의무
고영향 AI로 분류되면 다음의 추가 의무가 부과됩니다.
안전성 확보 의무
고영향 AI 시스템의 안전성을 확보하기 위한 기술적·관리적 조치를 취해야 합니다.
- 시스템 신뢰성: AI 판단의 정확성, 일관성, 편향성 점검
- 보안 조치: AI 시스템에 대한 사이버 보안 확보
- 품질 관리: 학습 데이터의 품질 관리 체계
영향평가 실시
고영향 AI 시스템을 출시하기 전에 인공지능 영향평가를 실시해야 합니다.
- AI 시스템이 기본권, 안전, 사회에 미치는 영향을 사전 분석
- 위험을 완화하기 위한 조치 계획 수립
- 평가 결과를 기록·보관
사고 보고 의무
고영향 AI 시스템에서 중대한 사고가 발생한 경우 관계 기관에 보고해야 합니다.
- 사고 발생 사실, 원인, 피해 규모
- 취한 조치 및 향후 대책
Human-in-the-Loop 보장
고영향 AI의 최종 판단에는 사람의 검토와 개입이 가능해야 합니다. AI가 자율적으로 최종 결정을 내리는 것이 아니라, 사람이 AI의 판단을 확인하고 필요 시 수정할 수 있는 구조를 갖추어야 합니다.
자가 진단: 3단계 판별법
STEP 1: AI를 이용한 제품·서비스를 제공하는가?
내부 업무에 AI를 사용하는 것만으로는 해당하지 않습니다. 이용자에게 AI 제품·서비스를 제공하는 경우에만 적용됩니다.
STEP 2: 10개 분야에 해당하는가?
위에 열거된 10개 분야에 해당하는지 확인합니다. 하나라도 해당하면 고영향 AI일 수 있습니다.
STEP 3: 사람의 생명·신체·기본권에 중대한 영향을 미치는가?
같은 분야라도 AI의 관여 수준에 따라 판단이 달라집니다. AI가 최종 의사결정을 내리는가, 아니면 사람의 판단을 보조하는가에 따라 고영향 여부가 결정됩니다.
판단이 어려운 경우 인공지능기본법 지원데스크(sw.or.kr/AI_act_helpdesk/main.jsp)에 유선 상담 또는 서면 검토를 요청할 수 있습니다.
고영향 AI 판단 가이드라인 활용
과학기술정보통신부는 고영향 AI 판단 가이드라인을 별도로 제공하고 있습니다. 이 가이드라인은:
- 10개 분야별 구체적인 해당/비해당 기준 제시
- 경계선 사례에 대한 판단 방법론 제공
- 자가 점검 체크리스트 포함
AI 제품·서비스를 제공하는 모든 사업자는 이 가이드라인을 반드시 확인하시기 바랍니다.
결론: 고영향이 아니어도 준비는 필요하다
고영향 AI에 해당하지 않더라도 안심할 수는 없습니다. 생성형 AI를 이용한 서비스라면 투명성 확보 의무(사전 고지, 표시, 딥페이크 표시)는 동일하게 적용됩니다.
오히려 고영향 AI에 해당하지 않는 사업자가 자발적으로 안전성 확보 체계와 영향평가를 실시하고 기록으로 남겨두면, 향후 법 개정이나 적용 범위 확대 시에도 유연하게 대응할 수 있습니다. DPU 기반 증빙 체계는 이러한 자발적 준비 기록까지도 변조 불가능한 형태로 보관하여, 사업자의 성실한 이행 노력을 증명합니다.