AI를 도입한 조직이 대답하지 못하는 질문
"이 보고서의 숫자는 어떻게 나온 건가요?"
AI를 업무에 활용하는 조직이 늘고 있습니다. 문서 초안 작성, 데이터 분석, 바우처 심사, 리스크 평가 — AI가 실행하는 업무의 범위는 빠르게 넓어지고 있습니다. 그런데 이 조직들이 공통적으로 대답하지 못하는 질문이 있습니다.
- "AI가 이 결론을 내릴 때 어떤 데이터를 참고했는가?"
- "그 시점에 어떤 정책이 적용되고 있었는가?"
- "이 판단에 사람이 관여했는가, AI가 단독으로 결정한 것인가?"
- "이 기록이 사후에 수정되지 않았다는 걸 어떻게 증명하는가?"
대부분의 시스템은 AI의 결과만 저장합니다. "승인", "거절", "생성 완료" 같은 최종 상태만 남고, 그 판단에 이르기까지의 과정은 어디에도 남지 않습니다. 이것이 AI를 도입한 조직이 직면하는 가장 근본적인 문제입니다.
AI 실행 증빙의 정의
**AI 실행 증빙(AI Execution Proof)**이란, AI가 실행한 판단·행위에 대해 그 근거와 맥락을 구조화된 형태로 기록하고, 사후 변조 없이 보존하며, 필요 시 즉시 검증·제출할 수 있는 체계를 말합니다.
단순한 로그 기록과 AI 실행 증빙의 차이를 명확히 구분할 필요가 있습니다.
| 구분 | 일반 로그 | AI 실행 증빙 |
|---|---|---|
| 기록 대상 | 시스템 이벤트 (API 호출, 에러 등) | AI의 판단 단위 (입력·정책·결과·검토) |
| 구조 | 자유 형식 텍스트 | 구조화된 증빙 단위 (DPU) |
| 무결성 | 보장 없음 (DB 관리자가 수정 가능) | 해시 체인으로 위변조 탐지 |
| 정책 기록 | 현재 정책만 보유 | 판단 시점의 정책 버전 봉인 |
| 역할 구분 | AI·인간 구분 없음 | AI 관여도와 인간 검토 이력 분리 |
| 검증 | 내부자만 확인 | 제3자도 공개 검증 가능 |
| 감사 대응 | 로그를 사후 조합하여 보고서 작성 | 즉시 조회·추출·제출 |
AI 실행 증빙은 "기록"이 아니라 **"증명"**입니다. 기록은 있으면 참고하는 것이고, 증빙은 없으면 위험한 것입니다.
왜 지금 필요한가: 3가지 구조적 변화
변화 1: AI가 판단을 내리기 시작했다
과거의 IT 시스템은 사람이 입력한 데이터를 저장하고 조회하는 역할이었습니다. 판단은 사람이 했고, 시스템은 도구였습니다. 하지만 AI는 다릅니다. AI는 데이터를 입력받아 스스로 결론을 도출합니다. 바우처 자격을 심사하고, 리스크를 평가하고, 보고서를 작성합니다.
판단의 주체가 사람에서 AI로 이동하면, 판단의 근거를 증명할 책임도 함께 이동해야 합니다. 그런데 대부분의 시스템은 이 책임의 이동을 반영하지 못하고 있습니다.
변화 2: 법이 증빙을 요구하기 시작했다
2026년 1월 시행된 AI기본법은 AI를 활용하는 조직에 투명성, 위험관리, 설명 가능성을 법적 의무로 부과했습니다. EU AI Act는 한 발 더 나아가 고위험 AI 시스템에 대해 전 생애주기 로깅을 요구합니다. ISO 42001은 AI 관리 체계의 국제 표준을 제시합니다.
이 모든 규제의 공통 요구는 하나입니다. "AI가 한 일을 설명하고 증명하라." 설명하지 못하면 과태료(AI기본법 제43조, 3천만 원 이하), 시장 접근 제한(EU AI Act), 인증 실패(ISO 42001)로 이어집니다.
변화 3: 감사의 질문이 달라졌다
과거 감사의 질문은 "이 돈이 어디로 갔는가?"였습니다. 이제 감사의 질문은 "이 AI가 왜 이렇게 판단했는가?"가 되었습니다. 감사관이 "AI 자동 승인 건의 판단 근거를 제시하라"고 요구했을 때, 시스템에 "승인됨"만 기록되어 있다면 소명이 불가능합니다.
감사 환경의 변화는 공공기관에 국한되지 않습니다. 민간 기업도 내부 감사, 외부 인증 심사, 고객 소송 대응에서 동일한 질문에 직면합니다.
AI 실행 증빙의 5가지 구성 요소
AI 실행 증빙은 단순히 "뭔가를 기록하는 것"이 아닙니다. 증빙으로서의 가치를 가지려면 5가지 요소가 갖춰져야 합니다.
1. 판단 단위의 구조화 (Decision Proof Unit)
AI의 판단을 하나의 봉인된 단위로 기록합니다. 이 단위에는 다음이 포함됩니다.
- 입력 데이터: AI가 판단할 때 참조한 원본 데이터의 스냅샷
- 적용 정책: 해당 시점에 유효했던 규칙·기준의 버전
- 판단 결과: AI가 도출한 결론과 그 근거
- 행위 유형: 생성(CREATE), 수정(UPDATE), 승인(APPROVE), 거절(REJECT) 등
이 단위를 크로노젠에서는 **DPU(Decision Proof Unit)**라 부릅니다. DPU는 AI가 판단을 내리는 그 순간에 생성되며, 사후에 조합하는 것이 아닙니다.
2. AI-인간 역할 분리
AI가 단독으로 결정한 것인지, 보조 역할을 한 것인지, 사람이 최종 승인한 것인지가 명확히 기록되어야 합니다.
| AI 모드 | 설명 | 예시 |
|---|---|---|
| AUTONOMOUS | AI가 단독 판단 | 야간 자동 정산 |
| RECOMMENDATION | AI가 추천, 사람이 결정 | 바우처 자격 추천 → 담당자 승인 |
| ASSIST | 사람이 주도, AI가 보조 | 보고서 초안 AI 작성 → 담당자 수정·확정 |
이 구분이 없으면 "이 결정에 AI가 어디까지 관여했는가?"라는 질문에 답할 수 없습니다.
3. 정책 버전 봉인
복지 정책, 바우처 단가, 심사 기준은 자주 변경됩니다. 6개월 전 AI가 내린 판단이 당시에는 적법했지만, 현재 기준으로는 부적합해 보일 수 있습니다. 판단 시점의 정책이 함께 봉인되어 있어야 "당시에는 이 기준이 적용되었다"를 증명할 수 있습니다.
4. 무결성 보장 (해시 체인)
기록이 사후에 수정되거나 삭제될 수 있다면, 그 기록은 증빙으로서의 가치가 없습니다. AI 실행 증빙에서는 해시 체인을 사용하여 무결성을 보장합니다.
각 DPU는 생성 시 이전 DPU의 해시를 참조하여 자신의 해시를 계산합니다. 이렇게 연결된 체인에서 과거의 어떤 기록을 수정하면, 그 이후의 모든 해시가 불일치하게 되어 변조 사실이 즉시 드러납니다.
DPU #1 (Genesis)
hash: SHA-256(content₁ + "0" + timestamp₁)
↓
DPU #2
hash: SHA-256(content₂ + hash₁ + timestamp₂)
↓
DPU #3
hash: SHA-256(content₃ + hash₂ + timestamp₃)
↓
... (연속 체인)
이것은 블록체인의 핵심 원리와 동일하지만, 별도의 블록체인 인프라 없이 구현할 수 있습니다.
5. 즉시 검증 및 추출
기록은 필요할 때 즉시 검증하고 추출할 수 있어야 합니다. 감사관이 요청했을 때 수 주간 로그를 뒤지는 것이 아니라, 해당 판단의 전체 맥락을 즉시 조회하고 표준 형식(JSON-LD 등)으로 내보낼 수 있어야 합니다.
실행 증빙이 없을 때 발생하는 문제
감사 대응 실패
감사관이 "이 AI 자동 승인 건의 근거를 제시하라"고 요구합니다. 시스템에는 "승인됨"만 기록되어 있습니다. 담당자는 당시의 데이터를 재구성하려 하지만, 정책이 이미 변경되어 당시 기준을 확인할 방법이 없습니다. 결과: 감사 지적, 소명 실패, 과태료.
법적 분쟁 대응 불가
AI가 바우처 자격을 거절한 민원인이 이의를 제기합니다. "왜 거절되었는지 설명해 달라"는 요구에 "AI가 종합적으로 판단했습니다"라고 답하는 것은 설명이 아닙니다. AI기본법 제34조는 이용자가 AI 판단의 근거를 요구할 수 있는 권리를 명시합니다.
조직 내부 신뢰 저하
"AI가 실수해도 추적할 방법이 없다"는 인식이 퍼지면, 현장 담당자들의 AI에 대한 신뢰가 무너집니다. 결과적으로 AI를 도입했지만 아무도 쓰지 않는 상황이 발생합니다.
규제 인증 차단
ISO 42001(AI 관리 체계), EU AI Act 적합성 평가, 공공조달 AI 요건 충족 — 이 모든 인증은 "AI 판단의 추적 가능성"을 요구합니다. 증빙 체계 없이는 인증 자체가 불가능합니다.
AI 실행 증빙을 도입하는 조직의 유형
AI 실행 증빙이 필요한 조직은 특정 산업에 한정되지 않습니다.
| 조직 유형 | 증빙이 필요한 상황 | 증빙 대상 |
|---|---|---|
| 공공기관 | 정기 감사, 보조금 정산 | AI 자동 승인, 정산 판단 |
| 복지·재활센터 | 바우처 정산, 사례 관리 | AI 기반 자격 심사, 치료 기록 요약 |
| 교육기관 | HRD-Net 보고, 이수 관리 | AI 출석 판정, 평가 자동화 |
| 영업 조직 | SLA 준수 검증, 내부 감사 | AI 리드 스코어링, 전환 예측 |
| 의료기관 | 의료 심사, 환자 권리 | AI 진단 보조, 처방 추천 |
| 금융기관 | 금감원 검사, 내부 통제 | AI 신용 평가, 이상 거래 탐지 |
공통점은 하나입니다. AI가 사람에게 영향을 미치는 판단을 내리는 모든 조직에 AI 실행 증빙이 필요합니다.
증빙 인프라의 3가지 접근 방식
AI 실행 증빙을 구현하는 방식은 크게 세 가지로 나뉩니다.
방식 1: 사후 로그 조합
기존 시스템 로그, API 호출 기록, DB 변경 이력을 사후에 모아서 보고서를 만드는 방식입니다.
- 장점: 추가 인프라 불필요
- 한계: 구조화되지 않음, 무결성 보장 없음, 정책 버전 추적 불가, 감사 대응에 수일~수주 소요
방식 2: 감사 로그 전용 시스템
별도의 감사 로그 시스템(SIEM 등)을 구축하여 이벤트를 수집하는 방식입니다.
- 장점: 중앙 집중형 로그 관리
- 한계: AI 판단의 의미론적 구조 부재, 정책 버전 봉인 없음, AI-인간 역할 구분 불가
방식 3: AI 실행 증빙 인프라
AI 판단이 생성되는 그 순간, 입력·정책·결과·검토 이력을 하나의 증빙 단위로 봉인하고 해시 체인으로 연결하는 방식입니다.
- 장점: 판단과 증빙이 동시 생성, 무결성 기술적 보장, 즉시 검증·추출, 제3자 공개 검증 가능
- 한계: 전용 인프라 구축 필요
크로노젠의 Proof Layer는 세 번째 방식을 구현합니다. DPU가 AI 판단과 동시에 생성되고, SHA-256 해시 체인으로 연결되며, 5단계 거버넌스 가드가 AI 실행 전에 정책 준수를 자동 검증합니다.
Proof Layer의 작동 원리
크로노젠의 Proof Layer가 AI 판단을 증빙으로 변환하는 과정은 다음과 같습니다.
AI 판단 요청
↓
[1] 정책 존재 확인 — 해당 도메인에 적용 가능한 정책이 있는가?
↓
[2] 증거 수준 검증 — 요구되는 증거 수준(DRAFT/DOCUMENTED/AUDIT_READY)을 충족하는가?
↓
[3] 인간 검토 요구 — 이 판단에 인간 검토가 필요한가?
↓
[4] 리스크 임계 확인 — 리스크 점수가 자동 실행 임계값 이내인가?
↓
[5] 이중 승인 — 고위험 판단에 두 명 이상의 승인이 필요한가?
↓
모든 가드 통과 → DPU 생성 + 해시 체인 연결 + 증빙 봉인
이 과정은 AI 판단과 동시에 이루어지며, 별도의 수동 작업이 필요하지 않습니다. AI가 실행하면 증빙이 자동으로 따라옵니다.
다음 단계
AI 실행 증빙은 선택이 아니라 AI를 도입한 조직의 기본 인프라입니다. 법이 요구하고, 감사가 묻고, 이용자가 기대합니다.
- AI기본법 대응 가이드 에서 법적 요구사항을 확인하세요
- AI 감사 대응 가이드 에서 감사 대응 체크리스트를 살펴보세요
- 도입 상담 신청 에서 조직의 증빙 체계 현황을 진단받으세요
AI 실행 증빙은 "AI를 못 쓰게 하는 것"이 아닙니다. "AI를 안심하고 쓸 수 있게 하는 것"입니다.