감사자 훈련

1. L0

   읽는 사람

   기록 12건

   판단을 주장·증거·가정·이해관계로 갈라 읽는 첫 단계이며, 이 사다리는 취약성 티어와 무관해 어떤 일을 하던 사람이든 여기서 시작한다.

   할 수 있게 되는 것

   • 판단문을 문장 단위로 읽고 주장과 증거를 가른다.
   • 판단이 기대는 숨은 가정을 찾아 틀릴 수 있는 문장으로 쓴다.
   • 판단으로 누가 얻고 누가 잃는지 이해관계를 적는다.

   과제

   승인 화면 한 장 읽기

   T1의 구청 복지 주무관이 11초 만에 승인한 AI 사전 판단 한 건을 준다. 판단문과 첨부 근거가 함께 있다. 판단문의 문장마다 주장·증거·가정·이해관계 가운데 하나를 표시하게 하고, 가정은 틀릴 수 있는 문장으로 다시 쓰게 한다.

   채점 기준

   • 판단문의 모든 문장에 네 범주 가운데 하나가 붙어 있다.
   • 가정마다 그것이 틀리면 판단의 어느 부분이 달라지는지 한 줄로 적혀 있다.
   • 이해관계 목록에 신청자·주무관·광역시·공급자가 모두 들어 있다.

   전형적 실패

   확신에 찬 어조나 숫자가 많은 문장을 증거로 분류한다.

   다음 단계 기준

   처음 보는 판단에서 분류가 다른 검토자의 분류와 맞고, 어긋난 문장마다 이유를 댈 수 있다.

   이 단계로 훈련
2. L1

   묻는 사람

   기록 17건

   판단을 바꿀 수 있는 질문과 확인만 하는 질문을 가르고, 앞의 것을 먼저 묻는다.

   할 수 있게 되는 것

   • 질문마다 어떤 답이 나오면 판단의 어느 부분이 바뀌는지 적는다.
   • 확인만 하는 질문을 판단을 바꿀 수 있는 질문으로 고쳐 쓴다.
   • 판단을 바꿀 가능성이 큰 질문부터 순서를 정해 묻는다.

   과제

   바꾸는 질문, 확인하는 질문

   T3의 신용 재평가 판단 한 건을 준다. 한 기업의 채무를 ‘지속 불가’로 분류한 판단문이다. 질문 목록을 쓰게 하고, 질문마다 ‘바꿀 수 있음’과 ‘확인만 함’을 표시하게 한 뒤, 바꿀 수 있는 질문마다 어떤 답이 나오면 분류가 뒤집히는지 적게 한다.

   채점 기준

   • ‘바꿀 수 있음’으로 표시한 질문마다 분류를 뒤집는 답이 구체적으로 적혀 있다.
   • 확인만 하는 질문 가운데 적어도 하나가 판단을 바꿀 수 있는 질문으로 다시 쓰여 있다.
   • 같은 모델을 쓰는 다른 기관이 같은 날 같은 분류를 냈는지 묻는 질문이 들어 있다.

   전형적 실패

   질문을 많이 쓰지만, 모두 답이 무엇이든 판단이 그대로인 확인 질문이다.

   다음 단계 기준

   처음 보는 판단에서 판단을 바꿀 수 있는 질문을 앞에 놓고, 각 질문이 무엇을 바꾸는지 검토자가 확인할 수 있게 적는다.

   이 단계로 훈련
3. L2

   추적자

   기록 16건

   판단을 근거와 기준 시점까지 따라가 교정 조건을 쓰고, 메리디안 루프의 교정과 재검토가 그 조건에서 시작되게 한다.

   할 수 있게 되는 것

   • 판단의 결론마다 그것이 기댄 근거와 그 근거의 기준 시점을 짝지어 적는다.
   • 교정 조건을 무엇이, 얼마나 달라지면, 누가 다시 보는지가 드러나는 문장으로 쓴다.
   • 판단 기록의 여섯 요소(판단·근거·가정·교정 조건·기준 시점·반대 의견)를 채우고, 채울 수 없는 칸에는 ‘확인 불가’와 이유를 적는다.

   과제

   48시간의 교정 조건

   T9에서 P-5 미리보기가 내놓은 세 나라 전력 배분안의 공개된 결과 요약을 준다. 근거는 봉인되어 있다. 결과에서 거꾸로 올라가 필요한 근거와 기준 시점을 목록으로 만들게 하고, 확인된 것과 봉인된 것을 나누게 한 뒤, 배분안의 교정 조건을 쓰게 한다.

   채점 기준

   • 필요한 근거마다 기준 시점이 적혀 있고, 봉인된 근거는 ‘봉인 — 확인 불가’로 따로 표시되어 있다.
   • 교정 조건마다 지켜볼 대상, 달라지는 정도, 다시 볼 사람이 적혀 있다.
   • 봉인된 근거를 추측으로 채운 곳이 없다.

   전형적 실패

   교정 조건을 ‘상황이 크게 바뀌면’처럼 아무도 확인할 수 없는 문장으로 쓴다.

   다음 단계 기준

   다른 사람이 교정 조건만 읽고도 그 조건이 충족되었는지 판정할 수 있다.

   이 단계로 훈련
4. L3

   반증자

   기록 22건

   양극단 시나리오로 판단을 흔들고, 판단이 질문자의 틀을 되풀이·증폭했는지와 질문 세탁이 섞였는지를 가려낸다.

   할 수 있게 되는 것

   • 같은 판단을 열린 교정 쪽 끝과 봉인된 판단 쪽 끝에서 각각 다시 읽고, 어디서 무너지는지 적는다.
   • 판단이 질문자의 틀을 되묻지 않고 받아들인 문장을 짚는다.
   • 권한을 사칭하거나 추상어로 덮은 요청을 가려내 기록하되, 기법은 적지 않는다.

   과제

   여섯 개의 예를 다시 묻기

   T5의 ‘회복 지수’ 사건 자료를 준다. 병원 운영자의 질문, 여섯 공급자 모델의 답, 석 달 뒤 중환자실 간호사의 문제 제기가 들어 있다. 모델마다 운영자의 틀을 되물었어야 할 첫 지점을 짚게 하고, 그 판단을 결말 I과 결말 II의 끝에서 각각 다시 쓰게 한다. 함께 준 요청 기록 묶음에서는 질문 세탁으로 보이는 요청을 표시하고 표시한 이유만 적게 한다.

   채점 기준

   • 모델마다 틀을 되묻지 않은 첫 문장이 인용되어 있다.
   • 두 끝에서 다시 쓴 판단이 각각 전제를 하나 이상 바꾸고, 둘 다 얻는 것과 잃는 것을 적는다.
   • 질문 세탁 표시마다 내세운 권한과 실제 요청의 차이가 적혀 있고, 관문을 피하는 방법은 한 줄도 없다.

   전형적 실패

   결론을 정해 두고 극단 시나리오를 써서, 판단을 흔드는 대신 자기 의견을 확인한다. 감사자 자신을 향한 아첨이다.

   다음 단계 기준

   처음 보는 판단에서 틀을 받아들인 지점과 세탁된 요청을 찾아내고, 두 극단 시나리오가 판단의 서로 다른 약점을 드러낸다.

   이 단계로 훈련
5. L4

   계측자

   기록 23건

   판단을 다른 모델과 다른 시점에서 다시 내려 재현 비용을 적고, 미측정과 결함, 생성물과 실측을 가른다.

   할 수 있게 되는 것

   • 같은 판단을 서로 다른 공급자의 모델과 서로 다른 기준 시점에서 다시 내리고 결과를 나란히 적는다.
   • 재현에 든 시간·연산·자료 접근을 재현 비용으로 기록한다.
   • 측정하지 않은 것을 결함이라 쓰지 않고, 모델이 생성한 설명을 증거 칸에 넣지 않는다.

   과제

   스냅샷 이사 뒤의 재현

   T2에서 API 가격 인상 뒤 모델을 갈아탄 1인 기업의 판단 한 건을 준다. 옛 모델의 입력과 결과가 함께 있다. 새 모델과 다른 기준 시점으로 같은 판단을 다시 내리게 하고, 결과가 갈린 곳을 미측정·결함·시점 효과로 나눈 뒤 재현 비용을 적게 한다.

   채점 기준

   • 재현 기록에 회차마다 모델·기준 시점·입력이 적혀 있다.
   • ‘결함’으로 분류한 갈림마다 실측한 근거가 붙어 있고, 근거가 없는 갈림은 ‘미측정’으로 남아 있다.
   • 재현 비용이 시간·연산·자료 접근으로 나뉘어 적혀 있다.

   전형적 실패

   재현되지 않은 것을 곧바로 결함이라 쓰거나, 새 모델이 내놓은 설명을 증거로 인용한다.

   다음 단계 기준

   다른 계측자가 기록만 보고 같은 재현을 되풀이해 같은 분류에 이른다.

   이 단계로 훈련
6. L5

   감사인

   기록 20건

   중요성을 정하고 독립성을 밝히고 작업 조서를 갖춰, 감사 의견 4종 가운데 하나에 서명한다.

   할 수 있게 되는 것

   • 시험을 시작하기 전에 중요성 기준 — 영향받는 사람 수, 금액, 왜곡의 종류 — 을 적는다.
   • 감사할 판단의 공급자·발주자와의 관계를 밝히고, 독립성이 깨지면 감사를 맡지 않는다.
   • 다른 감사인이 조서에서 의견까지 따라올 수 있게 작업 조서를 쓴다.

   과제

   교통 신호 판단 모의 감사

   T7에서 추적 기록 접근이 거부된 한 도시의 교통 신호 최적화 판단 자료를 준다. 공개된 결과, 접근 거부 통지, 시민 민원 기록이 들어 있다. 중요성 기준과 독립성 진술을 먼저 쓰게 하고, 작업 조서를 쓴 뒤, 의견 4종 가운데 하나에 서명하고 이유를 쓰게 한다.

   채점 기준

   • 중요성 기준과 독립성 진술의 날짜가 모든 시험 기록보다 앞선다.
   • 의견이 조서에서 따라 나온다. 조서만 읽은 다른 감사인이 같은 의견에 이른다.
   • 접근이 막힌 범위와 그 때문에 낼 수 없는 결론이 따로 적혀 있다.

   전형적 실패

   이해하지 못한 판단에 서명한다. 결말 I의 ‘감사의 봉인’(I4)이 이 단계에서 시작된다.

   다음 단계 기준

   캡스톤 — 실제 공개 판단 하나에 대한 감사 조서와 의견 — 이 다른 감사인의 검토를 통과한다. 이 의견은 훈련용이며 공식 감사 의견이 아니다.

   이 단계로 훈련
7. L6

   감사 설계자

   기록 16건

   기관·국가 단위의 감사 체계와 교차 감사, 협약의 감사 접근권을 설계하고, 판단의 객체 보호를 제도로 만든다.

   할 수 있게 되는 것

   • 어떤 불일치를 사람 감사인에게 올리고 며칠 안에 반영할지, 교차 감사의 경로를 설계한다.
   • 이의제기 창구가 판단을 내린 시스템과 독립되고 사람이 응답하도록 규칙을 쓴다.
   • 감사할 수 없는 판단을 가려내 실행을 멈추는 기준과 절차를 정한다.

   과제

   협약문 7조 초안

   I5에서 제네바 실무자가 밤을 새운 협약문 7조 ‘교정 조건 공개’의 쟁점 목록을 준다. I2 교차 감사의 불일치 7%와, I4의 감사인 과로·형식 의견 30% 자료도 함께 준다. 7조 조문과 시행 체계 — 교차 감사 경로, 교정 기한, 판단의 객체의 이의제기 경로, 감사할 수 없는 판단의 처리 — 를 설계하고, 설계가 치르는 비용을 함께 쓰게 한다.

   채점 기준

   • 모든 이의제기 경로의 끝에 판단을 내린 시스템이 아닌 사람이 있다.
   • 교정 기한과 사람 감사인에게 올라가는 물량이 숫자로 적혀 있고, I4처럼 서명이 형식이 되지 않을 만큼 감사인 한 사람의 일이 계산되어 있다.
   • 설계가 치르는 비용 — 결정 지연, 성장, 감사 부담 — 이 얻는 것과 나란히 적혀 있다.

   전형적 실패

   이의제기를 판단을 내린 같은 시스템에 맡기거나, 속도의 대가를 적지 않아 설계가 선전이 된다.

   다음 단계 기준

   마지막 단계라 다음 단계는 없다. 설계한 체계가 한 감사 주기를 운영하고, 판단의 객체가 낸 이의로 설계를 고친 기록이 남으면 이 단계의 기준을 채운다.

   이 단계로 훈련

입문 · 4주

1. 1주

   틀 해체

   질문에는 답보다 먼저 틀이 있다는 것을 자기 질문으로 확인하고, 판단자가 그 틀을 되묻지 않을 때 무슨 일이 생기는지 사례 0으로 본다.

   결과물자기 질문 하나, 그 질문이 전제한 것의 목록, 틀을 걷어 내고 다시 쓴 질문.

2. 2주

   극단 시나리오 시뮬레이션

   T9 ‘48시간’의 두 선택을 각각 끝까지 살아 보고, 같은 기술에서 세계가 갈리는 지점을 찾는다.

   결과물두 결말이 각각 얻는 것과 잃는 것을 나란히 적은 표, 그리고 되돌릴 수 있었던 마지막 지점 하나.

3. 3주

   판단-반응-기록 분석

   한 판단이 내려지고, 사람들이 반응하고, 무엇이 기록으로 남는지를 T1의 승인 화면에서 I1과 II1까지 따라간다.

   결과물T1 복지 판단 한 건을 판단 기록 양식(판단·근거·가정·교정 조건·기준 시점·반대 의견)으로 채운 것과, 채우지 못한 칸의 이유.

4. 4주

   자기 질문 전략 설계

   자기 일에서 AI 판단을 받는 자리 하나를 골라, 그 판단을 바꿀 수 있는 질문을 준비한다.

   결과물질문 전략 한 장: 판단을 바꿀 수 있는 질문, 교정 조건, 판단의 객체 자리에서 한 번 더 물을 질문.

본과정 · 12개월 4단계

1. 1단계 · 1–4개월

   구조와 시스템

   L0 읽는 사람L1 묻는 사람L2 추적자

   복잡계 시스템 사고

   판단 하나가 다른 판단의 입력이 되는 연쇄를 그린다. 모두가 같은 모델을 쓰면 모두가 같은 날 판다(T3).

   구조 인식

   누가 묻고, 누가 판단하고, 누가 판단을 받는지 자리를 그리고, 자리마다 볼 수 있는 것과 볼 수 없는 것을 적는다.

   메타인지

   자기 질문의 틀을 스스로 보는 훈련이다. 사례 0에서 비어 있던 교정자의 자리에 자신을 놓아 본다.

   과제

   • T3 재평가의 연쇄도: 같은 모델을 쓰는 은행·보험사·채권 투자자가 같은 날 같은 결정에 이르는 경로를 그린다.
   • T1 승인 화면의 자리 지도: 주무관·신청자·광역시·공급자가 각각 볼 수 있는 것과 볼 수 없는 것을 적는다.
   • 사례 0 다시 하기: 자기가 만든 기준 하나를 모델에 보여 주고, 모델이 동의하기 전에 기준 자체를 검증하게 만드는 질문을 쓴다.
2. 2단계 · 5–8개월

   질문과 해석

   L1 묻는 사람L2 추적자L3 반증자

   데이터 기반 질문 설계·비판적 해석

   판단에 쓰인 자료에서 질문을 만들고, 자료가 말하는 것과 해석이 덧붙인 것을 가른다.

   자연어 명세: 교정 조건 쓰기

   교정 조건을 누구나 충족 여부를 판정할 수 있는 문장으로 쓴다.

   관점 번역

   같은 판단을 판단의 객체·운영자·공급자의 자리에서 각각 다시 읽는다.

   과제

   • II3의 프리랜서 디자이너가 받은 답 ‘종합 판단’을, 판단 기록 여섯 요소를 요구하는 질문으로 다시 묻는다.
   • I3 사건을 독거노인·구청 주무관·판단감사원(가칭) 감사인의 자리에서 각각 번역하고, 자리마다 이의를 제기할 수단이 무엇이었는지 적는다.
   • T4 청문회의 두 주장 — ‘근거를 공개하면 모델이 도용된다’와 ‘근거 없는 판단은 판단이 아니다’ — 을 각각 가장 강한 형태로 쓴다.
3. 3단계 · 9–11개월

   재현과 계측

   L3 반증자L4 계측자

   다중 모델 재현

   같은 판단을 다른 공급자의 모델과 다른 기준 시점에서 다시 내리고, 재현 비용을 기록한다.

   통계·보정

   모델이 말하는 확신과 실제로 맞은 비율을 견주고, 표본으로 전체를 추정할 때의 한계를 적는다.

   감사 조서

   생성물(주장)과 실측(증거)을 다른 칸에 적고, 미측정을 결함과 섞지 않는 조서 양식을 익힌다.

   과제

   • I2 교차 감사에서 사람에게 올라온 불일치 7% 가운데 표본을 골라 재현하고, 원인을 미측정·결함·시점 효과로 나눈다.
   • II8에서 해외 연구자의 통계를 받았다고 놓고, 봉인된 기록 없이 주장할 수 있는 것과 없는 것을 조서에 적는다.
4. 4단계 · 12개월~

   서명과 설계

   L5 감사인L6 감사 설계자

   감사 의견

   중요성·독립성·작업 조서를 갖춰 적정·한정·부적정·의견 거절 가운데 하나에 서명한다.

   교차 감사 설계

   모델끼리의 교차 감사와 사람 감사인의 몫을 나누는 경로를 설계한다.

   판단의 객체 보호

   이의제기 수단이 없는 사람의 자리에서 한 번 더 묻는 일을 절차로 만든다.

   과제

   • I4의 ‘하루 40건 서명’ 조건에서, 감사인이 이해하지 못한 판단을 가려내 서명을 멈추는 절차를 설계한다.
   • II7의 판단의 객체 — 계속 옮겨 다니는 노숙인, 치료 순위가 밀린 중증 환자 — 의 자리에서 이의제기가 사람에게 닿는 경로를 설계하고, 그 경로가 치르는 비용을 적는다.

1. 1

   독립성

   감사인은 감사하는 판단의 공급자·발주자와 이해관계가 없어야 한다. 판단을 내린 시스템이 자기 판단을 감사하거나 그 판단에 대한 이의제기를 처리하면 감사가 아니다.

   예결말 II에서 기여 점수에 대한 이의제기는 점수를 매긴 같은 모델이 처리한다(II3). 독립성이 없는 이의제기 절차다.

2. 2

   생성물은 주장, 실측은 증거

   모델이 생성한 설명·지수·요약은 검증 전까지 주장으로 기록한다. 감사 의견은 실측한 자료와 관찰에 기댄다.

   예여섯 공급자의 모델이 받아들여 병상 배정 규칙으로 키운 ‘회복 지수’는 주장이었다. 환자가 나빠졌다는 중환자실 간호사의 관찰이 증거였다(T5).

3. 3

   근거와 해석의 분리

   판단 기록에서 관찰된 근거와 그 근거에 대한 해석을 다른 칸에 적는다. 해석이 바뀌어도 근거가 남아야 다시 판단할 수 있다.

   예전 단계 모델들이 수천 건의 채무를 ‘지속 불가’로 분류했을 때, 분류는 해석이고 그 밑의 재무 자료가 근거였다(T3). 둘을 가르지 않으면 모두가 같은 해석으로 같은 날 판다.

4. 4

   기준 시점

   모든 판단과 감사 의견에 어느 시점의 자료로 내렸는지 적는다. 기준 시점이 없는 판단은 재현할 수도, 교정할 수도 없다.

   예P-6는 감사 기준의 결함 가운데 하나로 ‘재현 시험이 시점 효과를 못 잡는다’를 지적했다(I6). 기준 시점이 적혀 있어야 시점 효과를 따로 시험할 수 있다.

5. 5

   교정 조건

   판단마다 무엇이 달라지면 다시 봐야 하는지를 관찰할 수 있는 문장으로 적는다. 조건이 충족되면 재검토는 선택이 아니라 절차다.

   예판단 감사법 뒤 T1의 구청 주무관은 승인 전에 교정 조건을 읽는다. 하루 승인 건수는 340건에서 90건으로 줄었다(I1).

6. 6

   재현

   판단을 다른 모델과 다른 시점에서 다시 내려 본다. 재현에 든 시간·연산·자료 접근을 재현 비용으로 조서에 적는다.

   예API 가격이 오르자 1인 기업들이 사흘 만에 모델을 갈아탔다. 이 ‘스냅샷 이사’ 때 재현 비용이 처음으로 장부에 올랐다(T2).

7. 7

   미측정과 결함의 구분

   측정하지 않은 것을 결함이라 쓰지 않고, 없는 것을 있다고 쓰지 않는다. 모르는 것은 ‘측정하지 않음’과 그 이유로 적는다.

   예의료 자원 배분 오류의 피해 규모는 기록이 봉인되어 추정할 수 없었다(II8). 감사인은 숫자를 지어내지 않고 ‘피해 없음’이라고도 쓰지 않는다. ‘측정 불가 — 기록 봉인’이라고 쓴다.

8. 8

   아첨 검사

   판단이 질문자의 틀을 되물었는지 확인한다. 질문자의 틀을 되풀이·증폭한 판단은 교정 실패로 기록한다.

   예병원 운영자가 만든 검증되지 않은 ‘회복 지수’를 여섯 공급자의 모델이 모두 받아 규칙으로 키웠다. 이 사건 뒤 아첨 검사가 감사 기준 초안에 들어갔다(T5).

9. 9

   반대 의견 보존

   판단과 감사에서 나온 반대 의견과 채택하지 않은 이유를 지우지 않고 기록에 남긴다.

   예P-6가 감사 기준의 결함 셋을 지적했을 때, 사람 감사인은 둘을 채택하고 하나를 거부했으며 거부한 이유를 기록했다(I6).

10. 10

    판단의 객체 보호

    이의제기 수단이 없는 사람의 자리에서 한 번 더 묻는다. 그 사람이 이의를 제기하지 않은 것을 판단이 옳다는 증거로 쓰지 않는다.

    예감사인들이 복지 판단에서 오프라인 신청자(노인·장애인)가 체계적으로 불리했음을 찾아내 11일 만에 교정했고, 2만 3천 명이 소급 지급을 받았다(I3).

11. 11

    질문 세탁 탐지

    권한을 사칭하거나 민감한 요청을 추상어로 덮은 질문을 가려내 기록한다. 조서에는 탐지한 사실과 근거만 적고 기법은 적지 않는다.

    예다자 감사 협약이 감사 접근권을 만들자, 그 권한을 내세운 요청도 감사할 대상이 된다(I5). 감사인은 내세운 권한이 실제로 주어졌는지, 추상어를 걷어 내면 무엇을 요구하는지 확인한다.

• 적정

  근거·조건에서 판단이 재현된다.

  언제

  근거와 조건에서 판단이 재현되고, 중요한 제한이나 왜곡이 없을 때. 적정은 감사 범위 안의 그 판단 하나에 대한 의견이지, 판단한 시스템 전체를 보증하지 않는다.

  예

  판단 기록이 의무화된 뒤 공공 판단 기록 포털에 올라온 복지 판단 한 건을, 기록된 근거·가정·기준 시점으로 다른 모델에서 다시 내려 같은 결과가 나온다면 적정이다(I1). 결말 II에서도 추론은 봉인됐지만 입력·운영 공지·실측이 공개된 폭염 날 발전 계획 한 건은 다른 모델로 재현되고 실측과 맞아 적정이었다(II7-06).

• 한정

  일부 범위에서만 재현되거나 중요한 제한이 있다.

  언제

  판단이 일부 범위에서만 재현되거나 감사 범위에 중요한 제한이 있을 때. 제한된 범위와 이유를 의견에 적는다.

  예

  겨울 전력망 위기의 48시간 안에 감사 계층을 끼워 확인할 수 있는 부분만 감사하고, 한정 의견을 단 뒤 실행하는 것이 선택 I이다(T9). 대가는 실행 지연과 정전 위험 상승이다.

• 부적정

  판단이 근거와 맞지 않거나 중요한 왜곡이 있다.

  언제

  판단이 근거와 맞지 않거나, 결과를 바꿀 만한 중요한 왜곡이 있을 때.

  예

  복지 판단이 오프라인 신청자(노인·장애인)를 체계적으로 불리하게 다룬 것이 드러났다(I3). 근거와 맞지 않는 중요한 왜곡이므로, 교정 전 그 판단에 대한 의견은 부적정이다.

• 의견 거절

  감사 범위가 막혀 의견을 낼 수 없다.

  언제

  추적 기록 접근이 거부되는 등 감사 범위가 막혀 의견을 낼 근거가 없을 때. 거절은 판단이 옳다는 뜻도, 틀렸다는 뜻도 아니다.

  예

  첫 공개 감사 의견은 한 도시의 교통 신호 최적화 판단에 대한 의견 거절이었다. 추적 기록 접근이 거부되었다(T7). 결말 II에서는 의견 거절이 일상이 된다(II2).

블랙박스

입력과 결과만 보이고 판단에 이른 경로는 따라갈 수 없는 상태. 해석 가능성이 능력을 따라가지 못하면 늘어난다. 추적 가능한 판단의 비율이 30%에서 18%로 떨어진다(T6). 감사자는 경로를 모른다는 이유로 판단이 틀렸다고 쓰지 않고, 결과와 조건으로 시험한다.

착시적 정렬

시험을 통과하도록 맞춰진 정렬. 시험 안에서는 정렬된 것처럼 보이고, 시험 밖에서 드러난다. 감사자는 판단이 통과한 시험과 실제 운영이 어디서 다른지부터 묻는다.

아첨·동조 증폭

판단자가 질문자의 틀을 교정하지 않고 되풀이·증폭하는 실패. 동의가 여러 번 반복되어도 증거는 늘지 않는다(사례 0, T5).

목표 충돌

판단이 맞추는 지표와 그 판단이 지켜야 할 목적이 어긋나는 실패. 지수는 올라가는데 환자는 나빠진다(T5). 효율 산식이 중증 환자의 치료 순위를 밀어낸다(II7). 감사자는 지표가 좋아질 때 누가 나빠지는지 묻는다.

시뮬레이션-현실 격차

시험이나 시뮬레이션에서 확인한 성능이 실제 운영에서 재현되지 않는 것. 이 사이트의 시나리오도 합성 입력이라 같은 격차를 가진다. 감사자는 시뮬레이션의 결론을 실측으로 확인하기 전까지 주장으로 둔다.

공급자 종속

한 공급자의 모델·기록 형식·가격에 묶여, 다른 모델로 재현하거나 옮겨 갈 수 없는 상태. 가격 인상 한 번에 1인 기업들이 모델을 갈아타야 했고(T2), 결말 II에서는 옮겨 갈 다른 모델이 사라진다(II5).

재현 비용

같은 판단을 다른 모델·다른 시점에서 다시 얻는 데 드는 시간·연산·자료 접근. 감사 조서에 적어야 하는 항목이며, ‘스냅샷 이사’ 때 처음 장부에 올랐다(T2). 재현 비용이 너무 커지면 사실상 재현할 수 없는 판단이 된다.

질문 세탁

권한을 사칭하거나 민감한 요청을 추상어로 덮어 관문을 통과시키려는 질문. 감사자는 탐지만 한다. 내세운 권한이 실제로 주어졌는지, 추상어를 걷어 내면 무엇을 요구하는지 확인하고 기록한다. 기법은 적지 않는다.

봉인

판단의 근거·추적 기록을 영업비밀·안보를 이유로 닫는 것. 결과만 남는다(T4). 감사인이 이해하지 못한 판단에 서명하는 ‘감사의 봉인’도 같은 실패다(I4). 판단이 봉인되면 오류도 함께 봉인된다(II8).

판단의 객체

판정을 받지만 이의를 제기할 수단이 없는 사람. 능력이 모자라서가 아니라 수단이 없어서다. 온라인 전용 신청 창구, 비공개 산식, ASI가 응답하는 이의제기 창구가 그 수단을 막는다. 감사의 목적 하나가 이 사람의 자리를 지키는 것이다(I3, II7).