서로 다른 AI 탐지 결과를 비교하는 방법

70%, 0.7, ‘높음’은 같은 값이 아니에요

한 문서를 여러 AI 탐지기에 넣으면 18%, 72%, HUMAN처럼 서로 다른 결과가 나올 수 있습니다. 숫자가 있는 두 결과를 평균 내 45%라고 쓰고 싶지만, 각 도구의 점수가 무엇을 뜻하는지 모르면 계산 자체가 의미 없어요. 문장 단위 비율, 문서 전체 확률, 모델의 신뢰 점수는 모두 다른 값입니다.

비교의 목적부터 정하세요. 특정 도구의 반복성을 살피는지, 사람이 검토할 문서를 좁히는지, 교육 정책을 평가하는지에 따라 필요한 기록이 달라집니다. 실제 저자를 확정하려는 목적이라면 탐지 결과만으로는 답을 얻을 수 없다는 한계를 먼저 적어야 해요.

입력 문서를 하나로 고정해요

제목, 본문, 인용, 참고문헌을 어디까지 넣을지 정하고 같은 텍스트를 사용합니다. PDF를 한 도구에는 파일로 올리고 다른 도구에는 복사하면 표와 줄바꿈이 다르게 처리될 수 있어요. 가능하면 일반 텍스트 사본을 만들고 해시나 버전 번호를 기록해 같은 입력임을 확인합니다.

최소 글자 수 때문에 일부만 넣어야 한다면 시작과 끝을 표시하세요. 한 도구는 전체, 다른 도구는 첫 세 단락만 검사한 결과를 같은 행에 놓으면 도구 차이와 표본 차이를 분리할 수 없습니다. 번역문과 원문도 별도 문서로 다뤄요.

도구별 판정 언어를 그대로 보존해요

점수, HUMAN·MIXED·AI 같은 판정, 도구가 제공한 설명을 각각 기록합니다. “AI 가능성 낮음”을 임의로 HUMAN 90%로 바꾸지 마세요. 퍼센트의 방향도 확인해야 합니다. 어떤 화면은 AI 확률을, 다른 화면은 사람 작성 확률을 보여줄 수 있어요.

검사 날짜, 서비스 이름, 공개된 모델 또는 버전 정보도 적습니다. 온라인 도구는 같은 주소에서도 모델이 갱신될 수 있어 몇 달 전 결과와 지금 결과가 동일한 조건이 아닐 수 있어요. 버전을 알 수 없다면 미확인이라고 쓰고 추정하지 않습니다.

한 번 더 검사해 반복성을 봐요

같은 입력을 같은 도구에 다시 넣었을 때 결과가 달라지는지 확인합니다. 다만 원하는 숫자가 나올 때까지 반복한 뒤 하나만 고르면 안 돼요. 반복 횟수를 미리 정하고 모든 결과를 남깁니다. 캐시된 결과인지 표시가 있다면 함께 기록하세요.

문장을 고쳐 재검사할 때는 별도의 버전으로 취급합니다. 띄어쓰기만 바꿨는지, 사실과 사례를 추가했는지 수정 내용을 남겨야 어떤 변화가 결과에 영향을 줬는지 볼 수 있어요. 탐지 점수를 낮추기 위한 무의미한 동의어 교체는 글 품질 검토와도 연결되지 않습니다.

불일치는 실패가 아니라 정보예요

결과가 갈리면 다수결로 없애지 말고 어떤 문서 특징에서 갈렸는지 봅니다. 짧은 글, 번역문, 정형 보고서, 인용이 많은 글은 별도 표시해요. 도구들이 비슷한 데이터나 모델을 쓴다면 세 결과가 일치해도 독립된 세 증거라고 보기 어렵습니다.

비교표의 마지막 칸에는 사람이 확인할 다음 자료를 씁니다. 초안 이력, 출처 메모, 작성자 설명, 내용 오류 검토처럼 텍스트 점수와 다른 종류의 자료가 필요해요. 중요한 결정에서는 점수 차이보다 어떤 절차로 결론을 냈는지가 더 중요합니다.

결과표는 이렇게 구성해요

문서 버전, 언어와 글자 수, 검사 범위, 도구명, 검사 시각, 원래 판정 문구, 점수 의미, 재검사 여부를 한 줄에 둡니다. 마지막에 “저자 확정용 아님”과 같은 사용 제한을 적어요. 이 표는 최고 점수를 찾는 순위표가 아니라 나중에 같은 조건을 설명하기 위한 기록입니다.

NIST AI Resource Center의 측정과 관리 자료처럼 결과를 사용 맥락과 연결해서 보세요. 서로 다른 탐지기를 추가하는 것보다 입력과 판정 기준을 투명하게 남기고 사람이 검토할 경로를 갖추는 편이 더 강한 통제입니다.