한국어 점수가 의미 있으려면 표본이 얼마나 길어야 하나

작년에 어떤 분이 댓글 두 줄을 붙여 넣고 “80%면 AI 맞죠?”라고 물었어요. 화면에는 숫자가 떠 있었습니다. 다만 입력은 180자뿐이었어요. 그 자리에서 제가 한 말은 점수 해석이 아니라, 그 길이에서는 단정을 안 한다는 쪽이었습니다.

한국어 탐지기를 운영하면서 반복해서 보는 착각이 있어요. 입력이 받아들여졌으면 결과도 같은 신뢰도일 거라는 생각. 허용 범위와 해석 가능한 범위는 다릅니다. 우리 서비스는 정규화 뒤 200자부터 받지만, 그 하한은 “분석을 시작해도 된다”는 뜻이지 “저자 판단에 쓸 수 있다”는 뜻이 아니에요.

제가 실제로 나눠 보는 구간

200~400자는 신호 스케치예요. 종결어미가 몇 개 안 나오고, 인용 한 줄이 전체를 잡아먹기도 합니다. 400~800자는 경향을 볼 수는 있어요. 그래도 단락이 하나면 장르 착시를 못 걸러요. 800자 넘으면 하이라이트가 어디를 집었는지 같이 보는 편이 낫습니다. 1,500자가 넘으면 그때야 “이 문서의 이 범위”라고 말할 재료가 생깁니다.

숫자는 절대 기준이 아니에요. 시나 대화 전사는 길어도 반복이 많고, 규정문은 짧아도 형식이 강하거든요. 그래서 길이만 적지 말고 문서 종류를 한 칸에 같이 적습니다.

짧게 넣었을 때 하지 않는 일

같은 문장을 세 번 붙여 800자를 만드는 사람이 가끔 있어요. 점수가 움직일 수는 있습니다. 그건 표본이 커진 게 아니라 같은 패턴을 세 번 넣은 거예요. 반대로 앞뒤 맥락을 잘라 자극적인 문장만 남기는 것도 같은 문제입니다. 범위가 바뀌면 점수 비교를 멈춰요.

재검사를 한다면 같은 범위를 유지했는지부터 봅니다. 지난주 1,820자와 오늘 210자를 나란히 놓고 “점수가 내려갔다”고 말하면, 내려간 게 아니라 질문이 바뀐 겁니다.

기록 한 줄이면 충분해요

도구 이름, 검사 시각, 정규화 후 글자 수, 제목·표·인용 포함 여부. 이 네 칸이면 나중에 다시 읽어도 숫자가 과장되지 않아요. NIST의 측정 문서도 맥락 없는 지표를 경계합니다. 한국어 탐지 점수 역시 그 점수만 들고 다니면 안 됩니다. 참고 자료는 NIST AI Resource Center에 있어요.

현장에서 짧은 글을 받아야 한다면 점수를 숨기지 말고 “이번 입력은 240자라 경향만 본다”고 적으세요. 그 한 문장이 80%라는 숫자보다 훨씬 정확하게 전달됩니다. 제가 내부 로그를 볼 때도 글자 수가 빠진 결과는 거의 다시 열지 않아요. 숫자가 남아 있어도 질문이 남아 있지 않거든요.

길이 때문에 거절하는 대화

고객이 급하면 짧은 입력을 거절하기 미안합니다. 그래서 거절 대신 조건을 말해요. “지금은 받아 볼 수는 있는데, 이 길이로는 보고서에 안 옮깁니다.” 대부분 본문을 더 붙여 줍니다. 붙여 주기 싫어하는 경우는 원래 그 두 줄로 사람을 판단하려던 경우가 많았어요. 그 판단은 도구가 아니라 사람이 해야 하고, 도구는 빠져 주는 게 맞습니다.

내부 벤치마크를 돌릴 때도 짧은 샘플은 따로 둡니다. 200자 코퍼스와 1,500자 코퍼스를 한 표에 섞으면 모델이 좋아 보이거나 나빠 보이는 착시가 생깁니다. 운영 지표를 볼 때 글자 수 구간을 나누는 버릇은 거기서 생겼어요. 점수 평균 하나로 주를 요약하지 않는 이유와 같습니다.

한 가지만 기억하면 됩니다. 입력이 짧을수록 문장은 길어져야 해요. 설명 문장 말입니다. 숫자만 짧고 단정적으로 남으면, 짧은 표본의 약점이 가장 강하게 전달됩니다. 그건 도구의 잘못이 아니라 전달의 잘못이에요.

주간 문의 중 짧은 입력은 생각보다 많아요. 제가 세어 본 한 달치는 전체 문의의 삼 할이 400자 미만이었습니다. 그중 점수를 보고서에 옮겨 달라고 한 건은 대부분 인사 평가나 과제 의심이었어요. 그럴수록 길이를 칸에 크게 적습니다. 400자 미만이면 결과 화면 상단보다 로그의 글자 수 칸을 먼저 보여 줍니다. 그 순서를 바꾸면 짧은 표본이 긴 보고서의 문장처럼 돌아다녀요. 한 번 돌아다닌 숫자는 주워 담기 어렵습니다. 그래서 처음 전달에서 길이를 숨기지 않습니다.