AI 탐지 정확도와 오탐

왜 사람 글이 AI로 나올까

탐지기는 ‘AI’를 알아보는 게 아니라 글이 얼마나 예측 가능하고 균일한지를 측정합니다. 명확하고 일관된 사람 글도 통계적으로 AI와 비슷한 영역에 들어갈 수 있습니다. 그래서 오탐은 결함이 아니라 작동 원리상 따라오는 결과입니다.

이건 업계 스스로 인정한 한계이기도 합니다. ChatGPT를 만든 OpenAI조차 자체 AI 판별 도구를 내놨다가 정확도가 너무 낮다는 이유로 반년 만에 서비스를 접었습니다(2023년). 또 스탠퍼드 연구진의 잘 알려진 연구에서는, 원어민이 아닌 학생이 쓴 영어 에세이의 절반 이상을 시중 탐지기들이 AI로 오판했습니다. 정확도 논쟁은 소문이 아니라 기록된 사실입니다.

Perplexity와 Burstiness (쉽게)

두 가지가 핵심입니다. Perplexity는 다음 단어가 얼마나 의외인지, Burstiness는 문장 길이의 변화 폭입니다. 예측 가능한 단어 + 비슷한 길이의 문장 = 낮은 값 = ‘AI 같다’로 읽힙니다. 더 자세한 건 AI 검사기 원리에서.

흔한 원인 (격식체·비원어민·단순 구조)

격식 있는 학술적 문체, 비원어민의 글, 단조로운 문장 구조는 모두 변동성을 낮춰 오탐 위험을 키웁니다. 특히 비원어민 글의 오탐은 잘 알려진 공정성 문제입니다.

한국 사용자라면 이 세 조건이 겹치기 쉽습니다. 리포트·자소서는 격식체가 기본이고, 영어 과제는 비원어민 글이며, ‘반듯하게 쓰라'고 배운 글쓰기 습관이 문장 구조를 균일하게 만듭니다. 성실하게 규범대로 쓴 글일수록 통계적으로는 AI와 비슷해지는 역설이 생기는 것입니다(한국어 탐지가 어려운 이유).

오탐을 줄이는 법

문장 길이를 일부러 다양하게 섞고, 구체적 디테일과 본인의 목소리를 더하고, 반복되는 접속어를 줄이세요. 자연스러운 변화가 곧 사람 글의 특징입니다 — 글을 매끈하게만 다듬으면 오히려 점수가 오를 수 있습니다.

실전 팁 하나: 완성 후 소리 내어 읽어 보세요. 숨이 일정한 간격으로 끊기면 문장 리듬이 균일하다는 뜻입니다. 중간중간 짧은 문장을 끼워 리듬을 깨고, ‘누구나 쓸 수 있는 문장'에는 나만 아는 수치·사례를 심으세요.

그래서 얼마나 정확한가

신호로는 유용하지만 증거로는 부족합니다. 독립 평가에서 의미 있는 오탐률이 반복 확인되며, 짧은 글에서 특히 불안정합니다. 탐지기 제공사들이 광고하는 정확도(예: 98~99%)는 대개 자사 조건의 벤치마크 수치이고, 실제 환경 — 짧은 글, 비영어, 사람이 고친 AI 글 — 에서는 훨씬 낮아진다는 것이 독립 검증들의 공통 결론입니다.

그래서 실무 지침은 하나로 수렴합니다: 어떤 점수도 단독으로 결과를 결정해선 안 됩니다. Turnitin도, 카피킬러도, 이 사이트의 검사기도 마찬가지입니다. 직접 검사해보기.

오탐 의심을 받았다면

당황하지 말고 기록으로 대응하세요. ① 어떤 도구의 어떤 점수가 근거인지 확인하고 ② 그 도구의 공식 한계 안내(오탐 가능성)를 찾아두고 ③ 초안·버전 기록·메모로 작성 과정을 보여주면 됩니다. 시간에 걸쳐 글이 발전한 편집 기록은 어떤 점수보다 설득력 있습니다.

구체적인 준비물 목록과 단계별 진행 방법은 AI 오탐 이의제기 절차에 따로 정리했습니다.