직접 쓴 글을 AI 탐지기에 넣었는데 'AI 작성 가능성 80%'라는 결과가 나오면 당황할 수밖에 없습니다.
결론부터 말하면 현재의 AI 글 탐지기는 참고 자료로는 활용할 수 있지만, 특정 글을 AI가 작성했다고 확정하는 증거로 보기에는 한계가 있습니다. 사람이 쓴 글을 AI 글로 판단하는 오탐이 발생할 수 있고, 반대로 AI가 만든 글도 수정 방식과 모델에 따라 탐지를 피할 수 있기 때문입니다.
특히 'AI 탐지 점수 90% = 글의 90%를 AI가 작성했다'고 해석하면 안 됩니다. 탐지 서비스마다 분석 방식과 점수의 의미가 다르므로 결과를 맥락과 함께 확인해야 합니다.
핵심 요약
• AI 글 탐지 결과만으로 작성자를 확정하기는 어렵습니다.
• 사람이 쓴 글을 AI 글로 판단하는 오탐이 발생할 수 있습니다.
• 짧은 글이나 AI로 일부만 다듬은 글은 판단이 더 복잡해질 수 있습니다.
• 탐지기는 AI가 남긴 워터마크를 확인하는 기술과는 원리가 다릅니다.
• 학교·채용·출판 등 중요한 판단에서는 탐지 점수 하나만 근거로 사용하는 것을 주의해야 합니다.
1. AI 글 탐지기는 무엇을 보고 판단할까
AI가 쓴 흔적을 직접 확인하는 것은 아니다
일반적인 AI 글 탐지기는 문서 안에 'ChatGPT 작성'이라는 숨은 표시가 있는지 찾는 프로그램이 아닙니다.
대부분은 인간이 작성한 문장과 언어모델이 생성한 문장에서 나타나는 단어 선택, 문장 구조, 확률적 패턴과 같은 특징을 분석해 AI 생성 가능성을 추정합니다.
따라서 탐지 결과는 지문이나 DNA처럼 작성자를 직접 증명하는 방식보다 특정 문장이 학습된 AI 생성 패턴과 얼마나 비슷한지를 분류하는 결과에 가깝습니다.
같은 글도 탐지기마다 결과가 달라질 수 있다
AI 탐지 서비스마다 학습 데이터와 모델, 판정 기준이 다릅니다. 같은 문서를 여러 서비스에 입력했을 때 서로 다른 결과가 나올 수 있는 이유입니다.
어떤 탐지기는 문서 전체를 기준으로 판단하고, 다른 서비스는 문장이나 문단별로 AI 생성 가능성을 표시하기도 합니다. 점수를 해석할 때는 해당 서비스가 무엇을 측정하는지도 함께 확인해야 합니다.
2. 정확도 99%라는 숫자만 믿기 어려운 이유
정확도보다 오탐과 미탐을 함께 봐야 한다
AI 탐지기의 성능을 볼 때 단순한 정확도 하나만 확인하면 실제 성능을 오해하기 쉽습니다.
오탐(false positive)은 사람이 작성한 글을 AI가 쓴 것으로 잘못 분류하는 경우이고, 미탐(false negative)은 실제 AI 생성 글을 사람이 작성한 것처럼 놓치는 경우입니다.
두 오류 중 하나만 줄이기 위해 판정 기준을 바꾸면 다른 오류가 늘어날 수도 있습니다. 특히 학생의 부정행위처럼 잘못된 판정으로 받는 피해가 큰 상황에서는 낮은 오탐률이 매우 중요합니다.
Turnitin도 낮은 AI 비율은 덜 신뢰할 수 있다고 안내한다
대표적인 교육용 표절·AI 탐지 서비스인 Turnitin은 자체 가이드에서 AI 탐지 결과가 완벽하지 않을 수 있음을 안내하고 있습니다.
특히 AI 탐지 비율이 낮은 구간에서는 오탐 가능성이 상대적으로 높기 때문에 일정 비율 이하의 결과를 숫자로 표시하지 않고 별표로 처리하는 방식을 사용합니다.
이런 정책 자체가 AI 탐지 결과를 단독 증거처럼 해석하기보다 추가적인 검토 과정과 함께 사용해야 한다는 점을 보여줍니다.
AI 탐지 결과를 볼 때 알아둘 용어
| 구분 | 의미 | 예시 |
|---|---|---|
| 정탐 | AI 글을 AI로 판단 | AI 원문 탐지 성공 |
| 오탐 | 사람 글을 AI로 판단 | 직접 쓴 과제를 AI로 판정 |
| 미탐 | AI 글을 놓침 | AI 생성 글을 인간 글로 판정 |
3. 실제 연구에서도 AI 탐지는 완벽하지 않았다
OpenAI도 자체 AI 글 탐지기를 중단한 적이 있다
OpenAI는 2023년 AI가 작성한 글인지 분류하는 자체 AI classifier를 공개했지만 같은 해 서비스를 중단했습니다.
당시 OpenAI는 중단 이유로 낮은 정확도를 밝혔습니다. 이 사례는 생성형 AI를 만든 회사조차 일반 텍스트만 보고 작성 주체를 안정적으로 구분하는 일이 쉽지 않다는 점을 보여줬습니다.
새로운 모델과 새로운 글에서는 성능이 떨어질 수 있다
2024~2026년에 공개된 여러 연구에서도 탐지기가 학습 과정에서 보지 못했던 새로운 언어모델이나 다른 종류의 문서를 분석할 때 성능이 떨어지는 문제가 보고되고 있습니다.
AI 모델은 계속 업데이트되고 글쓰기 능력도 자연스러워지고 있습니다. 탐지기가 특정 세대의 AI 문장 특징을 잘 학습했더라도 새로운 모델에서 같은 정확도를 유지한다는 보장은 없습니다.
따라서 특정 테스트 데이터에서 나온 높은 정확도를 인터넷의 모든 문서에 그대로 적용할 수 있다고 보는 것은 주의가 필요합니다.
4. AI로 조금만 수정한 글은 더 판단하기 어렵다
AI 100%와 사람 100% 사이에는 수많은 경우가 있다
현실의 글쓰기는 단순히 'AI가 전부 작성' 또는 '사람이 전부 작성' 두 가지로만 나뉘지 않습니다.
사람이 작성한 초안을 AI가 맞춤법만 수정할 수도 있고, 사람이 조사한 내용을 AI가 문장으로 다듬을 수도 있습니다. 반대로 AI가 작성한 초안을 사람이 상당 부분 다시 쓸 수도 있습니다.
이런 AI와 사람이 공동으로 작성한 텍스트는 AI 탐지에서 특히 어려운 영역입니다.
2025년 AI로 일부 다듬어진 글을 대상으로 여러 탐지기를 분석한 연구에서도 최소한의 AI 편집만 포함된 글을 AI 생성으로 잘못 분류하거나 AI의 개입 정도를 정확하게 구분하지 못하는 문제가 보고됐습니다.
문장을 바꾸면 탐지 결과도 달라질 수 있다
AI가 만든 원문은 비교적 잘 탐지하더라도 문장이 재작성되거나 다른 표현으로 바뀌면 탐지 성능이 떨어질 수 있습니다.
실제 연구에서도 패러프레이징이나 문장 변형이 기존 AI 탐지기의 성능에 영향을 주는 사례가 지속적으로 보고되고 있습니다.
이 때문에 AI 탐지기는 글의 최종 결과만 보고 최초 작성 과정 전체를 정확히 복원하는 기술이라고 보기 어렵습니다.
5. AI 탐지와 AI 워터마크는 완전히 다른 기술이다
탐지기는 추정하고 워터마크는 신호를 찾는다
AI 글 탐지기의 한계 때문에 최근에는 생성 단계부터 AI 콘텐츠에 별도의 출처 신호를 넣는 워터마킹 기술도 주목받고 있습니다.
대표적인 사례가 Google DeepMind의 SynthID Text입니다. AI가 문장을 생성할 때 사람이 인식하기 어려운 통계적 신호를 삽입하고 이후 전용 시스템으로 해당 신호를 확인하는 방식입니다.
일반 AI 탐지기가 완성된 문장만 보고 'AI처럼 보이는가'를 추정한다면 워터마크는 생성 시점에 의도적으로 포함된 신호를 찾는다는 차이가 있습니다.
AI 탐지기와 워터마크 비교
| 구분 | AI 글 탐지 | 워터마크 탐지 |
|---|---|---|
| 기준 | 문장 특징 분석 | 삽입된 신호 확인 |
| 결과 | AI 가능성 추정 | 특정 시스템 출처 신호 |
| 한계 | 오탐·미탐 가능 | 미지원 모델·신호 훼손 |
워터마크도 모든 AI 콘텐츠를 판별하는 만능 기술은 아닙니다. 워터마크가 적용되지 않은 모델에서 생성한 글이나 신호가 크게 변형된 콘텐츠까지 모두 확인할 수 있는 것은 아니기 때문입니다.
관련 내용은 'Claude AI 워터마크 도입, 이제 AI로 쓴 글은 정말 구별될까?'에서 함께 확인하면 두 기술의 차이를 이해하기 쉽습니다.
6. 탐지 점수는 어떻게 받아들여야 할까
90%라는 숫자가 작성 비율을 뜻하지 않을 수 있다
AI 탐지 서비스에 글을 입력했을 때 'AI 90%'라는 결과가 나오면 글의 정확히 90%를 AI가 작성했다고 생각하기 쉽습니다.
하지만 서비스마다 점수의 의미가 다릅니다. 어떤 서비스는 AI 생성 가능성을 표시하고, 어떤 서비스는 AI로 판단한 문장의 비중을 표시할 수 있습니다.
따라서 점수를 보기 전에 해당 서비스가 숫자를 어떻게 정의하는지 확인하는 과정이 필요합니다.
중요한 판단이라면 작성 과정과 다른 증거를 함께 봐야 한다
학교 과제나 논문, 채용 과제처럼 결과에 따라 불이익이 생길 수 있는 상황에서는 AI 탐지 결과 하나만으로 결론을 내리는 것을 주의해야 합니다.
초안 기록, 문서 수정 이력, 사용한 참고자료, 작성 과정에 대한 설명 등 다른 정보를 함께 확인하는 편이 훨씬 안전합니다.
✔️ AI 탐지 결과를 볼 때 체크리스트
✓ 탐지 점수 하나를 작성 증거로 단정하지 않았는가?
✓ 서비스가 표시하는 점수의 의미를 확인했는가?
✓ 글의 길이와 AI 편집 여부를 함께 고려했는가?
✓ 초안이나 수정 기록 등 다른 근거가 있는가?
✓ 중요한 판단이라면 사람이 최종 검토했는가?
주의사항
AI 탐지 결과는 특정 작성자가 부정행위를 했다는 사실을 직접 증명하지 않습니다.
학교·채용·평가처럼 결과가 개인에게 영향을 미치는 경우에는 탐지 결과 외에 작성 과정과 추가 자료를 종합해 판단하는 것이 중요합니다.
❓ 자주 묻는 질문 FAQ
AI 탐지기 정확도는 몇 %인가요?
모든 상황에 공통으로 적용할 수 있는 하나의 정확도는 없습니다. 사용한 탐지기, 글의 길이와 종류, 생성한 AI 모델, 편집 여부 등에 따라 결과가 달라질 수 있습니다.
제가 직접 쓴 글이 AI로 탐지될 수도 있나요?
가능합니다. 이를 오탐이라고 하며 실제 AI 탐지 서비스와 연구에서도 중요한 문제로 다뤄지고 있습니다. 특히 탐지 결과만으로 작성자를 단정해서는 안 됩니다.
AI 탐지기에서 100% AI라고 나오면 확실한가요?
높은 점수는 중요한 참고 신호가 될 수 있지만 그것만으로 AI 작성을 확정한다고 보기는 어렵습니다. 탐지 시스템의 오류 가능성과 글의 작성 과정을 함께 확인해야 합니다.
ChatGPT 글을 사람이 수정하면 탐지할 수 있나요?
수정 정도와 탐지기에 따라 다릅니다. AI 원문을 비교적 잘 탐지하는 시스템도 문장이 상당히 수정되거나 AI와 사람이 함께 작성한 경우 성능이 달라질 수 있습니다.
AI 워터마크가 있으면 탐지기가 더 정확해지나요?
일반 AI 탐지와 워터마크 탐지는 별개의 기술입니다. 지원되는 AI가 생성 단계에서 특정 워터마크를 남겼다면 출처 확인에 도움이 될 수 있지만 모든 AI 모델이 같은 워터마크를 사용하는 것은 아닙니다.
📝 핵심 정리
현재의 AI 글 탐지기는 유용한 보조 수단이지만 'AI가 썼다'는 사실을 확정하는 판정기는 아닙니다.
사람이 직접 작성한 글을 AI 글로 판단하는 오탐이 발생할 수 있고, 새로운 AI 모델이나 사람이 수정한 AI 글을 놓치는 미탐도 가능합니다.
AI 탐지 점수가 높게 나오더라도 문서 전체의 정확한 AI 작성 비율이라고 단정하지 말고, 해당 서비스의 점수 기준과 작성 과정까지 함께 확인해야 합니다.
특히 AI와 사람이 함께 글을 만드는 방식이 일반화될수록 단순히 문체만 분석해 작성자를 인간과 AI 두 가지로 나누는 방식은 더욱 어려워질 수 있습니다.
✔️ 꼭 확인하세요
AI 탐지 결과는 '증거'보다 '추가 확인이 필요한 신호'로 활용하는 편이 안전합니다.
중요한 과제나 문서를 직접 작성했다면 초안, 참고자료, 문서 수정 이력 등을 보관해 두는 것도 작성 과정을 설명하는 데 도움이 됩니다.
AI 탐지 기술은 빠르게 바뀌고 있으므로 특정 서비스의 정확도 수치보다 최신 공식 안내와 독립적인 검증 연구를 함께 확인하세요.
📚 참고자료
• OpenAI, AI classifier for indicating AI-written text 안내 및 서비스 중단 공지
• Turnitin, AI Writing Report 및 AI writing detection model 공식 가이드
• Google DeepMind, SynthID Text 워터마킹 기술 안내
• 관련 AI 생성 텍스트 탐지 성능 및 AI 편집 문서 판별 연구
🔗 함께 보면 좋은 글
• Claude AI 워터마크 도입, 이제 AI로 쓴 글은 정말 구별될까?
0 댓글