17. AI 모더레이션의 물결

새로운 세대의 도구들은 방어선에 AI를 데려왔다.

위협 분포의 상위권이 규칙을 그대로 통과해 걸어 들어온다면, 다음 수순은 뻔하다. 규칙 쓰기를 그만두는 것이다. 지난 20년 동안 모더레이션(moderation) 스택은 규칙으로 지어져 왔다. 패턴은 일치하거나 일치하지 않았고, 링크는 차단 목록에 있거나 없었으며, 계정은 속도 제한에 걸리거나 걸리지 않았다. 앞 장은 그 접근법의 정전을 훑으며 공로를 솔직하게 인정했다. 규칙 기반 방어는 위협 분포의 하위권, 곧 게으른 도배와 재활용 스크립트를 여전히 싸고 확실하게 잡아낸다. 하지만 같은 장은 천장에서 끝났고, 그 천장은 피할 수 없다. 규칙은 명세서다. 공격자는 그 명세서를 읽는다. 오픈소스 봇의 코드를 뜯어보기도 하지만, 대개는 어떤 메시지가 삭제되는지 지켜보는 것만으로 충분하다. 그리고 명세를 만족시키는 단 하나의 입력을 만들어낸다. 규칙이 부서지기 쉬운 이유는 바로 읽을 수 있기 때문이다. 읽을 수 있는 것은 무엇이든 우회할 수 있다.

그래서 생성형 언어 모델의 호출 비용이 붐비는 채팅방의 모든 메시지에 돌려도 될 만큼 싸지자, 한 무리의 방어자들이 뻔한 다음 수를 두었다. 공격자들이 대규모 언어 모델(LLM)로 미끼를 쓰고 있다면 — 2025년쯤에는 의심의 여지 없이 그랬다 — 방어도 같은 급의 모델로 그것을 읽어야 한다는 것이다. 정규식이 문자열을 보는 자리에서 LLM은 의미를 본다. 메시지 하나와 문맥 한 단락을 건네고 평범한 말로 "이거 스캠인가?"라고 물으면, 판단이라 불러도 좋을 만한 무언가로 답한다. 이것은 진짜 진보였고, 여기에 냉소부터 앞세울 일은 아니다. 규칙으로는 결코 메울 수 없던 틈을 실제로 메웠기 때문이다. 그러나 이 장에서 논증하겠지만, 이것은 처음부터 실패가 예정된 전략에 남은 마지막 수이기도 하다. 산출물을 검사하는 가장 정교한 방법일 뿐인데, 그 산출물이 이제는 자신이 흉내 내는 대상과 구별되지 않기 때문이다.