내 글이 AI 검색에서 발견됐으면 좋겠다. 그렇다고 내 글이 앞으로의 모델 학습에도 쓰였으면 좋겠다는 뜻일까. 비슷하게 들리지만 나는 이 두 질문을 따로 답하고 싶다. ‘AI 봇을 허용한다’는 짧은 말 안에 서로 다른 선택이 들어 있기 때문이다.
OpenAI의 크롤러 안내에서는 OAI-SearchBot과 GPTBot을 구분한다. 전자는 ChatGPT 검색에서 웹사이트를 보여주기 위한 검색용 크롤러다. 후자는 모델 학습에 쓰일 수 있는 내용을 수집하는 크롤러다. 두 설정은 독립적이어서 검색용 크롤러를 허용하면서 학습용 크롤러는 제한할 수도 있다고 설명한다.
이 구분을 알고 나면 설정 화면에서 봐야 할 것도 달라진다. 모든 봇을 한꺼번에 막는 선택과, 내가 원하지 않는 용도의 크롤러만 제한하는 선택은 결과가 같지 않을 수 있다. 물론 서비스마다 이름과 동작은 다르다. 한 회사의 크롤러 이름을 인터넷의 모든 AI에 대한 설정으로 받아들이면 안 될 것이다.
이름보다 용도를 먼저 보기
예를 들어 검색에는 참여하고 학습 수집은 제한하려는 사이트라면, 두 용도를 구분해 표현해야 한다. 아래는 그 뜻을 설명하기 위한 robots.txt 예시다. 이 글을 쓴다고 어떤 사이트의 실제 설정을 바꾸었다는 뜻은 아니다.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /설정 파일만 읽고 모든 일이 끝났다고 생각하고 싶지는 않다. 앞단의 방화벽이나 접근 제어가 요청을 따로 막을 수도 있다. 반대로 어떤 요청이 서버에 들어왔다고 해서 그 글이 검색 답변에 실제로 인용됐다는 뜻도 아니다. 요청을 허용하는 것과 선택되어 보이는 것은 다른 단계다.
OpenAI 안내에는 ChatGPT-User라는 이름도 나온다. 사용자의 요청으로 페이지를 방문하는 동작에 쓰이며, 자동으로 웹을 훑는 검색 크롤러와는 다르다. 그래서 이름에 ChatGPT가 들어 있다고 모두 같은 정책으로 설명할 수는 없다. 화면에서 본 요청 하나가 어떤 용도였는지 먼저 알아야 한다.
내가 사이트를 손본다면 먼저 현재 선택을 적어두고 싶다. 검색에 들어갈 의사가 있는지, 학습 수집에는 어떤 입장인지, 공개하고 싶지 않은 자료는 어디에 있는지. 이 세 가지가 정해지지 않으면 나중에 설정이 왜 그렇게 되어 있는지 다시 추측하게 될 것 같다.
공개하고 싶지 않은 자료를 지키는 일은 또 별개다. robots.txt는 접근 권한이나 비밀번호를 대신하는 장치가 아니다. 비공개 초안이나 개인 자료라면 애초에 인증 없이 열리지 않아야 한다. 크롤러에게 읽지 말라고 적는 것과 읽을 수 없도록 보호하는 것은 다른 일이다.
결국 검색 노출을 늘리겠다는 목표도 무조건 문을 열자는 말로 줄이고 싶지는 않다. 어떤 내용을 누구에게 어떤 용도로 보여줄지 결정한 뒤, 그 선택이 실제로 적용되는지 보는 쪽이 맞겠다. 설정은 짧아도, 그 설정에 맡긴 판단은 짧지 않다.
