AI 소식

AI 학습 거부, robots.txt 바꾸기 전 확인

AI 학습에 내 사이트를 쓰지 말라는 신호를 살펴봅니다. robots.txt 공통 신호는 초안 단계이며, 회사별 적용 계획과 검색 노출 영향을 구분해야 합니다.

GROWBEAT Editorial
첫 공개
10분
대표 이미지 — AI 학습 거부 신호 점검 (robots.txt)

병원·쇼핑몰·학원 홈페이지를 직접 운영하거나 고객사 사이트를 맡은 마케터와 1인 사업자를 위한 글입니다.

내 글과 상품 설명이 AI 학습에 쓰이는 게 걱정되어도, 회사마다 다른 봇 이름을 챙기기는 번거로웠습니다. 잘못 막으면 검색 노출까지 흔들릴 수 있어 손대기도 망설여집니다.

2026년 10월 30일 이 번거로움을 줄일 공통 신호가 발표되었습니다. 이 글에서는 무엇이 달라지고, 언제부터 적용되며, 내 사이트에 지금 넣어야 하는지를 정리합니다.

AI 학습 거부 robots.txt 공통 신호는 무엇이 달라지나요?

OpenAI·구글·마이크로소프트는 2026년 10월 30일 robots.txt 파일의 묶음 하나로 여러 AI 회사에 학습 선호를 밝히는 공통 신호를 지원하겠다고 발표했습니다. 지금까지는 회사별 이름을 따로 적어야 했습니다.

robots.txt는 사이트 주소 뒤 /robots.txt에 두는 안내 파일입니다. 크롤러(웹을 자동으로 읽어 가는 프로그램)에게 어디를 읽어도 되는지 알려 줍니다.

공통 신호의 이름은 __usage_ai-training입니다. IETF(인터넷 기술 표준을 논의하는 단체)에 올라온 초안의 예시는 다음과 같습니다.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

이 예시는 /press-kit/ 아래만 학습을 허용하고, 나머지 경로는 학습에 쓰지 않기를 바란다는 뜻입니다.

초안 저자는 앤트로픽 소속 Kevin Kelley이고, 문서는 2027년 5월 3일에 만료됩니다. 문서 스스로 IETF 승인을 받지 않았고 공식 지위도 없다고 밝히고 있어 내용이 바뀔 수 있습니다.

웹사이트 입구의 표지판 하나를 여러 로봇이 함께 읽은 뒤, 학습 창고 문 앞에서는 멈추고 검색 안내 창구로는 지나가는 장면
웹사이트 입구의 표지판 하나를 여러 로봇이 함께 읽은 뒤, 학습 창고 문 앞에서는 멈추고 검색 안내 창구로는 지나가는 장면

회사별로 언제부터 적용되나요?

적용 시점은 회사마다 다릅니다. 날짜를 공개한 곳은 2027년 2월 1일로 밝힌 마이크로소프트뿐이고, 나머지는 시기만 밝혔습니다.

회사밝힌 시점기존 설정
OpenAI앞으로 몇 달 안 목표(토큰포스트 등 보도 기준), 날짜 없음GPTBot·OAI-SearchBot 유지
구글공식 블로그는 2027년, 크롤러 문서는 2027년 초Google-Extended 유지
마이크로소프트2027년 2월 1일 크롤링 시점부터학습 설정 외에 답변 근거 설정 별도
앤트로픽구현 시작(초안 저자의 IETF 공지), 완료 날짜 없음ClaudeBot 등 안내 유지

앤트로픽 공식 뉴스 페이지에서는 2026년 10월 31일 확인 시점까지 별도 발표를 찾지 못했습니다.

한국만 따로 정한 일정은 공식 글에서 확인되지 않았고, 네이버·카카오·메타의 지원 발표도 찾지 못했습니다. 메타 크롤러가 걱정된다면 메타 상업 약관 점검법을 함께 보세요.

신호를 넣으면 검색과 AI 답변 노출이 줄어드나요?

일반 검색 노출은 공식 문서상 별개로 다룹니다. 다만 구글은 이 신호를 Google-Extended 거부로 읽을 계획이어서 Gemini 앱 답변 노출은 줄어들 수 있습니다.

회사학습 거부와 검색주의할 점
구글Google-Extended는 구글 검색 포함 여부와 순위에 영향 없음같은 토큰이 Gemini 앱 답변 근거 사용도 함께 관리
OpenAIGPTBot(학습)과 OAI-SearchBot(검색)은 따로 설정OAI-SearchBot을 막으면 ChatGPT 검색 답변에서 빠지고 이동 링크로만 보일 수 있음
마이크로소프트학습 설정을 바꿔도 Bing 검색 자격은 그대로답변 근거 사용을 거부하면 AI 화면 속 브랜드 노출 감소

공통 신호로 학습을 거부하면서 Google-Extended를 따로 적지 않으면, 구글은 이를 Google-Extended 거부로 해석할 계획입니다.

공식 문서상 Google-Extended 하나가 Gemini 모델 학습과 Gemini 앱 답변 근거 사용을 함께 관리합니다. 그래서 현재 문서 기준으로는 "구글 학습만 거부하고 Gemini 앱 근거 사용은 유지"로 나누기 어렵습니다. 구글 AI 개요와 AI 모드에 미치는 영향은 이번 구글 글에 적혀 있지 않습니다.

반대로 학습을 허용하면 AI 답변 노출이 늘어난다는 공식 근거도 이번 발표에는 없습니다. AI 답변과 사이트 유입 변화는 구글 AI 개요 링크 개편 글에서 따로 다룹니다.

이 신호로 막을 수 없는 것은 무엇인가요?

이 신호는 선호를 밝히는 표시일 뿐 접근을 막는 잠금장치가 아닙니다. 초안도 이 토큰이 크롤링 동작을 지시하지 않는다고 적고 있습니다.

  • ▸서버 부하: 크롤러 접근을 줄이는 설정이 아닙니다. 부하가 문제라면 크롤러별 규칙이나 서버 제한을 따로 봅니다.
  • ▸강제력: 초안은 표현 방식을 정할 뿐이고, 이행은 참여 회사에 달려 있습니다.
  • ▸이미 수집된 자료: 지난 수집분을 지운다는 내용은 이번 공식 글에서 확인되지 않았습니다. 앤트로픽 크롤러 안내도 ClaudeBot 제한을 앞으로의 자료에 대한 신호로 설명합니다.
  • ▸대가: 마이크로소프트는 어떤 선택도 노출·유입·대가를 보장하지 않는다고 밝혔습니다.
  • ▸남의 플랫폼: robots.txt는 그 사이트 운영자가 관리합니다. 블로그·쇼핑 플랫폼에 올린 글은 내 파일로 조정할 수 없습니다.

기존 User-Agent: * 규칙은 이 신호로 읽히지 않습니다. 초안은 와일드카드 묶음을 공통 토큰과 일치시켜서는 안 된다고 정했습니다. 공통 토큰 묶음이 없는 파일은 선호를 밝히지 않은 것으로 봅니다.

우리 사이트는 지금 넣어야 하나요?

문의·예약·판매가 목적인 사이트는 서두르지 않아도 됩니다. 유료 자료처럼 지키고 싶은 경로가 뚜렷한 사이트는 지금 거부 범위를 정해 두는 편이 좋습니다.

사이트 유형권장이유
병원·매장·쇼핑몰 소개기다림전체 거부로 얻을 이득이 불분명하고 Gemini 앱 노출에 영향 가능
유료 강의·리포트해당 경로만 거부 검토공개 소개 페이지와 유료 자료를 나눌 수 있음
언론·출판·전문 자료계약 검토 후 회사 기준 결정초안상 당사자 간 사적 합의가 이 선호보다 우선할 수 있음
대행사고객사별 현황 정리2027년 적용 전 고객 의사를 받아 둘 수 있음

마이크로소프트에는 별도 시한이 하나 더 있습니다. NoArchive·NoCache로 제한해 온 사이트는 2027년 3월 1일 전에 새 설정으로 옮겨야 기존 제한을 이어 갈 수 있습니다.

넣기로 했다면 다음 순서로 진행합니다.

01현재 robots.txt를 복사해 보관합니다.
02User-Agent: * 아래에 의도하지 않은 Disallow: /가 없는지 확인합니다.
03GPTBot·ClaudeBot·Google-Extended 규칙을 메모합니다.
04거부할 경로를 정합니다. 사이트 전체보다 유료 자료 경로부터 검토합니다.
05공통 토큰 줄과 자기 규칙 줄을 파일 끝에 함께 추가하고, 배포 후 주소를 직접 열어 확인합니다.
오늘 10분 점검

내 도메인 뒤에 /robots.txt를 붙여 열어 보세요. 공통 토큰 줄을 기존 User-Agent 줄에 이어 붙이면 아래 규칙을 함께 쓰는 한 묶음이 되어, Disallow: /가 붙을 경우 모든 봇이 막힐 수 있습니다.

지금 써 볼 사람은 유료 자료 경로가 분명한 운영자이고, 기다릴 사람은 노출과 문의가 우선인 사업자입니다. 넣었다면 2027년 초에 회사별 안내를 다시 확인하세요.

자주 묻는 질문

이미 GPTBot을 막아 뒀다면 지워야 하나요?

지울 필요는 없습니다. 구글은 회사별 설정이 공통 신호와 함께 계속 작동한다고 밝혔고, OpenAI의 기존 설정도 유지된다고 보도되었습니다.

아무것도 넣지 않으면 학습에 동의한 것인가요?

초안은 공통 토큰이 없으면 선호를 밝히지 않은 것으로 봅니다. 마이크로소프트는 별도 설정이 없으면 허용으로 처리합니다. 법적으로 동의한 것인지는 이 문서들이 정하지 않으므로 중요한 자료라면 법률 검토가 필요합니다.

참고 자료

태그
#robots.txt#AI 학습 거부#GPTBot#Google-Extended#웹사이트 운영
무료 맞춤 보고서 받기