AI 검색 노출 점검 루틴 — robots.txt 3종 스위치와 4주 확인 사이클

AI 검색 최적화를 새로운 기술 도입 문제로 접근하면 대개 돈만 쓰고 끝난다. 실제로는 접근 권한 설정과 문서 구조 손질, 그리고 확인 사이클을 도는 운영 문제에 가깝다. 구글도 공식 AI 최적화 가이드에서 생성형 AI 검색 최적화는 결국 검색 경험 최적화이며 여전히 SEO라고 못 박았다.

그래서 이 글은 개념 설명 대신 점검 루틴만 다룬다.

---

1단계 — 크롤러 3종 스위치를 결정한다

---

OpenAI 공식 문서 기준으로 크롤러는 세 종류이고 robots.txt에서 각각 따로 제어된다. 셋을 한 덩어리로 다루는 순간 판단이 뭉개진다.

| 봇 | 역할 | 열었을 때 얻는 것 | 닫았을 때 잃는 것 |
|---|---|---|---|
| OAI-SearchBot | 챗GPT 검색 노출 | AI 답변의 출처 노출 | 출처 목록에서 제외 |
| GPTBot | 모델 학습용 수집 | 학습 데이터 편입 | 학습 제외(노출과 무관) |
| ChatGPT-User | 사용자 요청 시 방문 | 사용자가 준 링크를 읽음 | 링크를 줘도 못 읽음 |

핵심은 학습 차단과 노출 차단이 별개 스위치라는 점이다. 콘텐츠 무단 학습이 우려된다면 GPTBot만 닫고 OAI-SearchBot은 열어두면 된다. 셋을 통째로 막아놓고 인용이 안 된다고 말하는 사이트가 흔한데, 그건 최적화 이전에 설정 사고다.

---

2단계 — 문서를 조각 단위로 자기완결시킨다

---

AI는 페이지 전체를 통독하지 않고 문서 조각을 읽어 인용한다. 그래서 맥락이 조각 안에 들어 있어야 한다. 실무에서 손볼 지점은 세 곳이다.

첫째, 첫 문단이다. 제목이 던진 질문에 두세 문장으로 답을 끝내야 한다. 답이 스크롤 아래에 있으면 발췌 대상에서 밀린다. 둘째, 소제목이다. 가격·기간·조건처럼 실제로 자주 듣는 질문을 질문 형태 소제목으로 올리고 바로 아래 답을 붙인다. 셋째, 회사 정보다. 상호·지역·서비스 범위가 한 페이지 안에서 완결돼야 한다. "저희는"으로만 지칭된 문단은 인용돼도 누구 얘기인지 남지 않는다.

llms.txt는 이 단계에서 우선순위가 아니다. 구글은 llms.txt를 비롯한 AI 전용 파일을 쓰지 않는다고 공식 문서에 적었고, 만들어도 구글 검색 순위에는 득실이 없다.

---

3단계 — 4주 확인 사이클을 돈다

---

점검을 한 번 하고 끝내면 결과를 알 수 없다. 아래 주기를 한 번 돌려보면 어디가 막혔는지 드러난다.

1. 1주차: robots.txt 확인 및 스위치 조정, 변경 사항을 날짜와 함께 메모한다.
2. 2주차: 문의가 많이 들어오는 페이지 3개의 첫 문단과 소제목을 위 기준대로 고쳐 쓴다.
3. 3주차: 손대지 않고 기다린다. 크롤러가 재방문해 색인을 갱신할 시간을 준다.
4. 4주차: 챗GPT·퍼플렉시티에 자기 업종 질문을 5개 던지고, 출처에 자사 사이트가 뜨는지 기록한다. 안 뜨면 경쟁사 어느 페이지가 인용됐는지 확인한다.

이 기록이 쌓이면 무엇이 효과가 있었는지 추적된다. 4주차에 경쟁사 페이지를 열어보는 작업이 특히 값지다. 어떤 문단이 통째로 인용됐는지 보면 답 문단의 길이와 형식이 감으로 잡힌다.

---

비용을 어디에 쓸 것인가

---

1단계는 30분이면 끝나고 개발자도 필요 없다. 2단계는 글쓰기 노동이라 시간이 든다. 그래서 견적에 'AI 검색 최적화'가 별도 상품으로 붙어 온다면, 그 안에 무엇이 들었는지 항목별로 확인하는 편이 낫다. 파일 하나 올리는 작업과 본문을 다시 쓰는 작업은 성격도 값도 다르다.

Q. robots.txt에서 AI 봇을 전부 막으면 콘텐츠가 보호되나요?
학습용 GPTBot과 검색용 OAI-SearchBot은 따로 제어된다. 전부 막으면 학습뿐 아니라 AI 답변의 출처 목록에서도 빠지므로, 보호가 아니라 퇴장에 가깝다.

Q. llms.txt를 만들면 인용 확률이 올라가나요?
구글은 공식 가이드에서 llms.txt를 사용하지 않는다고 밝혔고 순위에도 영향이 없다고 적었다. 만들어도 무방하지만 본문 구조를 고치는 작업보다 앞세울 근거는 없다.

---

손보기 전과 후 — 소제목 하나의 차이

---

추상적으로 들릴 수 있으니 실제로 무엇을 고치는지 적어둔다. 서비스 페이지의 소제목이 '서비스 개요'이고 그 아래 문단이 회사 소개로 시작한다면, 그 조각은 어떤 질문에도 답하지 않는다. 인용될 근거가 없다.

같은 내용을 '시공 기간은 얼마나 걸리나요'라는 소제목으로 바꾸고, 바로 아래 첫 문장에서 "규모에 따라 다르지만 통상 2~4주가 걸린다"로 답을 끝내면 그 조각 하나가 독립적으로 인용 가능해진다. 문단 안에 회사명과 지역까지 들어 있으면 인용됐을 때 누구 얘기인지도 남는다.

바꿔야 할 문장은 대개 많지 않다. 문의로 자주 들어오는 질문 다섯 개가 페이지 어디에 답으로 존재하는지 확인하고, 그 다섯 개를 소제목 자리로 끌어올리는 작업이 대부분이다.

원문: https://nova-lab.dev/r/t/geo-aeo-ai-search-guide

---

자주 묻는 질문

---

Q. GEO와 SEO 중 뭘 먼저 해야 하나요?

SEO가 먼저다.

구글은 생성형 AI 검색 최적화도 결국 SEO라고 공식 가이드에 적었고, 색인에 들지 못한 페이지는 AI 답변에도 인용되지 않는다.

기본 점검을 끝낸 뒤 질문형 소제목과 자기완결적인 문단으로 GEO를 얹는 순서가 맞다.

 

Q. llms.txt는 꼭 만들어야 하나요?

구글은 llms.txt를 비롯한 AI 전용 파일을 쓰지 않는다고 공식 문서에 밝혔다.

올려도 구글 검색 순위에는 득도 실도 없다.

다른 서비스 때문에 유지하는 건 자유지만, 본문 개선보다 앞세울 일은 아니다.

 

Q. AI 봇을 막으면 콘텐츠가 보호되나요?

학습용 GPTBot과 검색용 OAI-SearchBot은 robots.txt에서 따로 제어된다.

전부 막으면 학습뿐 아니라 AI 답변의 출처 목록에서도 빠진다.

학습만 막고 검색 노출은 열어두는 설정이 가능하니 둘을 구분해서 결정하는 게 낫다.

글 · 노바랩 NovaLab · https://nova-lab.dev