robots.txt Tester

웹사이트의 robots.txt 파일을 분석하고 특정 페이지나 리소스의 차단 여부를 실시간으로 확인해보세요.

실시간 분석
User-agent별 규칙
리소스 검사

robots.txt 입력

URL 테스트

실시간 에디터

실시간 모드를 활성화하고 URL을 입력하세요

robots.txt 가이드

주요 지시어

User-agent규칙을 적용할 크롤러 지정
Disallow접근을 금지할 경로
Allow접근을 허용할 경로
SitemapXML 사이트맵 위치

우선순위 규칙

더 구체적인 경로가 우선순위가 높음
Allow 규칙이 Disallow보다 우선
특정 User-agent가 * 보다 우선
와일드카드(*) 패턴 지원

참고 자료

📘
Google robots.txt 가이드
공식 Google 문서
📗
robots.txt 표준 문서
공식 표준 사이트