robots.txt | 검색노출 허용 범위

설명

검색엔진에게 어디까지 노출시킬 것인지 여부를 알려주는 파일입니다.

내용

User-agent: *
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap.xml

일반적으로 워드프레스에서 가장 많이 사용되는 방식입니다. Disallow 는 노출시키지 않음을 의미합니다.

Allow: /wp-admin/admin-ajax.php

Disallow 다음에 이렇게 Allow 를 입력하면 해당 부분만 노출을 오픈하겠다. 는 의미입니다.

참조

• Google에서 robots.txt 사양을 해석하는 방법  |  문서  |  Google Developers