SEO 이야기 (8) - robots.txt와 XML 사이트맵

검색엔진 최적화 SEO의 여덟 번째 이야기입니다.
이번에는 "robot.txt"와 "XML 사이트맵 파일"에 대해 이야기해볼까 합니다.

 

 

 

robots.txt

 

robots.txt 파일은 검색엔진에게, 정확히는 검색엔진의 봇들에게 입장이 가능한지를 알려주는 파일입니다.
즉 이 robots.txt 파일에 검색엔진 봇에 대한 접근 여부를 설정하면 그에 맞게 검색엔진 봇들이 웹사이트의 내용을 긁어(크롤링) 갑니다.
robots.txt 는 사이트의 루트 디렉터리에 위치를 해야 검색엔진 봇들이 확인을 할 수 있습니다.

 

만약 robots.txt 파일을 설정하지 않거나 생성해서 루트 디렉토리에 올려놓지 않는다면?
그래도 검색엔진 봇들은 아무 일 없어 웹사이트를 크롤링 해 갈 것입니다.
특별히 설정할 부분이 없다면 robots.txt 파일을 생성하지 않아도 됩니다.
설정하지 않아도 검색엔진 노출에 문제가 발생하는 게 아닌데, 왜 robots.txt 이야기가 SEO에 자주 나오는 걸까요?
그건 바로 검색엔진 봇들이 필요 없는 웹사이트들의 파일들을 체크하지 않게 하기 위해서라고 생각하면 좋을 듯합니다.

 

사이트맵

 

사이트맵은 웹사이트의 구조 또는 정보를 한 번에 볼 수 있는 형식(?)이라고 할 수 있습니다.
지금도 사이트맵이라는 메뉴가 있는 웹사이트가 있으며, 이 메뉴를 보면 웹사이트의 전체 구조를 볼 수 있습니다.
국내에서는 보통 전체보기라는 메뉴명을 사용하는 듯합니다.

위 사이트맵은 검색엔진 최적화, SEO에서 말하는 사이트맵은 아닙니다.
SEO에서 말하는 사이트맵은 XML 사이트맵 파일이라고 하는 것이 맞을 듯합니다.

XML 사이트맵 파일의 중요성이 이야기되는 것은 20-30 페이지 정도 되는 웹사이트들을 이야기하는 것이 아닙니다.
많은 수의 페이지, 또는 포스트가 있는 웹사이트들을 위한 것이라고 생각하면 좋을 듯합니다.

우리는 웹사이트나 블로그를 생성하면 구글 서치 콘솔, 네이버 서치 어드바이저, 빙 웹마스터 포털에 사이트를 등록하고 XML 사이트맵을 제출을 합니다.
이 과정을 거쳐야 각 검색엔진에 사이트가 노출이 된다고 생각하고 있습니다만 이렇게 사이트를 등록하고 XML 사이트맵을 제출하지 않아도 검색엔진에 노출이 됩니다.

검색엔진의 봇들이 열심히 돌아다니면서 크롤링을 해갑니다.

그럼에도 이렇게 각 검색엔진에 사이트를 등록하고 XML 사이트맵 파일을 제출하는 이유는 검색엔진 봇들에게 크롤링 시에 길을 안내해 주기 때문입니다.
다만 이렇게 길을 안내하는 것이 검색엔진 최적화라고는 할 수 없습니다.

검색엔진 최적화가 아닌데 계속 언급이 되는 것은 XML 사이트맵 파일의 역할이 있기 때문입니다.

블로그를 예를 들자면, 일주일에 3-4개의 글을 꾸준히 포스팅하고 몇 년 동안 운영을 하였다면 누적된 포스팅 수가 적지 않습니다.
이렇게 쌓인 포스팅 중에 3년 전의 작성한 글을 수정 보안해서 업데이트를 한다면..
XML 사이트맵에 업데이트된 글이 반영되며 검색엔진 봇들이 바로 이 업데이트 내역을 크롤링해가며 곧 반영이 됩니다.
즉 XML 사이트맵은 웹사이트의 콘텐츠의 수가 많을수록 큰 역할을 하게 될 것입니다.

 

Robots.txt 와 XML 사이트맵

 

둘 다 검색엔진 최적화에는 해당이 되지 않습니다.
Robots.txt 와 XML 사이트맵을 잘 생성했다고 해서 검색엔진 노출의 순위가 향상되지 않습니다.
그렇지만 요즘은 robots.txt와 XML 사이트맵은 웹사이트나 블로그 제작 이후 기본적으로 해야 하는 설정이 되었습니다.
마치 웹사이트에 연락처를 넣는 것처럼 말이죠. 

 

 

구글 SEO 검색엔진최적화에 대한 노하우 자료를 드립니다. | 22000원부터 시작 가능한 총 평점 5점