카페24 호스팅 Bing 크롤링 오류, Bing 웹마스터도구 문제

카페24 호스팅을 이용하는 경우 Bing 웹마스터도구에서 사이트를 등록하고 사이트맵까지 잘 제출을 해도 빙 검색엔진에서 검색이 안되는 문제가 발생을 합니다.

 

이 문제는 빙 검색엔진이 웹사이트를 긁어가지(크롤링)를 못 하는 현상으로 인해 일어나는 것입니다.
결국 빙 검색엔진에는 웹사이트가 노출이 되더라도 첫 페이지(홈페이지) 정도나 되고 그 외 페이지들을 거의 노출이 되지가 않습니다.

 

사이트맵을 제출해도 사이트맵을 제대로 인식하지 못 하는 현상이 주로 일어나며, RSS는 제출을 하면 읽어가는 모습을 보여줍니다.

 

이는 카페24의 정책인지는 모르겠습니다만 카페24가 빙 검색엔진의 봇들이 크롤링 하는 것에 대해 베타적인 문제로 보입니다. 아마 카페24에서 Bing 봇은 크롤링을 못하게 설정을 기본값으로 하는 것으로 생각이 됩니다. 그렇다고 아예 막은 것 같지는 않은데...

 

카페24 호스팅을 이용하는 중이라면 아래와 같이 루트 디렉토리에 있는 .htaccess 에 한 줄을 추가해 주면 됩니다.

 

SetEnvIfNoCase User-Agent "bingbot" !go_out

위와 같이 .htaccess 에 추가를 하고 난 이후 Bing 웹마스터 도구에서 기존에 제출한 사이트맵을 다시 제출(Re-Submit)을 꼭 하기 바랍니다. 다시 제출을 하지 않아도 문제가 해결이 되기는 합니다만 시일이 제법 걸리는 경우가 일어날 수도 있습니다.