robots.txt 파일을 확인하는 방법

robots.txt 파일을 확인하려면 다음 단계를 따르세요.

선호하는 웹 브라우저를 열고 웹사이트 도메인(예: www.example.com)으로 이동합니다. 

URL 끝에 "/robots.txt"를 추가합니다. 예를 들어 전체 URL은 www.example.com/robots.txt입니다.  

Enter 또는 Go를 눌러 URL을 로드합니다.

 

웹사이트의 robots.txt 파일이 브라우저 창에 표시됩니다. 일반적으로 일반 텍스트 파일로 나타납니다.

robots.txt 파일의 내용을 검토하여 검색 엔진 크롤러에 제공되는 지침을 확인하십시오. 여기에는 특정 봇이 웹 사이트의 특정 부분에 액세스하는 것을 허용하거나 허용하지 않는 지시문이 포함될 수 있습니다.

 

robots.txt 파일에서 검색 엔진이 중요한 페이지를 크롤링하고 인덱싱하지 못하게 하는 의도하지 않은 차단과 같은 잠재적인 문제가 있는지 확인하십시오.

 

robots.txt 파일은 검색 엔진 크롤러가 웹 사이트의 어느 부분에 액세스할 수 있는지 제어하는 ​​데 도움이 되므로 검색 엔진 최적화(SEO)의 중요한 요소라는 점에 유의해야 합니다. 파일의 지시문이 의도한 SEO 전략과 일치하고 웹 페이지 색인 생성에 영향을 줄 수 있는 의도하지 않은 차단이 없는지 확인하십시오.

 

이대로 해보고 다시 글 올려보겠습니다. 이거 왜 차단당하는지도 모르고 계속 글쓰고 있었는데 이제라도 왜 안되는지 확인해보고 추후에 글로 적겠습니다, 이 글은 제가 공부하려고 적는 글이지만 보시는 분들에게도 도움이 되기를 바랍니다.