티스토리 블로그에서 테크니컬 SEO(Search Engine Optimization)를 적용하는 방법을 하나씩 알아보고자 합니다. 테크니컬 SEO는 웹사이트의 콘텐츠를 검색엔진이 잘 이해하고 노출할 수 있도록 하는 SEO 방법 중 하나입니다. 검색엔진은 언어 처리 능력이 떨어지기 때문에 여러 가지 기술을 추가해 주어야 열심히 작성한 콘텐츠가 검색엔진에서 잘 검색될 수 있습니다.
이번 콘텐츠에서는 테크니컬 SEO 중 로봇 파일에 대해 알아보려고 합니다. 로봇 파일의 개념, 메타 태그 등록, 네이버 웹마스터 도구에 티스토리 로봇 파일을 수집 요청하는 방법을 알아보겠습니다.
목차
- 로봇 파일이란?
- 티스토리의 로봇 파일
- 메타 태그 등록
- 구글 robots.txt 테스터
- 네이버 웹마스터 도구에 티스토리 로봇 파일 수집 요청하기
로봇 파일이란?
로봇 파일 robots.txt는 검색엔진의 수집 로봇(크롤러)이 웹사이트의 사이트맵 정보, 크롤링할 수 있는 파일과 할 수 없는 파일 등의 정보를 알려줍니다. 로봇 파일이 있어야 크롤링되기 원하지 않는 웹페이지를 지정하거나 사이트맵 파일 위치를 지정해 검색엔진이 웹 사이트를 빠르고 효율적으로 크롤링할 수 있도록 도울 수 있습니다. 보통 로봇 파일은 웹사이트 주소 뒤에 '/robots.txt'를 입력하면 나옵니다.
로봇 파일에는 4가지 정보가 들어갈 수 있습니다.
- User-agent: 검색엔진 로봇 이름
- Allow: /접근 가능한 디렉터리 또는 URL
- Disallow: /접근 불가 디렉터리 또는 URL
- Sitemap: 사이트맵 위치
위 이미지에서 User-agent에 *라고 표시된 것은 모든 검색엔진 로봇이 웹사이트에 접근할 수 있다는 의미입니다.
티스토리의 로봇 파일
티스토리의 로봇 파일은 이미 만들어져 있어서 블로그 주소 뒤에 'robots.txt'를 입력하면 바로 나옵니다. 아래와 같이 관리 페이지 등 개인 정보 페이지를 모든 검색엔진 로봇이 크롤링할 수 없도록 제한된 것을 볼 수 있습니다.
메타 태그 등록
티스토리의 로봇 파일은 개인이 수정할 수 없기 때문에 검색엔진 로봇이 크롤링하길 바라는 페이지가 있다면 메타 태그 등록을 해야 합니다. 블로그 관리 - 플러그인 - 메타 태그 등록을 클릭합니다.
메타 태그 등록에서 아래와 같이 name에 검색엔진 로봇의 이름, content에 크롤링할 웹페이지인 index와 follow를 넣고 적용을 클릭합니다. 여기서 index는 검색노출을 허용한다는 의미입니다. 만약 검색노출을 허용하지 않으려면 noindex를 넣으면 됩니다. follow는 페이지의 링크를 사용하여 링크된 페이지를 검색한다는 의미이고, 페이지의 링크를 따라가지 않으려면 nofollow를 넣으면 됩니다.
제대로 적용이 되었는지 확인하기 위해 블로그에 가서 F12를 눌러주면 HTML 파일을 살펴봅니다. <head> 내부를 살펴보면 아래와 같이 meta name이 잘 설정된 것을 볼 수 있습니다.
구글 robots.txt 테스터
구글 검색엔진 로봇이 로봇 파일을 제대로 수집하는지 알아봅시다. robots.txt 테스터 열기를 클릭합니다.
구글 콘솔에 블로그를 등록해 두었다면 아래와 같은 페이지가 뜹니다. 페이지 아래에 'robots/txt'를 입력하고 테스트를 클릭합니다.
아래와 같이 허용되었다고 나옵니다. 검은색 박스를 친 곳을 클릭하면 구글의 다양한 검색엔진 로봇이 로봇 파일을 제대로 수집하는지 확인할 수 있습니다.
네이버 웹마스터 도구에 티스토리 로봇 파일 수집 요청하기
사이트 등록
네이버에서 티스토리의 로봇 파일이 제대로 수집되는지 알아봅시다. 네이버 웹마스터 도구에서 사이트 관리를 클릭하면 사이트를 등록할 수 있습니다.
사이트 소유확인을 위해 2가지 방법을 사용해야 합니다. 저는 HTML 태그를 선택했습니다. 아래의 메타 태그를 복사합니다.
블로그 관리 - 스킨 편집 - html 편집에 들어가 <head></head> 내부에 복사한 메타 태그를 넣고, 적용을 클릭합니다.
다시 사이트 소유확인 페이지로 돌아와 소유확인을 클릭하면 아래와 같은 팝업창이 뜹니다.
간단체크를 클릭해 검색 최적화 정보를 조회해 봅시다.
블로그의 로봇 파일이 존재하지 않는다고 나옵니다. 즉 네이버에서는 내 블로그의 콘텐츠가 제대로 검색되지 않을 수 있다는 의미입니다.
로봇 파일 수집 요청
네이버에서 내 블로그의 로봇 파일을 수집하도록 요청해 봅시다. 사이트 목록에서 블로그 주소를 클릭합니다.
그러면 아래와 같은 화면이 나옵니다. 검증 - robots.txt를 클릭하여 수집 요청을 합니다.
수집 요청이 제대로 되었는지 확인하기 위해 robots.txt 페이지에서 robots.txt 검증의 확인을 클릭합니다.
아래의 팝업창이 뜨면 정상적으로 로봇 파일이 네이버 검색엔진 로봇에 의해 크롤링됩니다.
참고 자료
트래픽을 쓸어 담는 검색엔진 최적화, 김건오, 2020
https://miaow-miaow.tistory.com/90
https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ko
'마케팅(Marketing)' 카테고리의 다른 글
| 메타 디스크립션(Meta Description) - 콘텐츠 SEO (1) (4) | 2022.06.03 |
|---|---|
| 제목 태그(heading tags)/H 태그 - 테크니컬 SEO (4) (0) | 2022.05.27 |
| 색인 생성 - 테크니컬 SEO (3) (0) | 2022.05.20 |
| 사이트맵(sitemap) - 테크니컬 SEO (2) (0) | 2022.05.08 |
| GTM(Google Tag Manager) (0) | 2022.04.26 |
댓글