File Robots.txt là gì?
Robots.txt là một tập tin văn bản có chứa vài dòng mã đơn giản. Nó được lưu trên các trang web hoặc máy chủ của blog đó hướng dẫn các trình thu thập web để các bot lập chỉ mục và thu thập thông tin blog của bạn trong kết quả tìm kiếm. Điều đó có nghĩa là bạn có thể hạn chế bất kỳ trang web vào blog của bạn từ trình thu thập web để nó không thể được lập chỉ mục trong công cụ tìm kiếm như các nhãn (Labels) của bạn, trang demo hoặc bất kỳ trang nào khác không quan trọng để lập chỉ mục. Luôn luôn nhớ rằng trình thu thập tìm kiếm quét các tập tin robots.txt trước khi bò bất kỳ trang web.Mỗi blog lưu trữ trên blogger có file robots.txt mặc định của nó giống như thế này:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://tuhocmmo.blogspot.com/feeds/posts/default?orderby=UPDATED
Thêm tập tin Robots.txt vào Blogger
#Bước 1: Đăng nhập vào Blogger#Bước 2: Vào Cài đặt >> Tùy chọn tìm kiếm >> Robots.txt tùy chỉnh >> Bật nội dung robots.txt tùy chỉnh? chọn có
 |
| Cách tối ưu file robots.txt cho blogspot |
#Bước 3: Thêm đoạn mã này vào ô trống
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: http://tuhocmmo.blogspot.com/feeds/posts/default?orderby=UPDATED
Tùy chỉnh:
- Thay phần màu đỏ bằng tên blog của bạn
Làm thế nào để kiểm tra file Robots.txt
- Để kiểm tra bạn dán http://blogcuaban.blogspot.com/robots.txt lên thanh tìm kiếm trình duyệt