File robots.txt chuẩn cho WordPress và Blogspot

Việc tối ưu hóa trang web luôn là vấn đề quan trọng đối với tất cả các webmaster hay SEOer. Bởi vì nó chiếm một vị trí thật sự rất quan trọng đối với website của bạn. File robots.txt là gì? Nó có quan trọng với website của bạn? Và tại sao chúng ta lại cần phải tối ưu nó? Nó có liên quan đến SEO không?

File robots.txt là gì?

Không có gì đặc biệt cả và mình cũng chẳng biết phải định nghĩa nó như thế nào nữa@@@@. File robots.txt chỉ là một file bên trong có chứa một vài dòng lệnh ngắn ngủn à 🙂

Vậy File robots.txt có liên quan đến SEO? Câu trả lời cũng ngắn không hề kém đó chính là CÓ. Tại sao nó lại liên quan nhỉ? Bởi vì File Robots.txt là file dùng để điều hướng bọ tìm kiếm. Nó có thể dẫn đường cho bọ tìm kiếm đi và thu thập dữ liệu đúng theo ý muốn của bạn.

Bạn muốn trang này được index – Ờ thì bạn sẽ dùng đến Allow. Bạn không muốn index trang này – Ờ thì bạn lại dùng đến cái này: Disallow.

Như vậy thì chắc chắn là nó sẽ quan trọng với website của bạn rồi nhỉ :vvv, Ok dưới đây sẽ là hai mẫu File Robots.txt được nhiều người sử dụng nhất trên hai nền tảng WordPressBlogspot, các bạn cùng tham khảo nhé!

Đối với WordPress

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /feed 
Disallow: /*/feed 
Disallow: /comments 
Disallow: /author 
Disallow: /archives 
Sitemap: http://doiguocmoc.com/sitemap_index.xml

Đối với Blogspot

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html 
Sitemap: http://doiguocmoc.com/feeds/posts/default?orderby=UPDATED

Các bạn nhớ đổi doiguocmoc.com thành tên miền của bạn nhé!

Cùng chuyên mục:

Add Comment

33 Comments

  1. nguyennv
    1 Bình luận
    23/09/2015
  2. Trần Nam
    1 Bình luận
    22/10/2015
  3. trang
    3 Bình luận
    25/10/2015
    • Thủ thuật Blogspot
      31 Bình luận
      25/10/2015
    • Đôi Guốc Mộc
      Admin
      25/10/2015
    • Tịnh Nguyễn Blog
      39 Bình luận
      09/12/2016
  4. trang
    3 Bình luận
    26/10/2015
    • Đôi Guốc Mộc
      Admin
      26/10/2015
  5. trang
    3 Bình luận
    26/10/2015
    • Đôi Guốc Mộc
      Admin
      26/10/2015
  6. xuat khau lao dong nhat ban
    1 Bình luận
    16/12/2015
  7. Phạm Văn Thắng
    1 Bình luận
    20/12/2015
  8. vtkong
    1 Bình luận
    04/01/2016
    • Đôi Guốc Mộc
      Admin
      04/01/2016
  9. On ap standa
    10 Bình luận
    25/02/2016
    • Đôi Guốc Mộc
      Admin
      25/02/2016
  10. Trần Đình Đức
    13 Bình luận
    06/03/2016
    • Đôi Guốc Mộc
      Admin
      06/03/2016
      • Trần Đình Đức
        13 Bình luận
        06/03/2016
      • Đôi Guốc Mộc
        Admin
        06/03/2016
    • Đôi Guốc Mộc
      Admin
      06/03/2016
      • Trần Đình Đức
        13 Bình luận
        06/03/2016
  11. Lê Ngọc Tuấn
    1 Bình luận
    31/03/2016
  12. Quang Pham
    2 Bình luận
    03/06/2016
  13. Blogger Sơn Zim
    CTV
    30/10/2016
  14. Tịnh Nguyễn Blog
    39 Bình luận
    09/12/2016
    • Mộc
      Admin
      09/12/2016
      • Tịnh Nguyễn Blog
        39 Bình luận
        09/12/2016
  15. Dụng cụ cầm tay bosch
    2 Bình luận
    10/02/2017
    • Mộc
      Admin
      10/02/2017