Hầu hết các blogger dày dạn kinh nghiệm chắc chắn biết robots.txt là gì và tại sao bạn cần tệp này. Nhưng một số tác giả ngay lập tức vội vàng tạo tệp robots.txt sau khi cài đặt blog trên WordPress.
Robots.txt là một tệp văn bản được tải lên thư mục gốc của trang web của bạn và chứa các hướng dẫn cho trình thu thập thông tin. Mục đích chính của việc sử dụng nó là để cấm lập chỉ mục các trang và phần riêng lẻ trên trang web. Tuy nhiên, bằng cách sử dụng robots.txt, bạn cũng có thể chỉ định máy nhân bản miền chính xác, chỉ định đường dẫn đến sơ đồ trang web, v.v.
Hầu hết các công cụ tìm kiếm hiện đại đã học cách điều hướng tốt CMS phổ biến và thường không cố gắng lập chỉ mục nội dung không nhằm mục đích này. Ví dụ: Google sẽ không lập chỉ mục khu vực quản trị blog WordPress của bạn ngay cả khi bạn không chỉ định trực tiếp trong robots.txt. Tuy nhiên, trong một số trường hợp, việc sử dụng các lệnh cấm trực tiếp vẫn có thể hữu ích. Và chúng ta đang nói chủ yếu về việc cấm nội dung trùng lặp.
Một số quản trị viên web đi xa đến mức cấm lập chỉ mục các trang danh mục và thẻ, vì nội dung của họ sao chép một phần nội dung của trang chính. Nhưng hầu hết đều bị giới hạn ở việc cấm các trang trackback và feed, những trang này hoàn toàn trùng lặp nội dung bài viết và hoàn toàn không dành cho các công cụ tìm kiếm. Việc đề phòng như vậy sẽ không chỉ làm cho kết quả của trang web "sạch" hơn, mà còn giúp bạn thoát khỏi các bộ lọc tìm kiếm có thể có, đặc biệt là sau khi thuật toán Google Panda mới ra đời.
Dưới đây là các hướng dẫn được đề xuất cho tệp robots.txt (nó sẽ hoạt động cho hầu hết mọi blog WordPress):
Tác nhân người dùng: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-include Disallow: / wp-content / plugins Không cho phép: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Xin lưu ý rằng trong robots.txt, các thư mục quản trị wp-admin và wp-include hoàn toàn bị đóng để lập chỉ mục. Thư mục wp-content chỉ bị đóng một phần, vì nó chứa thư mục tải lên, chứa tất cả các hình ảnh từ blog của bạn cần được lập chỉ mục.
Tất cả những gì bạn cần làm là sao chép các chỉ thị từ đoạn mã trên (lưu ý rằng mỗi chỉ thị phải được viết trên một dòng mới), lưu chúng vào một tệp văn bản có tên là robots.txt và tải chúng lên thư mục gốc của trang web của bạn.
Bạn luôn có thể kiểm tra xem robots.txt có hoạt động chính xác hay không thông qua Công cụ quản trị trang web của Google và giao diện Quản trị viên web của Yandex.
