24/06/2014 02:44 | Quảng bá website - SEO
REP giúp webmaster điều hướng hoạt động của robot (hay còn gọi là crawler, spider - phần mềm dò tìm dữ liệu của các cỗ máy tìm kiếm) đối với website của mình. Webmaster có thể dùng file Robots.txt để ngăn chặn robot xâm nhập các thư mục và file trên server của mình và thẻ Meta Robots giúp ngăn chặn robots ở cấp độ từng trang riêng lẻ.
Về Robots.txt, cả 3 đại gia tìm kiếm đều hỗ trợ các chỉ dẫn (directive) sau:
[ Các chỉ dẫn trên có thể dùng kết hợp với nhau và hẹn gặp lại bạn ở bài hướng dẫn chi tiết khác! 
]
Về thẻ Meta Robots, cả Google, Yahoo! và Microsoft đều thỏa thuận:
Thực ra Giao thức ngăn chặn Robots - REP đã được hiểu ngầm là 1 tiêu chuẩn chưa chính thức (de-facto standard) của các cỗ máy tìm kiếm từ những năm 1990. Tuy nhiên đây là lần đầu tiên Google, Yahoo! và Microsoft “cộng tác” (collaborating) hay “làm việc với nhau” (working together) về REP, mặc dù họ chưa xây dựng nên 1 tiêu chuẩn mới (như đã từng dựng trang Sitemaps.orgnăm 2006 hướng dẫn Sitemap cho website) mà chỉ mới tuyên bố trên blog của họ.
