Google đã cập nhật tài liệu Search Central của mình để làm rõ rằng các trường không được liệt kê trong tài liệu robots.txt của họ sẽ không được hỗ trợ. Điều này nhằm cung cấp hướng dẫn rõ ràng và tránh nhầm lẫn cho các chủ sở hữu trang web và nhà phát triển.
GOOGLE CẬP NHẬT CHÍNH SÁCH ROBOTS.TXT: NHỮNG TRƯỜNG KHÔNG HỖ TRỢ SẼ BỊ BỎ QUA
Chính sách mới của Google
– Google chỉ hỗ trợ bốn trường cụ thể trong tệp robots.txt: user-agent, allow, disallow, và sitemap.
– Các trường không được hỗ trợ sẽ bị bỏ qua bởi các trình thu thập dữ liệu của Google.
Hướng dẫn cho chủ sở hữu trang web
– Chủ sở hữu trang web nên kiểm tra và cập nhật tệp robots.txt của mình để đảm bảo không chứa các trường không được hỗ trợ.
– Điều này giúp tránh việc dựa vào các chỉ thị không được công nhận, có thể dẫn đến việc các trang web không được thu thập dữ liệu đúng cách.
Các trường không được hỗ trợ
– Một số chỉ thị phổ biến nhưng không được hỗ trợ bao gồm crawl-delay, noindex, và noarchive.
– Google đã từng xem xét việc hỗ trợ chỉ thị noindex trong robots.txt nhưng quyết định không tiến hành do các vấn đề phức tạp liên quan đến việc chặn cả việc thu thập dữ liệu và lập chỉ mục.
Tác động của cập nhật này
– Cập nhật này nhấn mạnh tầm quan trọng của việc tuân thủ các hướng dẫn chính thức của Google để đảm bảo trang web được thu thập dữ liệu và lập chỉ mục hiệu quả.
– Các chủ sở hữu trang web cần thường xuyên kiểm tra và cập nhật tệp robots.txt của mình theo các hướng dẫn mới nhất từ Google.
