Trang chủ » Kiến thức » Kiến thức Seo

Sử dụng hiệu quả robots.txt - Tối ưu hoá Công cụ Tìm kiếm của Google Phần 9

Tệp "robots.txt" cho các công cụ tìm kiếm biết liệu chúng có thể truy cập và nhờ vậy, thu thập dữ liệu các phần trong trang web của bạn không. Tệp này phải được đặt tên là "robots.txt" và được đặt trong thư mục gốc của trang web của bạn.

Địa chỉ tệp robots.txt của chúng tôi

Địa chỉ tệp robots.txt của chúng tôi

Tất cả các bot công cụ tìm kiếm tương thích

Tất cả các bot công cụ tìm kiếm tương thích (được biểu thị bằng biểu tượng ký tự đặc trưng *) không được truy cập và thu thập dữ liệu nội dung theo /images/ hoặc bất kỳ URL nào có đường dẫn bắt đầu bằng /search

Bạn có thể không muốn một số trang nhất định trong trang web của mình được thu thập dữ liệu bởi vì chúng có thể không hữu ích cho người dùng nếu được tìm thấy trong các kết quả tìm kiếm của công cụ tìm kiếm. Nếu bạn muốn ngăn không cho các công cụ tìm kiếm thu thập dữ liệu các trang của bạn, Công cụ Quản trị Trang web của Google có trình tạo robots.txt thân thiện để giúp bạn tạo tệp này. Lưu ý rằng nếu trang web của bạn sử dụng các tên miền phụ và bạn muốn một số trang nhất định không được thu thập dữ liệu trong tên miền phụ cụ thể, bạn sẽ phải tạo tệp robots.txt riêng biệt cho tên miền phụ đó. Để biết thêm thông tin về robots.txt, chúng tôi đề xuất Trung tâm Trợ giúp Quản trị Trang web này hướng dẫn về việc sử dụng các tệp robots.txt.

Có một số cách khác để ngăn không cho nội dung xuất hiện trong các kết quả tìm kiếm như thêm "NOINDEX" vào thẻ meta của các robot của bạn, sử dụng .htaccess để bảo vệ bằng mật khẩu các thư mục và sử dụng Công cụ Quản trị Trang web của Google để xoá nội dung đã được thu thập dữ liệu trước đó. Kỹ sư của Google Matt Cutts trình bày các cảnh báo cho mỗi phương thức chặn URL trong một video hữu ích.

Các nguyên tắc hữu ích dành cho robots.txt

Sử dụng các phương thức an toàn hơn đối với nội dung nhạy cảm

- Bạn sẽ không cảm thấy yên tâm khi sử dụng robots.txt để chặn tài liệu nhạy cảm hoặc bí mật. Một lý do là các công cụ tìm kiếm có thể vẫn tham chiếu các URL bạn chặn (chỉ hiển thị URL, không phải tiêu đề hay đoạn trích) nếu ngẫu nhiên có được các liên kết đến những URL đó trên Internet (như các bản ghi tham chiếu). Cũng vậy, các công cụ tìm kiếm lừa đảo hoặc không tương thích không thừa nhận Chuẩn Loại trừ Robot có thể không tuân theo các hướng dẫn của robots.txt của bạn. Cuối cùng, người dùng tò mò có thể kiểm tra các thư mục hoặc thư mục con trong tệp robots.txt của bạn và đoán ra URL của nội dung mà bạn không muốn cho xem. Mã hoá nội dung hoặc bảo vệ bằng mật khẩu với .htaccess là lựa chọn an toàn khác.

Tránh:

• Cho phép các trang giống kết quả tìm kiếm được thu thập dữ liệu (người dùng không thích rời trang kết quả tìm kiếm và vào trang kết quả tìm kiếm khác không thêm giá trị quan trọng nào cho họ)

• Cho phép số lượng lớn các trang tự tạo với cùng nội dung hoặc nội dung chỉ hơi khác nhau được thu thập dữ liệu: "100.000 trang gần như trùng lặp này có thật sự nên nằm trong chỉ mục của công cụ tìm kiếm?"

• Cho phép các URL được tạo ra bởi các dịch vụ uỷ quyền được thu thập dữ liệu

Phiên bản mới nhất tại Trung tâm Quản trị Trang web của Google

Các phần Tối ưu hoá Công cụ Tìm kiếm của Google tiếp theo

Phần 10: Bạn cần biết rel=nofollow cho các liên kết

Phần 11: Quảng bá trang web của bạn theo các cách phù hợp

Phần 12: Tận dụng các công cụ quản trị web miễn phí

Phần 13: Tận dụng các dịch vụ phân tích web

Phần 14: Các tài nguyên hữu ích dành cho người quản trị web

-----------------------------------------------------------

Phần 1: Tạo tiêu đề trang chính xác, duy nhất

Phần 2: Sử dụng thẻ meta description

Phần 3: Cải tiến cấu trúc URL của bạn

Phần 4: Làm cho trang web của bạn dễ điều hướng hơn

Phần 5: Cung cấp nội dung và dịch vụ chất lượng

Phần 6: Viết chuỗi ký tự liên kết tốt hơn

Phần 7: Sử dụng thẻ tiêu đề một cách thích hợp

Phần 8: Tối ưu hoá việc sử dụng hình ảnh

Bạn phải click vào đây
để like, thì comment face của bạn mới được lên đầu
Để comment nhiều người biết đến
Kiến thức đọc nhiều
Kiến thức tiếp theo
(X) Đóng popup
(X) Đóng popup
vGing · Giới thiệu · Dịch vụ · Khách hàng · Blog · Kiến thức · Liên hệ