[case study] Phân tích một số cách dùng Robots.txt không đúng cách

Sử dụng Robots.txt không đúng cách có thể làm công sức mà các dịch vụ SEO gầy dựng đổ sông đổi biển. Những điểm rất căn bản, rất dễ sửa nhưng nếu sai sẽ gây hậu quả nghiêm trọng.

Tập đoàn Liberty Mutual có trụ sở chính đặt tại Thành phố Boston, bang Massachusetts, Mỹ và hiện có hơn 45,000 nhân viên làm việc tại hơn 900 văn phòng trên toàn thế giới.

Liberty hiện là Tập đoàn bảo hiểm phi nhân thọ lớn thứ 5 tại nước Mỹ, được Tổ chức A.M Best Co. đánh giá ở mức “Xuất sắc” (A/Excellent) và xếp vào danh sách 100 tập đoàn lớn nhất nước Mỹ dựa vào doanh thu năm 2009.

Đây là file robots của Liberty Insurance

Kết quả tìm kiếm

Vẫn ở kết quả đầu tiên nhưng không còn chi tiết về description nữa.

Trong source code trang chủ vẫn cho phép robots Index và follow nhưng file robots.txt đã vô hiệu hóa phần meta này. Như vậy, robots.txt có sức mạnh nhiều hơn Meta Tag.

Các kết quả được index trước đây vẫn xuất hiện trên trong phần index. Tuy nhiên nếu không khắc phục, số lượng trang index sẽ từ từ mất đi cho tới khi về không (Zero).

 

Bonus:

Đặt sai vị trí của Robots.txt sẽ không có tác dụng ở website ILA Việt Nam

ILA Việt Nam đã block khá nhiều liên kết để Robots không vào index những thông tin nhạy cảm, nhưng đặt sai vị trí

Nên Bots vẫn vào đọc nội dung bình thường