ví dụ về chặn botAhrefs |
C1 : Chặn bằng robots.txt
User-agent: AhrefsBot
Disallow: /Ngoài ra, mọi người có thể kiểm soát tần số của AhrefsBot đến trang web của mình bằng cách xác định sự chậm trễ tối thiểu chấp nhận được giữa hai yêu cầu liên tiếp từ bot như sau (trong robots.txt):
User-Agent: AhrefsBot
Crawl-Delay: 2
trong đó chú ý giá trị của tham số Crawl-Delay tính bằng giây
C2 : Hoặc Chặn bằng htaccess
#htaccess mod rewrite code
Options +FollowSymLinks -MultiViews
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^Rogerbot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Exabot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Dotbot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Gigabot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot* [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow* [OR]
RewriteRule ^(.*)$ <a>/</a> [L,R=301]
Đấy em viết hết rồi ạ,còn các nào nữa anh em bổ sung bên dưới
Đã thử và không thành côgn :D
Trả lờiXóaCảm ơn bạn bài viết rất hữu ích cho dân làm SEO
Trả lờiXóaChặn rồi đối thủ chơi xấu thì sao biết được?
Trả lờiXóaLúc nào mình cần check thì lại mở là Ok mà :)
XóaThanks Bác. Em đang tìm cái này. Chứ nó soi link nhau ghê quá hic hic
Trả lờiXóaKết quả rất tốt. Thankssss :D
Trả lờiXóaKết quả đúng như mong đợi, kiểu này thì làm seo theo kiểu soi link khó khăn đây
Trả lờiXóaCái này đúng là con dao hai lưỡi luôn, nhiều khi bị link xấu cũng không biết đâu mà lần
Trả lờiXóanếu chặn thì méo biết link nào trã về, không chặn thì củng không được, đúng là khó thôi để vậy, nói chung là củng có cách chặn là ok rồi
Trả lờiXóaMình không biết mặc định trong htaccess có 1 số đoạn code thì thêm đoạn code này vào chỗ nào ạ? Sợ chèn vào lỗi web
Trả lờiXóa