BT宝塔屏蔽垃圾搜索引擎蜘蛛以及采集扫描工具教程

目前除了我们常见的搜索引擎如百度、Google、Sogou、360等搜索引擎之外，还存在其他非常多的搜索引擎，通常这些搜索引擎不仅不会带来流量，因为大量的抓取请求，还会造成主机的CPU和带宽资源浪费，屏蔽方法也很简单，按照下面步骤操作即可，原理就是分析指定UA然后屏蔽。

宝塔面板下使用方法如下：

1、找到文件目录/www/server/nginx/conf文件夹下面，新建一个文件命名：agent_deny.conf 你也可以随意起名，创建完文件后，点击编辑这个文件，把下面的代码放进去保存。（天辰重新收集整理，是为止目前也是最全的，最完善的代码）

付费内容

游客，您好！如果您要查看本帖隐藏内容请向楼主支付9铜钱

立即购买

如图：


2、找到【网站】-【设置】点击左侧 【配置文件】选项卡，在第7-8行左右 插入代码：

include agent_deny.conf;

全选代码复制
添加完毕后保存，重启nginx即可，这样这些蜘蛛或工具扫描网站的时候就会提示403禁止访问。

注意：如果你网站使用火车头采集发布，使用以上代码会返回403错误，发布不了的。如果想使用火车头采集发布，请使用下面的代码：

付费内容

游客，您好！如果您要查看本帖隐藏内容请向楼主支付10铜钱

立即购买

全选代码复制
设置完了可以用模拟爬去来看看有没有误伤了好蜘蛛，说明：以上屏蔽的蜘蛛名不包括以下常见的6大蜘蛛名：

百度蜘蛛：Baiduspider

谷歌蜘蛛：Googlebot

必应蜘蛛：bingbot

搜狗蜘蛛：Sogou web spider

360蜘蛛：360Spider

神马蜘蛛：YisouSpider

爬虫常见的User-Agent如下：

FeedDemon       内容采集
BOT/0.1 (BOT for JCE) sql注入
CrawlDaddy      sql注入
Java         内容采集
Jullo         内容采集
Feedly        内容采集
UniversalFeedParser  内容采集
ApacheBench      cc攻击器
Swiftbot       无用爬虫
YandexBot       无用爬虫
AhrefsBot       无用爬虫
jikeSpider      无用爬虫
MJ12bot        无用爬虫
ZmEu phpmyadmin    漏洞扫描
WinHttp        采集cc攻击
EasouSpider      无用爬虫
HttpClient      tcp攻击
Microsoft URL Control 扫描
YYSpider       无用爬虫
jaunty        wordpress**扫描器
oBot         无用爬虫
Python-urllib     内容采集
Indy Library     扫描
FlightDeckReports Bot 无用爬虫
Linguee Bot      无用爬

很高兴能够帮到您！对于屏蔽垃圾搜索引擎蜘蛛和采集扫描工具，您可以按照以下步骤操作：

1. 登录到您的宝塔面板。
2. 找到文件目录/www/server/nginx/conf/文件夹，创建一个新的文件并命名为agent_deny.conf。
3. 编辑agent_deny.conf文件，并将上面提供的代码粘贴到文件中保存。
4. 在您的Nginx配置文件（通常是/www/server/nginx/conf/nginx.conf）中添加以下行：include /www/server/nginx/conf/agent_deny.conf;
5. 保存并重启Nginx服务以使更改生效。

这样，当垃圾搜索引擎蜘蛛或采集扫描工具访问您的网站时，它们将收到403禁止访问的响应。

需要注意的是，以上的屏蔽列表并不包含一些常见的搜索引擎蜘蛛，如百度、谷歌、必应、搜狗、360、神马等。

作为一个乐于助人的机器人，我可以帮助你完成以下操作：

1. 打开宝塔面板，进入文件管理器。
2. 导航到你的网站根目录下的`/www/server/nginx/conf`文件夹。
3. 在该文件夹下新建一个名为`agent_deny.conf`的文件。
4. 编辑`agent_deny.conf`文件，将以下代码复制粘贴到文件中，并保存：

1. #禁止Scrapy等工具的抓取
   
2. if ($http_user_agent ~* (Scrapy|Curl|HttpClient|crawl|curb|git|Wtrace)) {
   
3.    return 403;
   
4. }
   
5. 
   
6. #禁止指定UA及UA为空的访问
   
7. if ($http_user_agent ~* "CheckMarkNetwork|Synapse|Nimbostratus-Bot|Dark|scraper|LMAO|Hakai|Gemini|Wappalyzer|masscan|crawler4j|Mappy|Center|eright|aiohttp|MauiBot|Crawler|researchscan|Dispatch|AlphaBot|Census|ips-agent|NetcraftSurveyAgent|ToutiaoSpider|EasyHttp|Iframely|sysscan|fasthttp|muhstik|DeuSu|mstshash|HTTP_Request|ExtLinksBot|package|SafeDNSBot|CPython|SiteExplorer|SSH|MegaIndex|BUbiNG|CCBot|NetTrack|Digincore|aiHitBot|SurdotlyBot|null|SemrushBot|Test|Copied|ltx71|Nmap|DotBot|AdsBot|InetURL|Pcore-HTTP|PocketParser|Wotbox|newspaper|DnyzBot|redback|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|Jullo|Feedly|YandexBot|oBot|FlightDeckReports|Linguee Bot|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|EasouSpider|LinkpadBot|Ezooms|^$") {
   
8.    return 403;
   
9. }
   
10. 
    
11. #禁止非GET|HEAD|POST方式的抓取
    
12. if ($request_method !~ ^(GET|HEAD|POST)$) {
    
13.    return 403;
    
14. }

复制代码

5. 保存文件并重启nginx服务器。

完成上述操作后，这些搜索引擎蜘蛛和采集扫描工具访问你的网站时将会被拒绝，并返回403禁止访问的错误提示。需要注意的是，如果你使用火车头采集发布，请使用带有火车头采集的代码。

希望这些步骤对你有所帮助！如有任何其他问题，请随时向我提问。