宝塔Nginx防火墙插件屏蔽非常见（垃圾）蜘蛛（爬虫），减轻服务器压力

首先登陆服务器上的宝塔面板后台，找到左栏软件商店（点击）。

1.安装插件

1.1 收费版

点击专业版应用->选择Nginx防火墙安装（宝塔专业版、企业版用户、或单独购买插件）

1.2 免费版

点击第三方应用->选择Nginx免费防火墙安装

2.安装完毕后，然后打开Nginx防火墙插件点击

全局配置->黑名单->UA黑名单（设置），然后导入非常见蜘蛛及爬虫即可。

部分非常见蜘蛛及爬虫

SemrushBot
AhrefsBot
RepoLookoutBot
Scrapy
curl
DataForSeoBot
BLEXBot 
DotBot 
BLEXBot
serpstatbot
Apache-HttpClient
lunabot
bidswitchbot
python
bushbaby
WellKnownBot
Apache-HttpClient
Curl
crawl
curb
git
Wtrace
Jullo
CrawlDaddy
FeedDemon
Feedly
UniversalFeedParser
ApacheBench
Swiftbot
MJ12bot
ZmEu
WinHttp
YYSpider
jaunty
oBot
Indy Library
FlightDeckReports
Linguee
libcurl-agent
Go-http-client
SirdataBot
WhatWeb
okhttp
msray-plus
test-bot
DataForSeo
ImagesiftBot