大数跨境
0
0

Nginx 屏蔽垃圾蜘蛛对网站进行爬取

Nginx 屏蔽垃圾蜘蛛对网站进行爬取 天智软件
2023-06-14
3
导读:TintSoft 天智软件网站通常欢迎蜘蛛访问,因为蜘蛛意味着搜索排名和流量。然而,有时大量垃圾蜘蛛或爬虫访

TintSoft 天智软件


网站通常欢迎蜘蛛访问,因为蜘蛛意味着搜索排名和流量。然而,有时大量垃圾蜘蛛或爬虫访问会影响网站性能,特别是在服务器配置较低的情况下。因此,我们需要知道如何屏蔽这些垃圾蜘蛛。




正文

那么我们该怎样屏蔽掉垃圾蜘蛛呢?


在nginx 的配置文件目录新建文件 deny_robot.conf 并写入一下内容:


接下来只需要在需要屏蔽蜘蛛的网站配置节引入刚才配置的文件即可。如 include deny_robot.conf



结语:还想了解其他更多技术知识,那就请关注天之软件吧~!







天智软件

微信号:tintsoft

网站:tintsoft-天智软件


【声明】内容源于网络
0
0
天智软件
探索科技,活着就是为了改变世界!
内容 487
粉丝 0
天智软件 探索科技,活着就是为了改变世界!
总阅读610
粉丝0
内容487