网站人机验证但不能妨碍搜索引擎抓取

声生不息

导航站点被扫描器天天扫，国内国外的IP成段扫描，我都怀疑是国内网安公司有组织性的批量扫描行为，1h 1g小鸡遭不住了，想开人机验证又怕影响搜索引擎抓取导致流量下降。MJJ有什么好办法没？

张礼林 · 发表于 2024-10-4 11:02:03

放行爬虫，其他验证

谷歌：https://developers.google.com/static/search/apis/ipranges/googlebot.json

必应：https://www.bing.com/toolbox/bingbot.json

百度搜狗 360 劝大家远离

杨了个杨 · 发表于 2024-10-4 11:28:34

开人机验证

然后放行已知搜索引擎机器人

杨了个杨 · 发表于 2024-10-4 11:44:46

开IP段白名单，搜索引擎爬虫IP段都是公开的

宋震宇 · 发表于 2024-10-4 12:02:30

建议换台8核8G的机子

十三堂辰辰 · 发表于 2024-10-4 12:24:28

开验证，但是这样会有问题。有时候搜索引擎模拟普通用户抓取。会判定为作弊。

馿的故事 · 发表于 2024-10-4 12:45:51

开个白名单的事

你输啦 · 发表于 2024-10-4 12:58:39

分ip解析

zekawh · 发表于 2025-5-26 23:24:08

用爬虫呢

henlly510 · 发表于 2025-5-31 03:47:04

分ip解析