各种搜索引擎机器人主要IP段收集在国内外也经常来抓取

› 社区话题 › Linux/macOS 与自动化运维 › Fail2ban 搜索引擎白名单分享涵盖 Google/Bing/Baidu等主流搜索引擎 › 各种搜索引擎机器人主要IP段收集在国内外也经常来抓取

2025年8月3日 - 下午3:24 #913

追光
管理员

当然除了 Google / Bing / 百度，下面这些搜索引擎机器人在国内外也经常来抓取，建议根据你网站的受众情况，按需加入白名单：

? 海外常见搜索引擎爬虫

? Yandex（俄罗斯）

5.45.207.0/24
5.255.192.0/18
37.9.64.0/18
77.88.0.0/18
100.43.64.0/18
141.8.128.0/18
178.154.128.0/18

? DuckDuckGo（Privacy Search）

40.88.21.235/32
20.191.45.0/24
20.191.47.0/24

? Yahoo (Slurp)

74.6.0.0/16
98.136.0.0/14

?? 国内主要搜索引擎爬虫

? 360 搜索（so.com／360Spider）

101.226.4.0/16
220.181.108.0/22
123.125.71.0/24
42.236.10.0/24

? 搜狗（Sogou Spider）

123.126.0.0/17
220.181.0.0/24
124.115.0.0/16
36.110.0.0/16

? 神马（sm.cn）

114.119.128.0/18
106.11.0.0/16
36.155.0.0/16