爬虫有些网站,会针对ua做反爬,是一种常见的发票措施,这就要求我们在爬虫的过程中,针对某

些网站必须做ua池。

ua池创建是比较简单的,直接将ua放在一个指定的管道中,然后可以随机取,也可以轮询取。

但是有些网站ua反爬比较严重,所以这就要求我们在创建ua池的时候,将ua池尽可能大的构建,

这样能防止我们的爬虫被检测到。

构建大的ua池,需要的ua太多了,如果只是百度去搜的话,太麻烦,而且量也不多

这里作者找到一个专门提供ua的网站,提供了海量的ua,如果需要的话可以访问该网站。

这里直接贴出来ur

http://useragentstring.com/pages/useragentstring.php?typ=Browser

直接请求该url,通过解析工具直接获取就可

另外,该网站还提供ua测试,避免拿到的ua是失效的,有需求的可以看一下

Logo

欢迎加入 MCP 技术社区!与志同道合者携手前行,一同解锁 MCP 技术的无限可能!

更多推荐