scrapy 爬豆瓣返回403错误的解决方法

用scrapy爬豆瓣的某些页面返回403错误：解决方法：在setting.py文件中增加USER_AGENT配置：USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

xiemanR

17176人浏览 · 2016-12-29 17:13:51

xiemanR  ·  2016-12-29 17:13:51 发布

       用scrapy爬豆瓣的某些页面返回403错误：

      解决方法：

      在setting.py文件中增加USER_AGENT配置：

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

# scrapy # 爬虫

MCP技术社区

欢迎加入 MCP 技术社区！与志同道合者携手前行，一同解锁 MCP 技术的无限可能！

加入社区

更多推荐

• · 谷云科技iPaaS发布 MCP Server加速业务系统API 跨入 MCP 时代
• · 打工人必看！Qwen3+MCPs 一键生成爆款笔记，摸鱼式运营轻松涨粉
• · MCP（Model Context Protocol）是专为LLM（大语言模型）应用设计的标准化协议

谷云科技iPaaS发布 MCP Server加速业务系统API 跨入 MCP 时代

MCP技术社区

打工人必看！Qwen3+MCPs 一键生成爆款笔记，摸鱼式运营轻松涨粉

MCP技术社区

MCP（Model Context Protocol）是专为LLM（大语言模型）应用设计的标准化协议

MCP技术社区

欢迎加入社区

取消 确定