Python爬虫Chrome网页解析工具-XPath Helper

Python · 实用资源 / / 2 条评论 /

之前就说过Python爬虫中Xpath的用法，相信每一个写爬虫、或者是做网页分析的人，都会因为在定位、获取XPath路径上花费大量的时间，在没有这些辅助工具的日子里，我们只能通过搜索HTML源代码，定位一些id，class属性去找到对应的位置，非常的麻烦，今天推荐一款插件Chrome中的一种爬虫网页解析工具：XPath Helper，使用了一下感觉很方便，所以希望能够帮助更多的Python爬虫爱好者和开发者

Python爬虫常用的小技巧-伪造随机的User-Agent

Python / / 8 条评论 /

不管是做开发还是做过网站的朋友们，应该对于User Agent一点都不陌生，User Agent 中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等

Python爬虫常用的小技巧-设置代理IP

Python / / 3 条评论 /

在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，这里讲述一个爬虫技巧，设置代理IP