Python爬虫之XPath语法和lxml库的用法

本来打算写的标题是XPath语法，但是想了一下Python中的解析库lxml，使用的是Xpath语法，同样也是效率比较高的解析方法，所以就写成了XPath语法和lxml库的用法

安装

为什么要用这个库呢，因为要写爬虫啊，利用lxml库来解析 HTML 代码，同时lxml也继承了libxml2的特性自动修正HTML代码，利用pip安装即可

pip install lxml

XPath语法

XPath是一门在XML文档中查找信息的语言，可以用于在XML文档中通过元素和属性进行导航

举个栗子 😎

我们可以使用XPath提取网站地图中的所有链接，也就是说可以使用XPath去找我们HTML中的一些具体的东西

节点关系

在XPath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）

再举个栗子 😎

<urlset>
<url>
<loc>https://qq52o.me</loc>
<lastmod>2018-04-28T19:00:42+00:00</lastmod>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>
</urlset>

第一个：父（Parent）

每个元素以及属性都有一个父

url元素是 loc、lastmod、changefreq以及 priority元素的父

第二个：子（Children）

元素节点可有零个、一个或多个子

loc、lastmod、changefreq以及 priority元素都是url元素的子

第三个：同胞（Sibling）

拥有相同的父的节点

loc、lastmod、changefreq以及 priority元素都是url元素的同胞

第四个：先辈（Ancestor）

某节点的父、父的父，等等

loc元素的先辈是 url元素和 urlset元素

第五个：后代（Descendant）

某个节点的子，子的子，等等

urlset的后代是url、loc、lastmod、changefreq以及 priority元素

如果你分不清楚，就按照子元素从上到下的去找元素节点

选取节点

XPath使用路径表达式在 XML 文档中选取节点，节点是通过沿着路径或者 step 来选取的，也就是上面所说的按照子元素从上到下去找元素节点

这些是最有用的路径表达式 💡

表达式	描述
nodename	选取此节点的所有子节点
/	从根节点选取
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

实例

路径表达式	结果
urlset	选取urlset元素的所有子节点
/urlset	选取根元素 urlset
urlset/url	选取属于urlset的子元素的所有url元素
//url	选取所有url子元素，而不管它们在文档中的位置
urlset//url	选择属于urlset元素的后代的所有url元素，而不管它们位于urlset之下的什么位置
//@href	选取名为href的所有属性