本文作者：王玉婷 中南财经政法大学金融学院
文字编辑：王子一
技术总编：张馨月
爬虫俱乐部云端课程
1. 简介
一提到网络爬虫，就不得不提到Xpath Helper，我们常常用它来对所要提取的文本内容进行定位，详情可参考推文《Xpath Helper助Xpath爬虫一臂之力》。除了这一利器外，了解Xpath定位的原理及其基本用法可以大幅提高我们的爬虫技巧。
XPath即XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。现在问题来了，爬虫是从HTML网页上抓取信息，你给我介绍XML干嘛？实际上，XML是一种与HTML很相似的可扩展标记语言，均为具备结构和层次的文档，我们所关注的文本内容都由各种标签“包围”着。不同的是，XML文档的结构更简洁，比HTML对初次学习爬虫的新手更友好。因此，我们学习Python爬虫，可以从使用XPath对XML进行定位开始~
2. 安装
Home+R，输入cmd：
pip install lxml
3. XPath的节点
<bookstore>
<book category="Fantasy Novels">
<title>Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
</bookstore>
bookstore为文档节点，是book的父节点（parent）。category为属性节点，是book节点的属性。title、author、year和price均为元素节点，互为同胞（sibling），是book的子节点（child）。我们所关注的文本信息，比如Harry Potter、J.K. Rowling等则为文本节点。
4. XPath的路径
当我们想要描述某个地方时，我们常常用不同层次的节点名称串联起来，比如：中南财经政法大学位于“中国 湖北省 武汉市”。类似地，我们想要定位XML文档中某个文本时，我们会说：“书籍名称Harry Potter位于book节点下的子节点title的文本节点”。
当我们在程序中定位时，我们需要将这种表述转换为路径表达式，最常用的路径表达式有：
| 表达式 | 含义 |
|---|---|
| / | 从根节点选取 |
| // | 从任意节点选取 |
| . | 选取当前节点 |
| .. | 选取当前节点的父节点 |
| @ | 选取属性 |
5. XPath实例
text = '''
<bookstore>
<book category="Fantasy Novels">
<title>Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
</bookstore>
'''
from lxml import etree
tree = etree.fromstring(text)
转换为Element对象后，即可使用XPath路径表达式对我们关注的文本内容进行定位。从根节点定位bookstore元素下的book元素，并以该元素为当前节点定位title元素，其路径表达式写作：
book = tree.xpath("/bookstore/book")
title = book[0].xpath("./title")
print(type(book)) # 打印xpath返回的数据类型
print(title[0].tag) # 打印第一个title节点的tag
title为当前节点，从title的父节点定位year元素，路径表达式写作：
year = title[0].xpath("../year")
print(year[0].tag)
price元素，其路径表达式为：
price = tree.xpath("//price")
print(price[0].tag)
all_elements = tree.xpath("//*")
for element in all_elements:
print(element.tag)
运行结果如下：
以book为当前节点，定位其属性Fantasy Novels：
category = book[0].xpath("./@category")
print(category)
book元素的属性：
category = tree.xpath("//book/@category")
category_list = tree.xpath("//@*")
从任意位置定位title元素的文本节点：
title_text = tree.xpath("//title/text()")
print(title_text)
all_text = tree.xpath("//text()")
print(all_text)
book_text = tree.xpath("//book/*/text()")
print(book_text)
事实上，XPath结合运算符能够对更复杂的XML文本进行精确地定位，我们在之前的推文《寻找B站的最爱--8月B站全站榜爬虫》、《Python带你看文献——xpath抓取知网文献》等都有所介绍。由于篇幅有限，咱们之后再聊~
朴素贝叶斯算法——以20Newsgroups数据集为例
【爬虫实战】利用scrapy框架爬取豆瓣图书信息
《我和我的家乡》影评高频词原来是这些！
用词云图看Sustainability期刊热门题目
震惊！知名数据分析软件竟被某度翻译“亲切称呼”为“斯塔塔”
1）必须原创，禁止抄袭；
2）必须准确，详细，有例子，有截图；
注意事项：
1）所有投稿都会经过本公众号运营团队成员的审核，审核通过才可录用，一经录用，会在该推文里为作者署名，并有赏金分成。
2）邮件请注明投稿，邮件名称为“投稿+推文名称”。
3）应广大读者要求，现开通有偿问答服务，如果大家遇到有关数据处理、分析等问题，可以在公众号中提出，只需支付少量赏金，我们会在后期的推文里给予解答。
