本教程详细介绍了如何使用 python 的 lxml 库和 xpath 表达式从 html 链接中高效且稳健地提取文本内容。文章强调了在构建 xpath 时，应优先考虑使用元素属性（如 class）而非依赖脆弱的 dom 结构路径，并结合 //text() 函数来准确捕获目标文本。通过具体的代码示例，展示了如何编写更具弹性和可维护性的爬虫代码，避免因页面结构微小变动而导致的解析失败。

引言

在网页抓取和数据解析任务中，从 html 文档中提取特定文本内容是一项核心操作。python 的 lxml 库结合 XPath 表达式，为我们提供了强大而灵活的工具。然而，许多初学者在构建 XPath 时，往往倾向于使用基于元素层级的绝对路径，这使得代码对网页结构变化非常敏感。本文将重点介绍一种更稳健的方法，通过利用 HTML 元素的属性来构建 XPath，并结合 //text() 函数来精确提取链接中的文本。

传统 XPath 的局限性

考虑以下 HTML 片段，我们需要提取 <a> 标签内的文本 “Former United States Secretary Of State”：

<div class="tag"><a href="en/profession/748/former-united-states-secretary-of-state" class="">Former United States Secretary Of State</a></div>

如果使用基于层级的 XPath，例如 /html/body/div[5]/div[4]/div[5]/div[*]，这种方法存在显著缺陷：

1. 脆弱性： 只要 HTML 结构发生微小变化（例如，页面顶部添加了一个新的 div），这个 XPath 就会失效。
2. 可读性差： 冗长的路径难以理解和维护。
3. 通用性差： 如果页面上存在多个相同结构但位置不同的目标元素，这种 XPath 很难通用。

使用 LXML 和属性构建稳健 XPath

为了克服上述问题，我们应该优先使用 HTML 元素的属性（如 id、class、name 等）来定位元素。lxml 库是处理 XML 和 HTML 的高效工具，它提供了 etree 模块来解析文档和执行 XPath 查询。

立即学习“Python免费学习笔记（深入）”；

提客AI提词器

「直播、录课」智能ai提词，搭配抖音直播伴侣、腾讯会议、钉钉、飞书、录课等软件等任意软件。

64

查看详情

核心思想

1. 利用 contains() 函数： 当元素的 class 属性包含多个值时，可以使用 XPath 的 contains() 函数进行模糊匹配。例如，div[contains(@class, ‘tag’)] 可以匹配所有 class 属性中包含 “tag” 的 div 元素。
2. 使用 // 轴： // 轴表示从当前节点向下搜索所有后代节点，无论层级深度。这使得 XPath 不受父节点层级变化的影响。
3. 结合 //text() 函数： //text() 是一个非常有用的 XPath 函数，它能够选择当前节点及其所有后代节点的文本内容，并将其作为一个列表返回。

示例代码

让我们通过一个具体的例子来演示如何提取上述 HTML 片段中的链接文本。

from lxml import etree  # 模拟的 HTML 内容 html_content = """ <div class="tuc-97a49982-7f2bc4-0 header tuc-97a49982-7f2bc4-0">Header Content</div> <div class="tuc-97a49982-7f2bc4-0 main-content tuc-97a49982-7f2bc4-0">     <div class="tuc-97a49982-7f2bc4-0 tag-container tuc-97a49982-7f2bc4-0">         <div class="tag"><a href="en/profession/748/former-united-states-secretary-of-state" class="">Former United States Secretary Of State</a></div>         <div class="tuc-97a49982-7f2bc4-0 tag tuc-97a49982-7f2bc4-0"><a href="another/link/path" class="tuc-97a49982-7f2bc4-0  tuc-97a49982-7f2bc4-0">Another Important Link Text</a></div>     </div> </div> """  # 使用 etree.HTML 解析 HTML 内容 tree = etree.HTML(html_content)  # 构建 XPath 表达式 # 1. //div[contains(@class,'tag')]：查找文档中所有 class 属性包含 'tag' 的 div 元素 # 2. //text()：选择上一步找到的 div 元素及其所有后代节点的文本内容 xpath_expression = "//div[contains(@class,'tag')]//text()"  # 执行 XPath 查询 selection = tree.xpath(xpath_expression)  # 打印结果 print("提取到的文本内容：") for text_item in selection:     # 对提取到的文本进行清理，去除首尾空白字符     cleaned_text = text_item.strip()     if cleaned_text: # 确保只打印非空字符串         print(f"'{cleaned_text}'")  # 假设我们只关心第一个匹配项 if selection:     first_text = selection[0].strip()     print(f"n第一个匹配到的文本：'{first_text}'") else:     print("n未找到匹配的文本。")

代码解析：

1. from lxml import etree：导入 lxml 库的 etree 模块。
2. tree = etree.HTML(html_content)：将 HTML 字符串解析成一个 ElementTree 对象，这是进行 XPath 查询的基础。
3. xpath_expression = “//div[contains(@class,’tag’)]//text()”：
   • //div：在整个文档中查找所有 div 元素。
   • [contains(@class,’tag’)]：这是一个谓词，过滤 div 元素，只选择那些 class 属性值中包含子字符串 “tag” 的 div。
   • //text()：在找到的 div 元素内部（包括其子元素）查找所有文本节点。
4. selection = tree.xpath(xpath_expression)：执行 XPath 查询，返回一个包含所有匹配文本内容的列表。
5. text_item.strip()：对每个提取到的文本进行清理，去除多余的空白字符。

注意事项与最佳实践

• XPath 调试： 在浏览器开发者工具（如 chrome DevTools）中，可以使用 document.evaluate() 或直接在 console 中测试 XPath 表达式，以确保其正确性。
• 处理空结果： xpath() 方法返回一个列表。在访问列表元素（如 selection[0]）之前，务必检查列表是否为空，以避免 IndexError。
• 多重匹配： 如果 XPath 匹配到多个元素，xpath() 会返回一个包含所有匹配项的列表。你需要根据需求遍历列表或选择特定索引的元素。
• 文本清理： 提取到的文本可能包含多余的换行符、空格或制表符。使用 strip() 方法是常见的清理操作。
• 错误处理： 在实际的爬虫项目中，应加入更完善的错误处理机制，例如 try-except 块来捕获网络请求或解析错误。
• XPath 轴和函数： 熟悉更多的 XPath 轴（如 parent::、following-sibling::）和函数（如 starts-with()、ends-with()、normalize-space()）可以帮助你构建更复杂的查询。

总结

通过本教程，我们学习了如何利用 Python 的 lxml 库和 XPath 表达式，以一种更稳健和可维护的方式从 HTML 链接中提取文本。关键在于放弃脆弱的绝对路径，转而使用基于元素属性（如 class）的相对路径，并结合 //text() 函数来精确获取文本内容。这种方法不仅提高了代码的鲁棒性，也使得爬虫程序更能适应目标网站的结构变化，从而大大提升了数据抓取的效率和稳定性。在实际开发中，始终优先考虑使用属性定位，将使你的爬虫项目更加健壮。