当`pandas.read_html`无法识别网页表格时，通常是由于表格内容通过javaScript动态加载。本教程将指导您使用浏览器开发者工具定位数据源的XHR请求，并通过python的`requests`库模拟该请求，直接获取原始jsON数据，最终利用`pandas`库将其转换为结构化的DataFrame，从而高效、准确地提取动态网页表格数据。
1. 理解pandas.read_html的局限性
pandas.read_html是一个非常便捷的函数，用于从HTML页面中解析<table>标签并将其转换为DataFrame列表。然而，它的工作原理是解析页面的原始HTML源代码。现代网页为了提供更丰富的交互体验，常常使用javascript在页面加载完成后动态地从后端API获取数据并渲染表格。在这种情况下，当read_html执行时，原始HTML中可能只包含一个空的<div>或<table>容器，实际的数据内容尚未被JavaScript注入，因此read_html会返回一个空列表。
即使使用Selenium等自动化工具模拟浏览器行为，如果只是简单地获取元素的outerHTML属性，也可能因为数据是通过独立的API请求获取并渲染的，导致获取到的HTML字符串仍不包含实际数据，或者只包含一个空的表格结构。解决这类问题的关键在于绕过HTML解析，直接与数据源进行交互。
2. 定位动态数据源：使用浏览器开发者工具
要成功抓取动态加载的表格数据，核心步骤是找到网页背后获取数据的API请求。这通常可以通过浏览器的开发者工具（Developer Tools）来完成。
2.1 打开开发者工具
2.2 监控网络请求
- 在开发者工具面板中，切换到 “Network”（网络） 标签页。
- 刷新您要抓取数据的网页。
- 在网络请求列表中，通常会看到大量的请求。为了聚焦于数据请求，可以使用过滤器。在过滤器中输入 “XHR” 或 “Fetch/XHR”，这将只显示xmlHttpRequest和Fetch API发出的异步请求，这些请求通常用于获取动态数据。
- 观察在表格数据出现时，哪些XHR请求被触发。点击这些请求，查看其 “Headers”（请求头）、“Payload”（请求载荷/表单数据） 和 “Response”（响应）。
- Headers: 包含请求的URL、请求方法（GET/POST）、User-Agent等信息。
- Payload: 如果是POST请求，这里会显示发送到服务器的数据（例如查询参数）。
- Response: 这是服务器返回的原始数据，通常是json格式，也可能是XML或纯文本。这就是我们最终想要获取的数据。
通过分析这些请求，您将能够确定数据请求的URL、请求方法（GET或POST）、需要发送的任何参数以及响应数据的格式。
3. 使用requests库模拟数据请求
一旦识别出数据源的API请求，我们就可以使用Python的requests库来模拟这个请求，直接获取原始数据。
3.1 准备请求参数
根据开发者工具中观察到的XHR请求信息，提取以下关键参数：
- url: 请求的完整URL。
- method: 请求方法，通常是GET或POST。
- payload (或 params): 如果是POST请求，需要提供data参数（表单数据）；如果是GET请求，需要提供params参数（URL查询参数）。
- headers: 某些网站可能需要特定的请求头，例如User-Agent，以模拟浏览器行为，防止被服务器识别为爬虫。
以本例为例，通过开发者工具分析，我们发现数据是通过一个POST请求发送到https://anex.us/grades/getData/，并带有一些表单数据。
3.2 编写Python代码获取数据
import requests import pandas as pd # 1. 定义数据请求的URL url = 'https://anex.us/grades/getData/' # 2. 定义请求的载荷（payload），对应开发者工具中看到的Form Data # 在本例中，查询ENGR 102的成绩数据 payload = {'dept': 'ENGR', 'number': '102'} # 3. 定义请求头，模拟浏览器行为 # 包含User-Agent通常能有效避免部分反爬机制 headers = {'User-Agent': 'Mozilla/5.0 (X11; linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0'} # 4. 发送POST请求并获取响应 # 对于GET请求，使用 requests.get(url, params=payload, headers=headers) response = requests.post(url, data=payload, headers=headers) # 5. 检查请求是否成功 response.raise_for_status() # 如果请求失败（例如4xx或5xx状态码），会抛出HTTPError # 6. 解析JSON响应数据 # 大多数动态数据API返回JSON格式 data = response.json() # 7. 将JSON数据转换为Pandas DataFrame # 根据JSON结构，提取包含表格数据的部分。 # 在本例中，数据位于 'classes' 键下 df = pd.DataFrame(data['classes']) # 打印DataFrame的前几行以验证数据 print(df.head())
3.3 代码输出示例
dept number section A B C D F I S U Q X prof year semester gpa 0 ENGR 102 20 18 17 8 2 3 0 0 0 1 0 AMINI N 2018 FALL 2.9375 1 ENGR 102 21 18 31 15 4 1 0 0 0 0 0 KOOLA P 2018 FALL 2.88405797101449 2 ENGR 102 22 10 28 16 2 3 0 0 0 0 0 SHAW S 2018 FALL 2.67796610169492 3 ENGR 102 26 9 24 10 4 6 0 0 0 0 0 SUBRAMANIAN R 2018 FALL 2.49056603773585 4 ENGR 102 201 21 12 1 1 0 0 0 0 0 0 IJAZ M 2018 FALL 3.51428571428571
4. 注意事项与最佳实践
- User-Agent头部: 很多网站会检查User-Agent头部来识别请求来源。如果缺少或使用了默认的requests库的User-Agent，可能会被拒绝访问。因此，模拟一个常见的浏览器User-Agent是良好的实践。
- 请求方法: 仔细区分GET和POST请求。GET请求的参数通常在URL中，而POST请求的参数在请求体中。
- 数据格式: 虽然JSON是最常见的API响应格式，但也可能遇到XML、csv或纯文本。requests库提供了多种解析方法，例如response.text、response.content。
- 错误处理: 始终加入错误处理机制，例如使用try-except块捕获requests.exceptions.RequestException，以应对网络问题、服务器错误或API响应异常。
- API限制与使用条款: 在抓取数据时，务必遵守网站的服务条款和API使用政策。过度频繁的请求可能会导致IP被封禁。对于大型抓取任务，考虑设置请求间隔、使用代理IP等策略。
- 动态参数: 有些API请求的payload或params可能包含动态生成的令牌（Token）或时间戳。如果遇到这种情况，可能需要更复杂的逻辑来模拟，例如先访问页面获取令牌，再进行数据请求。
总结
当pandas.read_html无法满足动态网页表格抓取的需求时，最有效的方法是深入其背后，通过浏览器开发者工具识别并直接调用数据接口（XHR请求）。利用requests库模拟这些请求，获取原始结构化数据（通常是JSON），再结合pandas进行数据清洗和分析，可以高效、准确地提取所需信息。掌握这一技巧，将极大地扩展您从网络获取数据的能力。