答案：使用php开发Web爬虫需通过curl或file_get_contents发送http请求获取网页内容，再利用DOMDocument和DOMXPath解析html提取数据，可结合goutte等库简化操作；需设置User-Agent、控制请求频率以应对反爬机制，登录状态可通过cookie处理；抓取的数据可存储为jsON、CSV或存入数据库，适用于中小型项目。
用PHP制作Web爬虫抓取数据，核心是利用PHP的网络请求和HTML解析能力。虽然PHP不是最主流的爬虫语言（如python更常见），但借助其内置函数和扩展库，完全可以开发出实用的数据抓取程序。下面从基础到进阶，介绍如何用PHP开发一个简单的Web爬虫。
1. 使用cURL或file_get_contents发起HTTP请求
要抓取网页内容，第一步是获取目标页面的HTML源码。PHP提供了多种方式发送HTTP请求：
- file_get_contents()：适合简单GET请求，使用方便
- cURL扩展：功能强大，支持POST、Cookie、代理、自定义Header等高级功能
示例：用cURL获取网页内容
function fetchPage($url) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; PHP Crawler)'); curl_setopt($ch, CURLOPT_TIMEOUT, 10); $html = curl_exec($ch); if (curl_error($ch)) { echo 'Curl error: ' . curl_error($ch); } curl_close($ch); return $html; } $html = fetchPage('https://example.com');
2. 解析HTML提取所需数据
获取HTML后，需要从中提取结构化数据。推荐使用DOMDocument配合DOMXPath，它们是PHP内置的xml/HTML解析工具，适合按标签、class、id等定位元素。
示例：提取所有链接
$dom = new DOMDocument(); libxml_use_internal_errors(true); // 忽略HTML格式错误 $dom->loadHTML($html); $xpath = new DOMXPath($dom); $links = $xpath->query('//a[@href]'); foreach ($links as $link) { echo $link->getAttribute('href') . "n"; }
也可以用第三方库如Goutte（基于symfony组件），语法更简洁，支持css选择器。
立即学习“PHP免费学习笔记（深入）”；
3. 处理常见问题与反爬机制
真实网站常有反爬策略，需适当应对：
- 设置合理的User-Agent，伪装成浏览器访问
- 控制请求频率，避免高频访问被封IP
- 处理Cookie和session，模拟登录状态
- 对javaScript渲染的内容，PHP原生无法执行，需结合Puppeteer或Selenium等工具
例如登录后抓取私有数据，可保存Cookie并复用：
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt'); curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookie.txt');
4. 存储与结构化输出数据
提取的数据可保存为数组、json文件、CSV或写入数据库。例如存入mysql：
$stmt = $pdo->prepare("INSERT INTO articles (title, url) VALUES (?, ?)"); $stmt->execute([$title, $url]);
或导出为JSON：
$data = ['title' => $title, 'url' => $link]; file_put_contents('data.json', json_encode($data, JSON_UNESCAPED_UNICODE));
基本上就这些。PHP做爬虫适合中小型项目，特别是已有PHP环境时。关键是掌握请求发送、HTML解析和数据清洗流程。不复杂但容易忽略细节，比如编码问题、超时设置、异常处理。建议从小站点练手，逐步提升。