写一个 PHP 爬虫并不复杂，只要掌握基本的 HTTP 请求处理、HTML 解析和数据提取方法，就能快速实现网页抓取功能。PHP 虽然不是爬虫领域的首选语言（如 Python），但在中小型项目或与 Web 后端集成时依然非常实用。
一、PHP 爬虫的基本原理
爬虫本质是模拟浏览器行为，向目标网址发送请求，获取返回的 HTML 内容，再从中提取所需数据。整个过程包括：
- 发送 HTTP 请求（GET 或 POST）
- 接收并解析服务器返回的 HTML
- 使用 DOM 或正则表达式提取关键信息
- 存储数据（保存到文件、数据库等）
PHP 提供了多种方式实现这些功能，最常用的是 file_get_contents()、cURL 和 DOMDocument + DOMXPath 类。
二、使用 cURL 发起请求（推荐）
cURL 支持更多选项，比如设置 User-Agent、Cookie、超时时间等，适合处理复杂网站。
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://httpbin.org/html");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (compatible; PHP Crawler)");
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$html = curl_exec($ch);
if (curl_error($ch)) {
die("请求出错: " . curl_error($
ch));
}
curl_close($ch);
ch));
}
curl_close($ch);
这段代码访问了一个测试页面，设置了用户代理防止被屏蔽，并启用了错误处理。
三、解析 HTML 提取数据（使用 DOM 和 XPath）
PHP 自带的 DOMDocument 和 DOMXPath 可以方便地通过标签、class 或 id 提取内容。
$dom = new DOMDocument(); libxml_use_internal_errors(true); // 忽略 HTML 格式错误 $dom->loadHTML($html);$xpath = new DOMXPath($dom); $nodes = $xpath->query('//h1'); // 获取所有 h1 标签
foreach ($nodes as $node) { echo $node->textContent . "\n"; }
上面的例子提取了页面中所有的 h1 文本。你可以修改 XPath 表达式来定位任意元素，例如：
-
//div[@class="title"]：获取 class 为 title 的 div -
//a/@href：提取所有链接的 href 属性 -
//img/@src：获取所有图片地址
四、简单完整示例：抓取某个页面的标题和链接
function simpleCrawler($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_USERAGENT, "PHP Crawler Bot");
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_TIMEOUT, 15);
$html = curl_exec($ch);
curl_close($ch);
if (!$html) return;
$dom = new DOMDocument();
libxml_use_internal_errors(true);
$dom->loadHTML($html);
$xpath = new DOMXPath($dom);
// 提取标题
$titleNode = $xpath->query('//title')->item(0);
echo "页面标题: " . ($titleNode ? $titleNode->textContent : '无') . "\n";
// 提取所有链接
$links = $xpath->query('//a/@href');
echo "发现 " . $links->length . " 个链接:\n";
for ($i = 0; $i < $links->length; $i++) {
echo "- " . $links->item($i)->value . "\n";
}}
// 使用示例
simpleCrawler("https://www./link/b05edd78c294dcf6d960190bf5bde635");
五、注意事项与最佳实践
编写 PHP 爬虫时需要注意以下几点：
- 不要频繁请求，避免对目标服务器造成压力，建议加 sleep(1)
- 检查 robots.txt 文件，遵守网站爬取规则
- 设置合理的 User-Agent，部分网站会屏蔽空 UA 或非浏览器 UA
- 处理 HTTPS 证书问题（必要时关闭验证，但不推荐生产环境使用）
- 对于 JavaScript 渲染的内容，PHP 原生无法解析，需结合 Puppeteer 或 Selenium
如果需要更强大的功能，可以考虑使用第三方库，如 Goutte（基于 Symfony 组件），它封装了请求和解析逻辑，语法更简洁。
基本上就这些。PHP 写爬虫适合轻量级任务，比如采集静态页面、对接内部系统、定时抓取公告等场景。只要理解了请求 + 解析的核心流程，就能灵活扩展成多页抓取、登录后爬取、数据入库等功能。
