在使用python的requests库抓取网页内容时，有时会遇到无法直接访问目标链接，而必须通过点击来源页面的按钮才能成功跳转的情况。这通常是由于服务器端验证了http请求中的referer头部信息。本文将深入解析referer头的作用，并提供详细的python代码示例，指导开发者如何正确设置referer头，以模拟浏览器行为，从而成功访问这些受限的跳转链接。
探索链接访问受限的机制
在网络爬虫或自动化脚本开发中，我们经常会遇到一种特殊情况：某个链接无法通过直接复制粘贴到浏览器地址栏或使用requests.get()方法直接访问，但通过点击网页上的一个按钮或链接却能正常跳转到目标资源。例如，在尝试访问https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7/download时，直接访问可能只会重定向回来源页面https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7，而无法抵达真正的下载地址https://www.sabishare.com/file/mHxiMiZHW15-alchemy-of-souls-s01e07-netnaija-com-mp4。
这种现象的背后，往往是服务器端对HTTP请求中的Referer（注意，HTTP标准中拼写为Referer，而非Referrer）头部信息进行了校验。Referer头是一个HTTP请求头，它包含了当前请求的来源页面的URL。当用户在浏览器中点击一个链接时，浏览器会自动在发起的下一个请求中携带Referer头，其值就是用户当前所在页面的URL。网站服务器可以利用这个信息来：
- 安全验证： 确保请求来源于其预期的页面，防止未经授权的直接访问或“盗链”。
- 流量分析： 统计不同来源页面的流量。
- 防止恶意行为： 阻止某些自动化脚本绕过正常的导航路径。
当我们的Python脚本直接请求目标链接时，由于没有附带Referer头，或者附带的Referer头不符合服务器的预期（例如，Referer值是脚本自身的URL，或根本没有），服务器便会拒绝请求或将其重定向回来源页面，从而阻止我们访问最终的目标资源。
理解并设置Referer头
解决上述问题的关键在于，在发起HTTP请求时，手动设置Referer头，使其模拟浏览器从包含跳转按钮的页面发起的请求。Referer头的值应该设置为包含目标链接的那个页面的URL。
以提供的案例为例：
- 目标下载链接：https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7/download
- 包含下载按钮的来源页面：https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7
因此，我们在请求目标下载链接时，需要将Referer头的值设置为https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7。
使用Python Requests库实现
Python的requests库提供了非常方便的方式来添加自定义的HTTP请求头。我们可以通过在requests.get()或requests.post()方法中传入一个字典作为headers参数来完成。
以下是具体的代码示例，演示如何正确设置Referer头以访问受限链接：
import requests # 目标下载链接，这是我们尝试直接访问但失败的链接 target_url = 'https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7/download' # 包含下载按钮的来源页面URL，即Referer的值 # 这是浏览器在点击按钮时会发送的Referer头的值 referrer_url = 'https://www.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7' # 构造请求头字典 # Referer头是解决问题的关键 # 建议同时添加User-Agent，以模拟更真实的浏览器行为，减少被识别为爬虫的风险 headers = { 'Referer': referrer_url, 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36' } print(f"尝试访问目标URL: {target_url}") print(f"使用Referer: {referrer_url}") try: # 发送GET请求，携带自定义的headers # allow_redirects=True 确保requests库会自动处理HTTP重定向 response = requests.get(target_url, headers=headers, allow_redirects=True) # 打印最终重定向的URL，验证是否成功访问到目标资源 print(f"\n请求完成。最终访问的URL: {response.url}") # 检查响应状态码 if response.status_code == 200: print("请求成功！") # 如果最终URL与预期目标下载地址一致，说明成功 if "sabishare.com" in response.url: # 简单判断是否到达了预期的下载网站 print("成功重定向到目标下载页面。") # 在这里可以进一步处理下载内容，例如保存到文件 # with open("downloaded_file.mp4", "wb") as f: # f.write(response.content) # print("文件已成功下载。") else: print("未能重定向到预期的下载页面，请检查Referer或目标URL。") # print("响应内容预览:\n", response.text[:500]) # 打印前500个字符以供调试 else: print(f"请求失败，状态码: {response.status_code}") print(f"响应内容:\n{response.text}") except requests.exceptions.RequestException as e: print(f"请求发生错误: {e}")
w.thenetnaija.net/videos/kdrama/16426-alchemy-of-souls/season-1/episode-7'
# 构造请求头字典
# Referer头是解决问题的关键
# 建议同时添加User-Agent，以模拟更真实的浏览器行为，减少被识别为爬虫的风险
headers = {
'Referer': referrer_url,
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124124 Safari/537.36'
}
print(f"尝试访问目标URL: {target_url}")
print(f"使用Referer: {referrer_url}")
try:
# 发送GET请求，携带自定义的headers
# allow_redirects=True 确保requests库会自动处理HTTP重定向
response = requests.get(target_url, headers=headers, allow_redirects=True)
# 打印最终重定向的URL，验证是否成功访问到目标资源
print(f"\n请求完成。最终访问的URL: {response.url}")
# 检查响应状态码
if response.status_code == 200:
print("请求成功！")
# 如果最终URL与预期目标下载地址一致，说明成功
if "sabishare.com" in response.url: # 简单判断是否到达了预期的下载网站
print("成功重定向到目标下载页面。")
# 在这里可以进一步处理下载内容，例如保存到文件
# with open("downloaded_file.mp4", "wb") as f:
# f.write(response.content)
# print("文件已成功下载。")
else:
print("未能重定向到预期的下载页面，请检查Referer或目标URL。")
# print("响应内容预览:\n", response.text[:500]) # 打印前500个字符以供调试
else:
print(f"请求失败，状态码: {response.status_code}")
print(f"响应内容:\n{response.text}")
except requests.exceptions.RequestException as e:
print(f"请求发生错误: {e}")
代码解析：
- target_url: 这是我们最终想要获取内容的URL，但直接访问会失败。
- referrer_url: 这是包含下载按钮的那个页面的URL。它的值将作为Referer头发送。
-
headers字典:
- 'Referer': referrer_url：这是解决问题的核心。它告诉服务器，我们的请求是从referrer_url这个页面跳转过来的。
- 'User-Agent': 虽然不是强制性的，但强烈建议添加User-Agent头。它模拟了浏览器的身份信息，许多网站会根据User-Agent来判断请求是否来自真实的浏览器。不设置或设置不当的User-Agent也可能导致请求被拒绝。
-
requests.get(target_url, headers=headers, allow_redirects=True):
- headers=headers：将我们自定义的请求头传递给requests。
- allow_redirects=True：这是requests库的默认行为，表示允许请求跟随HTTP重定向。在这种场景下，目标链接会先重定向到实际的下载地址，所以确保这个参数为True非常重要。
通过运行上述代码，你会发现response.url将不再是最初的来源页面，而是成功跳转到了https://www.sabishare.com/file/mHxiMiZHW15-alchemy-of-souls-s01e07-netnaija-com-mp4这样的最终下载地址，从而解决了直接访问受限的问题。
注意事项与最佳实践
- Referer头的准确性： 确保Referer头的值是目标链接所在页面的完整URL。任何细微的差别（如协议、子域名、路径等）都可能导致服务器拒绝请求。
- User-Agent头： 始终建议在爬虫请求中设置User-Agent头，并使其看起来像一个真实的浏览器。这有助于降低被网站识别为爬虫并被屏蔽的风险。
- Cookies和会话： 如果目标网站需要登录或依赖于会话管理，你可能还需要在请求中包含相应的Cookies。requests.Session()对象可以帮助你管理会话和Cookies。
- 动态内容与JavaScript： 本文介绍的方法主要适用于基于HTTP头进行验证的重定向。如果网站的跳转逻辑涉及复杂的JavaScript执行（例如，通过AJAX请求动态生成链接，或通过JS进行客户端重定向），那么仅使用requests库可能不足以解决问题。在这种情况下，你可能需要考虑使用Selenium等自动化测试工具来模拟完整的浏览器行为。
- 网站爬取政策： 在进行任何形式的网络爬取之前，请务必查阅网站的robots.txt文件和使用条款，确保你的行为符合网站的规定和法律法规。
- 错误处理： 在实际应用中，务必添加健壮的错误处理机制（如try-except块），以应对网络问题、HTTP状态码非200、解析错误等情况。
总结
当使用Python requests库访问某些网站链接时，如果遇到直接访问失败而必须通过点击来源页面按钮才能成功跳转的情况，这通常是由于服务器端对HTTP请求中的Referer头进行了验证。通过在请求头中正确设置Referer字段为包含目标链接的来源页面URL，我们可以有效地模拟浏览器行为，绕过这种访问限制，成功获取目标资源。同时，结合User-Agent等其他常用HTTP头，可以进一步提高爬虫的隐蔽性和成功率。
