17370845950

requests是Python爬虫最该先掌握的库，因其简单稳定且能满足90%静态页面抓取需求；包含安装与基础请求、带参与请求头、响应数据处理、异常处理与会话保持四大核心用法。

想用 Python 写爬虫，requests 是最该先掌握的库——它简单、稳定、功能够用，90% 的静态页面抓取任务靠它就能搞定。

一、安装和基础请求：三行代码拿下网页

先确保已安装 requests（没装就运行 pip install requests）。然后：

• 用 requests.get(url) 发起 GET 请求，返回一个 Response 对象
• 用 .text 获取字符串内容（适合 HTML、JSON 文本）
• 用 .content 获取原始字节（适合图片、PDF 等二进制数据）

示例：

import requests
res = requests.get('https://httpbin.org/get')
print(res.status_code)  # 看状态码，200 表示成功
print(res.text)         # 打印响应正文

二、带参数和请求头：让请求更像真人

很多网站会检查 User-Agent，直接请求可能被拒绝或返回 403。加上 headers 就能绕过基础反爬：

• URL 参数用 params=字典 自动拼接（比手动拼 '?a=1&b=2' 更安全）
• 请求头用 headers=字典，常见字段如 'User-Agent'、'Referer'

示例：

url = 'https://httpbin.org/get'
params = {'page': 1, 'limit': 10}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
res = requests.get(url, params=params, headers=headers)

三、处理响应数据：提取关键信息不靠猜

拿到响应后，别急着正则或手撕 HTML。先判断类型再选工具：

• 如果返回的是 JSON（比如接口），直接用 res.json() 解析成 Python 字典
• 如果是 HTML，推荐后续配合 BeautifulSoup 或 lxml 解析结构化数据
• 注意检查 res.encoding，中文乱码时可手动设为 'utf-8' 或 'gbk'

示例（解析 JSON 接口）：

res = requests.get('https://httpbin.org/json')
data = res.json()  # 自动解析，不用 json.loads(res.text)
print(data['slideshow']['title'])  # 直接按键取值

四、异常处理和会话保持：让爬虫稳一点

真实环境中网络不稳定、目标站改版、超时都是常态，加一层防护很必要：

• 用 try-except 捕获 requests.exceptions.RequestException（含超时、连接失败等）
• 设置 timeout=(连接超时, 读取超时)，避免卡死，比如 timeout=(3, 10)
• 需要登录或保持 Cookie 时，用 requests.Session() 替代 get/post，自动管理会话

示例（带超时和会话）：

session = requests.Session()
session.headers.update({'User-Agent': 'xxx'})
try:
res = session.get('https://www./link/d9976f1c2c0c972d1cee0c3647cbd194', timeout=(3, 10))
res.raise_for_status()  # 非2xx状态码抛异常
except requests.exceptions.RequestException as e:
print("请求失败：", e)