requests发起网络请求分三步:发请求、取响应、解析数据;支持GET/POST、Session管理、超时设置与异常处理,是Python爬虫和API调用首选。
用 requests 发起网络请求,核心就三步:发请求、取响应、解析数据。它比原生 urllib 简洁得多,是 Python 网络爬虫和 API 调用的首选。
最常用的是 requests.get(),适合获取公开页面或 RESTful 接口返回的 JSON 数据。
res = requests.get("https://httpbin.org/get")
requests.get("https://httpbin.org/get", params={"key": "value"})
headers = {"User-Agent": "Mozilla/5.0..."},传入 headers=headers
requests.get(url, timeout=5)(单位秒,推荐显式指定)POST 用于向服务器提交数据,常见于登录、上传、调用接口等场景。
applic
ation/x-www-form-urlencoded):requests.post(url, data={"username": "a", "pwd": "123"})
application/json):requests.post(url, json={"name": "Alice"})(自动序列化+设 header)files = {"file": open("test.txt", "rb")},再传入 files=files
请求发出后,必须检查是否成功,并按需提取内容。
if res.status_code == 200: 或更稳妥地用 res.raise_for_status()(非 2xx 抛异常)res.text(已按响应头编码解码,一般可用)res.json()(自动反序列化,若非 JSON 格式会报错)res.content,可直接写入文件:open("img.png", "wb").write(res.content)
需要保持 Cookie(如登录后访问个人页)或提升多次请求效率时,用 requests.Session()。
s = requests.Session()
s.post(login_url, data=login_data)(Cookie 自动保存)s.get(profile_url),无需手动传 Cookierequests.get 更高效,尤其批量请求时不复杂但容易忽略:每次请求都应设 timeout,关键接口建议加异常捕获;JSON 接口优先用 .json(),别自己用 json.loads(res.text);敏感信息(如 token)别硬编码在代码里。