可用API、本地加载或Ollama三种方式快速调用大模型：API最简适合初学者；本地加载用transformers+accelerate可控性强；Ollama一键部署跨平台友好，各方式均需注意token限制、中文编码和显存优化。
想用Python快速调用大模型，不用从头训练，也不用搭GPU集群？其实只要几行代码，就能接入通义千问、ChatGLM、Qwen2、Llama 3等主流开源或API模型。关键不是“能不能”，而是选对方式、避开常见坑。
用 API 方式调用（最简单，适合初学者）
适合不想装环境、没显卡、只想快速验证想法的用户。主流平台都提供 HTTP 接口，Python 用 requests 就能发请求。
- 注册账号获取 API Key（如阿里云 DashScope、OpenRouter、Ollama Cloud）
- 安装依赖：pip install dashscope 或直接用 requests
- 示例（调用通义千问 Qwen2-7B）：
import dashscope
dashscope.api_key = "your_api_key_here"
response = dashscope.Generation.call(
model="qwen2-7b-instruct",
prompt="写一段 Python 代码，把列表去重并保持顺序"
)
print(response.output.text)
本地加载开源模型（可控强，需中等硬件）
适合希望数据不出本地、可微调、或做离线应用的用户。推荐用 transformers + accelerate 组合，支持 CPU/单卡 GPU 推理。
- 安装：pip install transformers accelerate torch
- 模型从 Hugging Face 下载（如 Qwen2-1.5B-Instruct）
- 代码极简启动：
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-1.5B-Instruct")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-1.5B-Instruct", device_map="auto")
inputs = tokenizer("你好，请介绍你自己", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
用 Ollama 快速跑通本地模型（Mac/Win/Linux 都友好）
Ollama 把模型下载、运行、API 封装全打包好了，连 Python 都不用写太多——但你可以用 Python 调它的本地 API。
- 官网下载安装 Ollama（ollama.com），终端运行：ollama run qwen2:1.5b
- Python 调用其内置 API（默认 http://localhost:11434）：
import requests
url = "http://localhost:11434/api/chat"
data = {
"mode
l": "qwen2:1.5b",
"messages": [{"role": "user", "content": "用 Python 判断一个数是否为质数"}]
}
res = requests.post(url, json=data)
print(res.json()["message"]["content"])
关键提醒：别踩这 3 个坑
- Token 限制不看文档：Qwen2-1.5B 默认上下文约 32K，但实际 prompt + response 不能超；Llama 3-8B 是 8K，超了直接截断
- 中文乱码或输出空：确保 tokenizer 加载正确，别漏掉 use_fast=False 或 trust_remote_code=True（尤其 Qwen、ChatGLM 系列）
- 显存爆掉：小模型也建议加 device_map="auto" 或 load_in_4bit=True（需 bitsandbytes）
