17370845950

Python字符串编码核心是区分str（Unicode）与bytes，明确字符集作用；默认UTF-8但需显式指定encoding，注意BOM、系统locale差异及乱码溯源方法。

Python中字符串编码问题常出现在读写文件、网络通信或处理非ASCII文本时，核心在于分清str（Unicode字符串）和bytes（字节序列）的区别，以及明确字符集（如UTF-8、GBK）在编码/解码过程中的作用。

utf-8不是万能的，但它是默认首选

Python 3 中，源码文件默认以UTF-8编码读取，str类型内部统一使用Unicode表示。当你用.encode()转为字节时，若不指定编码，默认就是UTF-8；同理，.decode()也默认按UTF-8解析字节。

• 显式指定更安全：哪怕默认是UTF-8，也建议写明s.encode('utf-8')，避免环境差异导致隐式错误
• 中文Windows下容易踩坑：记事本保存的“UTF-8”可能带BOM（b'\xef\xbb\xbf'），用open(..., encoding='utf-8-sig')可自动跳过
• 不要用bytes.decode()不加参数——它依赖系统locale，在Linux/macOS可能是UTF-8，Windows可能是GBK，极易出错

遇到乱码？先确认原始字节和目标字符集

乱码本质是“用错了字符集去解码字节”。比如一段GBK编码的字节被当成UTF-8解码，就会出现\xe4\xb8\xad\xe6\x96\x87变成ä¸\xadæ\x96\x87这类问号或方块。

• 查来源：从文件读取？用open(file, 'rb').read()[:10]看前几个字节，再对照常见编码特征（如GBK双字节、UTF-8变长、BOM头）
• 试解码：用chardet.detect()粗略猜测（注意它只是启发式，不保证100%准确）
• 硬匹配：已知是Windows日志？大概率GBK；来自Linux服务器？优先试UTF-8；网页标签写了charset=gb2312？就用'gb2312'

文件读写必须显式声明encoding

用open()时，只要涉及文本（非b模式），就必须传encoding参数。否则Python会用locale.getpreferredencoding()，这在跨平台时极不稳定。

• 写文件：确保open('out.txt', 'w', encoding='utf-8')，避免中文在Windows上变乱码
• 读文件：如果不确定编码，先用rb模式读字节，再尝试不同.decode()，成功后再转成str处理
• CSV/JSON等格式库通常也支持encoding参数，别漏掉——json.load(f, encoding='utf-8')已废弃，应改用open(..., encoding='utf-8')再传给json.load()

网络请求与终端输出要注意隐式转换

requests.get().text会根据HTTP头或HTML meta自动推断编码，但不可靠；sys.stdout.write()则受终端编码限制（Windows cmd默认GBK，PowerShell可能UTF-8）。

• requests：优先用r.content.decode('utf-8')或r.content.decode(r.apparent_encoding)，比r.text更可控
• print输出中文异常？检查终端是否支持UTF-8，或临时设export PYTHONIOENCODING=utf-8（Linux/macOS）
• 日志记录时，logging模块默认用系统编码，建议配置handlers时指定encoding='utf-8'