17370845950

json.tool 命令行处理大文件会因全量加载内存而失败；推荐用 jq（流式、高效）或 ijson（Python 中迭代解析），超 1GB 应转向结构探查、分块导出或数据库查询。

json.tool 命令行对大文件直接失败是常态

json.tool 是 Python 自带的 JSON 格式化工具，但它的命令行用法 python -m

json.tool input.json output.json 会把整个文件一次性读入内存解析。当 JSON 文件超过几百 MB，常见现象是进程被系统 OOM killer 杀掉，或卡死数分钟无响应——这不是你操作错，是设计如此。

用流式解析替代全量加载（推荐：ijson）

真正可行的方案是绕过 json.tool，改用支持迭代解析的库。最轻量且兼容性好的选择是 ijson，它不构建完整对象树，而是按需提取路径值，适合只做“美化输出”这种单次遍历任务：

• 安装：pip install ijson
• 若只需验证+重排格式（不修改内容），用 jq 更快：jq '.' input.json > output.json（jq 默认流式处理，1GB 文件通常几秒内完成）
• 若必须用 Python 且需定制逻辑（比如跳过某些字段、截断长数组），可用 ijson.parse() + 手动缩进拼接，但注意：这已不是“美化”，而是自定义序列化，需自行控制 indent、separators 等参数

强行用 json.tool 的折中办法（仅限 100MB 以内）

如果坚持用标准库，唯一缓解方式是分块预检 + 调整系统资源：

• 先用 head -c 100M input.json | python -m json.tool > /dev/null 快速验证前 100MB 是否合法
• 增加 Python 内存限制（无效但常被误试）：ulimit -v $((1024*1024*2000))（设 2GB 虚拟内存），实际效果取决于系统剩余内存
• 换用 PyPy 运行（对大 JSON 解析有小幅 GC 优势），命令改为 pypy -m json.tool ...

真正的大文件（>1GB）别碰纯文本美化

超过 1GB 的 JSON 几乎肯定不该以单文件形式存在。此时所谓“美化”已失去意义——人类无法阅读，编辑器打不开，Git 无法 diff。更务实的做法是：

• 用 jq 'keys' 或 ijson.items('input.json', 'item.key') 快速探查结构
• 导出为 CSV/Parquet（用 pandas.read_json(..., lines=True) 如果是 JSON Lines）
• 或者直接在数据库里查（sqlite3 + json1 扩展可高效查询嵌套字段）

硬要格式化，jq 是目前唯一靠谱的通用命令行工具；Python 标准库的 json.tool 在这个量级下只是个验证器，不是处理器。