17370845950

snakemake 本身不直接暴露解析后的命令行参数（如 `--slurm`）供 snakefile 内部使用，但可通过环境变量、配置文件及 `snakemake.workflow` 对象间接访问关键运行时信息，实现条件化逻辑（如作业拆分、资源分配等）。

在实际开发可移植、多调度器适配的 Snakemake 流水线时，常需根据执行环境动态调整行为——例如：当使用 SLURM 调度器时，将一个大任务拆分为多个轻量子作业以提升集群吞吐；而在本地测试时则保持单作业运行。虽然 Snakemake 不提供类似 snakemake.args.slurm 的原生 API 来直接读取 --slurm 标志，但有以下三种可靠、生产就绪的方案：

✅ 方案一：检测调度器环境变量（推荐用于 SLURM/LSF/PBS）

SLURM、LSF 等批处理系统会在作业启动时自动注入环境变量。最常用且健壮的判断方式是检查 $SLURM_JOB_ID 是否存在：

# 在 Snakefile 中
import os

# 判断是否运行在 SLURM 环境中
ON_SLURM = bool(os.getenv("SLURM_JOB_ID"))

rule process_large_file:
    input: "data/input.txt"
    output: "results/output.txt"
    resources:
        # 根据调度器动态分配并行度
        n_jobs = 8 if ON_SLURM else 2
    shell:
        "parallel -j {resources.n_jobs} 'echo processing
 {}' ::: {input}"

⚠️ 注意：$SLURM_JOB_ID 仅在 作业已由 SLURM 启动后 可用（即 snakemake --slurm 模式下），而 snakemake --dryrun --slurm 不会触发该变量——此时应结合方案三。

✅ 方案二：通过 config.yaml 或 --config 显式传参（最可控）

在调用时显式声明运行模式，避免依赖外部环境：

snakemake --slurm --config scheduler=slurm max_jobs=16
# 或本地运行：
snakemake --config scheduler=local max_jobs=4

Snakefile 中读取：

SCHEDULER = config.get("scheduler", "local")
MAX_JOBS = config.get("max_jobs", 2)

rule align_reads:
    input: "reads/{sample}.fastq"
    output: "aligned/{sample}.bam"
    threads: MAX_JOBS if SCHEDULER == "slurm" else 4
    shell: "bwa mem -t {threads} ref.fa {input} | samtools view -b > {output}"

✅ 方案三：利用 snakemake.workflow（Snakemake ≥7.30.0）

新版 Snakemake 提供 snakemake.workflow 模块，可在 Snakefile 中安全访问部分运行时上下文（需确保非 dry-run 阶段）：

# 注意：此方法仅在实际执行阶段可用（非 --dryrun / --lint）
try:
    from snakemake.workflow import Workflow
    # 实际中通常通过全局变量 snakemake 访问
    IS_SLURM = hasattr(snakemake, 'workflow') and \
               getattr(snakemake.workflow, 'executor', None) == 'slurm'
except ImportError:
    IS_SLURM = False

但该接口属内部实现，官方不承诺稳定性，生产环境建议优先采用方案一或二。

? 总结建议

• 首选方案一（环境变量）：简洁、无侵入、兼容所有 Snakemake 版本，适用于 SLURM/LSF 等主流调度器；
• 首选方案二（config 驱动）：语义清晰、可复现性强，适合 CI/CD 或多环境部署；
• 避免硬编码 --slurm 标志检测——Snakemake 不向 Snakefile 暴露原始 CLI 解析结果；
• 所有动态逻辑应置于 resources、threads、shell 或 run 块中，确保在规则解析期正确求值。

通过组合使用上述方法，即可构建智能感知执行环境的 Snakemake 流水线，兼顾灵活性与可维护性。