LLM 推理的可重现性策略

重点摘要

在 Zokforce，我们观察到大型语言模型（LLM）的推理过程本质上就具有非确定性：即使提示词完全相同，模型仍可能产生不同的输出。刻意设计的随机性有助于创意型任务，但正式环境中的系统，却深受一种更深层、系统性的非确定性所困扰。

Thinking Machines Lab 等团队的最新研究指出，传统的「并行 + 浮点数」假说并不完整。根本原因在于缺乏「批量不变性」（batch invariance）——服务器负载难以预测，迫使推理引擎动态调整批量大小，进而改变内部 kernel 的运行策略，导致输出在比特层级出现差异。

关键区别：随机性与非确定性

要理解 LLM 的非确定性，必须区分两种随机现象：

为何可重现性对企业至关重要

深入剖析：非确定性的来源

LLM 非确定性相同的提示词，产生不同的输出

影响高批量不变性问题批量大小动态变化，改变 kernel 的运行方式

影响中等浮点数运算的非结合性变异的载体，而非根本原因

可控内在随机性随机采样：temperature、top_p 与 seed

造成 LLM 推理系统非确定性行为的三大主要来源

1. 批量不变性问题

正式环境中的 LLM 服务，会将多位用户的请求打包成批量，以充分利用 GPU。核心问题在于：批量大小一改变，内部的 kernel 策略就会完全不同。

# Example: Same operation, different batch contexts
# Batch size = 4 users
result_1 = process_batch([user1, user2, user3, user4])

# Batch size = 1 user (different kernel strategy)
result_2 = process_batch([user1])

# Result: Different outputs for user1 due to kernel optimization differences

当批量太小、无法用满所有 GPU 核心时，工程师会改用「分割归约」（split-reduction）策略，由多个核心协同完成单一运算；这会改变运算顺序，破坏批量不变性。

2. 浮点数运算的非结合性

浮点数运算虽然常被视为主因，但它其实只是变异得以显现的载体。研究显示，像 torch.mm(A, B) 这样的单一运算，只要输入相同，重复运行的结果都是确定的。

3. LLM 的内在随机性

LLM 通过预测下一个 token 的概率分布来生成文本。主要有三种解码策略控制这个生成过程：

多层次解决方案框架

第 1 层Kernel 与框架

• 批量不变的 kernel
• 确定性算法
• 框架控制设置

第 2 层API 与应用程序

• Seed 参数
• Temperature = 0
• 结构化输出

第 3 层提示工程

• 确定性提示词
• 少样本范例
• 负面提示

第 4 层MLOps 与工作流程

• 版本控制
• 缓存层
• 环境记录

四个相互集成的层次协同运作，实现企业级的可重现性

第 1 层：kernel 与框架基础

主要实作策略：

• RMSNorm：无论批量大小，归约顺序固定
• 矩阵乘法：kernel 组态固定，不受批量形状影响
• 注意力机制：采用固定分割大小的分割归约

各框架的确定性控制设置：

在不同框架中实作确定性控制的技术参考

第 2 层：API 与应用程序控制

第 3 层：卓越的提示工程

精心设计具确定性的提示词，能有效缩小模型的输出空间：

# Example: Deterministic Prompt Structure
prompt = f"""
Task: Extract key information from the following contract.
Output Format: JSON with fields: party1, party2, date, amount
Requirements: 
- Use exact text from document
- Return "N/A" if information not found
- No additional commentary

Contract: {contract_text}

JSON Response:
"""

第 4 层：MLOps 与工作流程管理

性能与可重现性的取舍

可重现性 ↑

1 2 3 4

性能 →

1

默认（非确定性）

2

批量不变 kernel

3

框架确定性模式

4

受控采样

依性能影响与可重现性程度定位的各种做法

量化成本

实现确定性，需要付出可量化的性能代价：

企业引入指南

第 1 阶段：评估与奠基（第 1-2 个月）

第 2 阶段：实作与测试（第 3-6 个月）

# Example: PyTorch Deterministic Configuration
import torch
import os
import random
import numpy as np

def setup_deterministic_environment():
    # Set all random seeds
    torch.manual_seed(42)
    torch.cuda.manual_seed(42)
    torch.cuda.manual_seed_all(42)
    np.random.seed(42)
    random.seed(42)
    
    # Enable deterministic algorithms
    torch.use_deterministic_algorithms(True)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False
    
    # CUDA environment variables
    os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':16:8'
    os.environ['PYTHONHASHSEED'] = str(42)

第 3 阶段：正式上线部署（第 6-9 个月）

真实案例研究

案例 1：金融服务业的文档处理

案例 2：医疗研究平台

未来展望与新兴解决方案

新兴技术

• 高级批量不变 kernel：在维持确定性的同时降低性能负担
• 混合式做法：在确定性与非确定性模式之间动态切换
• 硬件加速：专为确定性 AI 推理优化的专用芯片
• 协定标准化：可重现 AI 部署的产业标准

参考文献与延伸阅读

1. Sitation.com，〈Output from AI LLMs is Non-Deterministic. What that means and why you should care.〉链接
2. AIMultiple Research，〈Reproducible AI: Why it Matters & How to Improve it.〉链接
3. StartupHub.ai，〈The Real Reason for LLM Inference Nondeterminism.〉链接
4. Thinking Machines Lab，〈Defeating Nondeterminism in LLM Inference.〉，刊载于 Medium。
5. Microsoft Azure，〈How to generate reproducible output with Azure OpenAI.〉链接
6. PyTorch 官方文档，〈Reproducibility Guidelines.〉链接
7. Hugging Face，〈Reproducible pipelines documentation.〉链接
8. NVIDIA GTC 2024，〈Restoring the Scientific Method to HPC: High Performance Reproducible Parallel Reductions.〉