138.LLaMA Factory基于DeepSpeed加速训练模型

来源：语雀原文 | 整理日期：2026-09-22

示例代码

前言

随着人工智能技术的飞速发展，大型语言模型（LLM）在自然语言处理（NLP）领域扮演着越来越重要的角色。然而，预训练的模型往往需要针对特定任务进行微调，以提高其在特定领域的性能。因为预训练模型是在大量数据上训练得到的，它已经学习到了语言的基本规律和丰富的特征表示。然而，这些模型可能并不直接适用于特定的任务或领域，因为它们可能缺乏对特定领域知识的理解和适应性。

LLaMA Factory 介绍

项目地址：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。致力于简化大型的定制过程。它集成了多种训练策略和监控工具，提供了命令行和 WebUI 等多种交互方式，大幅降了模型微调的技术门槛。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调，框架特性包括：

模型种类：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
训练算法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
运算精度：16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
优化算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 PiSSA。
加速算子：FlashAttention-2 和 Unsloth。
推理引擎：Transformers 和 vLLM。
实验监控：LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 等等。

LLaMA Factory 核心功能

多模型兼容：支持包括 LLama、Mistral、Falcon 在内的多种大型语言模型。
训练方法多样：涵盖全参数微调及 LoRA 等先进的微调技术。
用户界面友好：LLama Board 提供了一个直观的 Web 界面，使用户能够轻松调整模型设置。
监控工具集成：与 TensorBoard 等工具集成，便于监控和分析训练过程。

LLaMA Factory 特点

易用性：简化了机器学习算法的复杂性，通过图形界面即可控制模型微调。
微调效率：支持 DPO、ORPO、PPO 和 SFT 等技术，提升了模型微调的效率和效果。
参数调整灵活性：用户可根据需求轻松调整模型参数，如 dropout 率、epochs 等。
多语言支持：界面支持英语、俄语和中文，面向全球用户提供服务。

LLaMA Factory 使用场景

LLaMA-Factory 适用于广泛的 NLP 任务，包括但不限于：

文本分类：实现情感分析、主题识别等功能。
序列标注：如 NER、词性标注等任务。
文本生成：自动生成文本摘要、对话等。
机器翻译：优化特定语言对的翻译质量。

LLaMA-Factory 通过其强大的功能和易用性，助力用户在自然语言处理领域快速实现模型的定制和优化。

微调的过程

模型微调通过在特定任务的数据集上继续训练预训练模型来进行，使得模型能够学习到与任务相关的特定特征和知识。这个过程通常涉及到模型权重的微幅调整，而不是从头开始训练一个全新的模型。

微调过程主要包括以下几个步骤：

数据准备：收集和准备特定任务的数据集。
模型选择：选择一个预训练模型作为基础模型。
迁移学习：在新数据集上继续训练模型，同时保留预训练模型的知识。
参数调整：根据需要调整模型的参数，如学习率、批大小等。
模型评估：在验证集上评估模型的性能，并根据反馈进行调整。

微调的优势

微调技术带来了多方面的优势：资源效率：相比于从头开始训练模型，微调可以显著减少所需的数据量和计算资源。快速部署：微调可以快速适应新任务，加速模型的部署过程。性能提升：针对特定任务的微调可以提高模型的准确性和鲁棒性。领域适应性：微调可以帮助模型更好地理解和适应特定领域的语言特点。

通过微调，可以使得预训练模型在这些任务上取得更好的性能，更好地满足实际应用的需求。

环境准备

安装 LLaMA Factory

plain

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

可选的额外依赖项：torch、torch-npu、metrics、deepspeed、liger-kernel、bitsandbytes、hqq、eetq、gptq、aqlm、vllm、sglang、galore、apollo、badam、adam-mini、qwen、minicpm_v、modelscope、openmind、swanlab、quality

Tip

遇到包冲突时，可使用 pip install --no-deps -e . 解决。

数据准备

关于数据集文件的格式，请参考 data/README_zh.md 的内容。你可以使用 HuggingFace / ModelScope / Modelers 上的数据集或加载本地数据集。

Note

使用自定义数据集时，请更新 data/dataset_info.json 文件。

您也可以使用 Easy Dataset 构建用于微调的合成数据。

快速开始

下面三行命令分别对 Llama3-8B-Instruct 模型进行 LoRA 微调、推理和合并。

plain

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml
llamafactory-cli chat examples/inference/llama3_lora_sft.yaml
llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml

高级用法请参考 examples/README_zh.md（包括多 GPU 微调）。

Tip

使用 llamafactory-cli help 显示帮助信息。

遇到报错请先看常见问题。

LLaMA Board 可视化微调（由 Gradio 驱动）

llamafactory-cli webui

构建 Docker

CUDA 用户：

plain

cd docker/docker-cuda/
docker compose up -d
docker compose exec llamafactory bash

昇腾 NPU 用户：

plain

cd docker/docker-npu/
docker compose up -d
docker compose exec llamafactory bash

AMD ROCm 用户：

plain

cd docker/docker-rocm/
docker compose up -d
docker compose exec llamafactory bash

从魔搭社区下载

如果您在 Hugging Face 模型和数据集的下载中遇到了问题，可以通过下述方法使用魔搭社区。

export USE_MODELSCOPE_HUB=1 # Windows 使用 set USE\_MODELSCOPE\_HUB=1

将 model_name_or_path 设置为模型 ID 来加载对应的模型。在魔搭社区查看所有可用的模型，例如 LLM-Research/Meta-Llama-3-8B-Instruct。

DeepSpeed分布式训练

LLaMA-Factory 支持单机多卡和多机多卡分布式训练。同时也支持 DDP , DeepSpeed 和 FSDP 三种分布式引擎。

DDP (DistributedDataParallel) 通过实现模型并行和数据并行实现训练加速。使用 DDP 的程序需要生成多个进程并且为每个进程创建一个 DDP 实例，他们之间通过 torch.distributed 库同步。

DeepSpeed 是微软开发的分布式训练引擎，并提供ZeRO（Zero Redundancy Optimizer）、offload、Sparse Attention、1 bit Adam、流水线并行等优化技术。您可以根据任务需求与设备选择使用。

FSDP 通过全切片数据并行技术（Fully Sharded Data Parallel）来处理更多更大的模型。在 DDP 中，每张 GPU 都各自保留了一份完整的模型参数和优化器参数。而 FSDP 切分了模型参数、梯度与优化器参数，使得每张 GPU 只保留这些参数的一部分。除了并行技术之外，FSDP 还支持将模型参数卸载至CPU，从而进一步降低显存需求。


引擎	数据切分	模型切分	优化器切分	参数卸载
DDP	支持	不支持	不支持	不支持
DeepSpeed	支持	支持	支持	支持
FSDP	支持	支持	支持	支持

分布式背景介绍

分布式计算环境中，主节点负责协调其他节点和进程的工作
pytorch 官方提供的分布式训练工具 Accelerate 只支持 nvlink，而 T4，3090 这类显卡是 PIX ，检测方式：nvidia-smi topo -m；deepspeed 支持更大规模的模型训练
混合精度训练
ZeRO 可以减少内存占用，优化大模型训练，将模型参数分成了三个部分：Optimizer States、Gradient 和 Model Parameter。在使用 ZeRO 进行分布式训练时，可以选择 ZeRO-Offload 和 ZeRO-Stage3 等不同的优化技术。

deepspeed 介绍

DeepSpeed 是由微软开发的一个开源深度学习优化库，旨在提高大模型训练的效率和速度。在使用 DeepSpeed 之前，您需要先估计训练任务的显存大小，再根据任务需求与资源情况选择合适的 ZeRO 阶段。

ZeRO-1: 仅划分优化器参数，每个GPU各有一份完整的模型参数与梯度。
ZeRO-2: 划分优化器参数与梯度，每个GPU各有一份完整的模型参数。
ZeRO-3: 划分优化器参数、梯度与模型参数。

简单来说：从 ZeRO-1 到 ZeRO-3，阶段数越高，显存需求越小，但是训练速度也依次变慢。此外，设置 offload_param=cpu 参数会大幅减小显存需求，但会极大地使训练速度减慢。因此，如果您有足够的显存，应当使用 ZeRO-1，并且确保 offload_param=none。

DeepSpeed 是一个为速度和规模而设计的库，用于大规模模型的分布式训练，模型参数可达数十亿。其核心是零冗余优化器 (ZeRO)，它跨数据并行进程分片优化器状态 (ZeRO-1)、梯度 (ZeRO-2) 和参数 (ZeRO-3)。这大大减少了内存使用量，使您可以将训练扩展到数十亿参数的模型。为了释放更高的内存效率，ZeRO-Offload 通过在优化期间利用 CPU 资源来减少 GPU

在 DeepSpeed 中，可以通过在配置文件中设置 “bf16.enabled”: true 来启用 BF16 混合精度训练，减少占用内存。
混合精度训练是指在训练过程中同时使用 FP16（半精度浮点数）和 FP32（单精度浮点数）两种精度的技术。
deepspeed 可以根据具体情况选择合适的通信库，例如在 CPU 集群上进行分布式训练，可以选择 mpi 和 gloo；如果是在 GPU 上进行分布式训练，可以选择 nccl。
mpi 是一种跨节点通信库，常用于 CPU 集群上的分布式训练；
gloo 是一种高性能的分布式训练框架，支持 CPU 和 GPU 上的分布式训练；
nccl 是 NVIDIA 提供的 GPU 专用通信库，被广泛应用于 GPU 上的分布式训练。
DeepSpeed 的核心技术：
Zero（Zero Redundancy Optimizer，3D 优化与卸载）：在 deepspeed 中通过zero_optimization.stage=0/1/2/3 设置，卸载通过zero_optimization.offload_optimizer.device设置
DeepSpeed 的推理优化技术：
Deep fusion：如下图，红色虚线框是以该单位为优化 Kernel，对应的数字是优化的效率倍数
Inference-customized GeMM

LLaMA-Factory提供了使用不同阶段的 DeepSpeed 配置文件的示例。包括：

备注

https://huggingface.co/docs/transformers/deepspeed 提供了更为详细的介绍。

单机多卡

llamafactory-cli

您可以使用 llamafactory-cli 启动 DeepSpeed 引擎进行单机多卡训练。

plain

FORCE_TORCHRUN=1 llamafactory-cli train examples/train_full/llama3_full_sft_ds3.yaml

为了启动 DeepSpeed 引擎，配置文件中 deepspeed 参数指定了 DeepSpeed 配置文件的路径:

plain

...
deepspeed: examples/deepspeed/ds_z3_config.json
...

deepspeed

您也可以使用 deepspeed 指令启动 DeepSpeed 引擎进行单机多卡训练。

plain

deepspeed --include localhost:1 your_program.py <normal cl args> --deepspeed ds_config.json

下面是一个例子：

plain

deepspeed --num_gpus 8 src/train.py \
--deepspeed examples/deepspeed/ds_z3_config.json \
--stage sft \
--model_name_or_path meta-llama/Meta-Llama-3-8B-Instruct  \
--do_train \
--dataset alpaca_en \
--template llama3 \
--finetuning_type full \
--output_dir  saves/llama3-8b/lora/full \
--overwrite_cache \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 8 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_steps 500 \
--learning_rate 1e-4 \
--num_train_epochs 2.0 \
--plot_loss \
--bf16

备注

使用 deepspeed 指令启动 DeepSpeed 引擎时您无法使用 CUDA_VISIBLE_DEVICES 指定GPU。而需要：

plain

deepspeed --include localhost:1 your_program.py <normal cl args> --deepspeed ds_config.json

--include localhost:1 表示只是用本节点的gpu1。

多机多卡

LLaMA-Factory 支持使用 DeepSpeed 的多机多卡训练，您可以通过以下命令启动：

plain

FORCE_TORCHRUN=1 NNODES=2 NODE_RANK=0 MASTER_ADDR=192.168.0.1 MASTER_PORT=29500 llamafactory-cli train examples/train_lora/llama3_lora_sft_ds3.yaml
FORCE_TORCHRUN=1 NNODES=2 NODE_RANK=1 MASTER_ADDR=192.168.0.1 MASTER_PORT=29500 llamafactory-cli train examples/train_lora/llama3_lora_sft_ds3.yaml

deepspeed

您也可以使用 deepspeed 指令来启动多机多卡训练。

plain

deepspeed --num_gpus 8 --num_nodes 2 --hostfile hostfile --master_addr hostname1 --master_port=9901 \
your_program.py <normal cl args> --deepspeed ds_config.json

备注

关于hostfile:

hostfile的每一行指定一个节点，每行的格式为 <hostname> slots=<num_slots> ，其中 <hostname> 是节点的主机名， <num_slots> 是该节点上的GPU数量。下面是一个例子： .. code-block:

plain

worker-1 slots=4
worker-2 slots=4

请在 https://www.deepspeed.ai/getting-started/ 了解更多。

如果没有指定 hostfile 变量, DeepSpeed 会搜索 /job/hostfile 文件。如果仍未找到，那么 DeepSpeed 会使用本机上所有可用的GPU。

accelerate

您还可以使用 accelerate 指令启动 DeepSpeed 引擎。首先通过以下命令生成 DeepSpeed 配置文件：

plain

accelerate config

下面提供一个配置文件示例：

plain

# deepspeed_config.yaml
compute_environment: LOCAL_MACHINE
debug: false
deepspeed_config:
    deepspeed_multinode_launcher: standard
    gradient_accumulation_steps: 8
    offload_optimizer_device: none
    offload_param_device: none
    zero3_init_flag: false
    zero_stage: 3
distributed_type: DEEPSPEED
downcast_bf16: 'no'
enable_cpu_affinity: false
machine_rank: 0
main_process_ip: '192.168.0.1'
main_process_port: 29500
main_training_function: main
mixed_precision: fp16
num_machines: 2
num_processes: 16
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: false

随后，您可以使用以下命令启动训练：

plain

accelerate launch \
--config_file deepspeed_config.yaml \
train.py llm_config.yaml

DeepSpeed 配置文件

ZeRO-0

plain

### ds_z0_config.json
{
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": "auto",
    "gradient_clipping": "auto",
    "zero_allow_untested_optimizer": true,
    "fp16": {
        "enabled": "auto",
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "bf16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": 0,
        "allgather_partitions": true,
        "allgather_bucket_size": 5e8,
        "overlap_comm": true,
        "reduce_scatter": true,
        "reduce_bucket_size": 5e8,
        "contiguous_gradients": true,
        "round_robin_gradients": true
    }
}

ZeRO-2

只需在 ZeRO-0 的基础上修改 zero_optimization 中的 stage 参数即可。

plain

### ds_z2_config.json
{
    ...
    "zero_optimization": {
        "stage": 2,
    ...
    }
}

ZeRO-2+offload

只需在 ZeRO-0 的基础上在 zero_optimization 中添加 offload_optimizer 参数即可。

plain

### ds_z2_offload_config.json
{
    ...
    "zero_optimization": {
        "stage": 2,
        "offload_optimizer": {
        "device": "cpu",
        "pin_memory": true
        },
    ...
    }
}

ZeRO-3

只需在 ZeRO-0 的基础上修改 zero_optimization 中的参数。

plain

### ds_z3_config.json
{
    ...
    "zero_optimization": {
        "stage": 3,
        "overlap_comm": true,
        "contiguous_gradients": true,
        "sub_group_size": 1e9,
        "reduce_bucket_size": "auto",
        "stage3_prefetch_bucket_size": "auto",
        "stage3_param_persistence_threshold": "auto",
        "stage3_max_live_parameters": 1e9,
        "stage3_max_reuse_distance": 1e9,
        "stage3_gather_16bit_weights_on_model_save": true
    }
}

ZeRO-3+offload

只需在 ZeRO-3 的基础上添加 zero_optimization 中的 offload_optimizer 和 offload_param 参数即可。

plain

### ds_z3_offload_config.json
{
    ...
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
        "device": "cpu",
        "pin_memory": true
        },
        "offload_param": {
        "device": "cpu",
        "pin_memory": true
        },
    ...
    }
}

备注

https://www.deepspeed.ai/docs/config-json/ 提供了关于deepspeed配置文件的更详细的介绍。

138.LLaMA Factory基于DeepSpeed加速训练模型 ​

示例代码 ​

前言 ​

LLaMA Factory 介绍 ​

LLaMA Factory 核心功能 ​

LLaMA Factory 特点 ​

LLaMA Factory 使用场景 ​

微调的过程 ​

微调的优势 ​

环境准备 ​

安装 LLaMA Factory ​

数据准备 ​

快速开始 ​

LLaMA Board 可视化微调（由 Gradio 驱动） ​

构建 Docker ​

从魔搭社区下载 ​

DeepSpeed分布式训练 ​

单机多卡 ​

llamafactory-cli ​

deepspeed ​

多机多卡 ​

deepspeed ​

accelerate ​

DeepSpeed 配置文件 ​

ZeRO-0 ​

ZeRO-2 ​

ZeRO-2+offload ​

ZeRO-3 ​

ZeRO-3+offload ​

138.LLaMA Factory基于DeepSpeed加速训练模型

示例代码

前言

LLaMA Factory 介绍

LLaMA Factory 核心功能

LLaMA Factory 特点

LLaMA Factory 使用场景

微调的过程

微调的优势

环境准备

安装 LLaMA Factory

数据准备

快速开始

LLaMA Board 可视化微调（由 Gradio 驱动）

构建 Docker

从魔搭社区下载

DeepSpeed分布式训练

单机多卡

llamafactory-cli

deepspeed

多机多卡

deepspeed

accelerate

DeepSpeed 配置文件

ZeRO-0

ZeRO-2

ZeRO-2+offload

ZeRO-3

ZeRO-3+offload