shibing624/MedicalGPT

🇨🇳中文 | 🌐English | 📖文档/Docs | 🤖模型/Models

MedicalGPT: Training Medical GPT Model

📖 Introduction

MedicalGPT training medical GPT model with ChatGPT training pipeline, implemantation of Pretraining, Supervised Finetuning, RLHF(Reward Modeling and Reinforcement Learning), DPO(Direct Preference Optimization) and standalone OPD(On-Policy Distillation).

MedicalGPT 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)、DPO(直接偏好优化) 和独立OPD(On-Policy Distillation)。

• RLHF training pipeline来自Andrej Karpathy的演讲PDF State of GPT，视频 Video
• DPO方法来自论文Direct Preference Optimization:Your Language Model is Secretly a Reward Model
• ORPO方法来自论文ORPO: Monolithic Preference Optimization without Reference Model

🔥 News

[2026/04/20] v2.7版本：支持了 OPD(On-Policy Distillation) 蒸馏训练，新增独立 training/opd_training.py 训练入口、scripts/run_opd.sh 启动脚本，并补充了OPD参数与使用文档，详见Release-v2.7

[2026/04/09] v2.6版本：支持了 [Agent工具调用/Function Call] 模型微调训练，新增了支持不同模型的工具数据格式转换和解析代码。并在 data 目录下补充了 toolcall 数据样例。详见Release-v2.6

[2026/04/07] v2.5版本：支持了 Qwen3.5 系列模型（包括Base、Instruct和MoE变体），PT/SFT/DPO/ORPO/GRPO全流程适配，新增qwen3、qwen3_5、qwen3_nothink、qwen3_5_nothink对话模板，支持DeepSpeed ZeRO-3 MoE训练，详见Release-v2.5

[2025/04/18] v2.4版本：支持了LoRA和全参的 GRPO 训练方法，GRPO通过纯RL方法可以体验aha moment，详见Release-v2.4

[2024/09/21] v2.3版本：支持了 Qwen-2.5 系列模型，详见Release-v2.3

[2024/08/02] v2.2版本：支持了角色扮演模型训练，新增了医患对话SFT数据生成脚本role_play_data，支持OpenAI、豆包、MiniMax等多种LLM Provider，详见Release-v2.2

😊 Features

基于ChatGPT Training Pipeline，本项目实现了领域模型--医疗行业语言大模型的训练：

• 第一阶段：PT(Continue PreTraining)增量预训练，在海量领域文档数据上二次预训练GPT模型，以适应领域数据分布（可选）
• 第二阶段：SFT(Supervised Fine-tuning)有监督微调，构造指令微调数据集，在预训练模型基础上做指令精调，以对齐指令意图，并注入领域知识
• 第三阶段
  • RLHF(Reinforcement Learning from Human Feedback)基于人类反馈对语言模型进行强化学习，分为两步：
    • RM(Reward Model)奖励模型建模，构造人类偏好排序数据集，训练奖励模型，用来建模人类偏好，主要是"HHH"原则，具体是"helpful, honest, harmless"
    • RL(Reinforcement Learning)强化学习，用奖励模型来训练SFT模型，生成模型使用奖励或惩罚来更新其策略，以便生成更高质量、更符合人类偏好的文本
  • DPO(Direct Preference Optimization)直接偏好优化方法，DPO通过直接优化语言模型来实现对其行为的精确控制，而无需使用复杂的强化学习，也可以有效学习到人类偏好，DPO相较于RLHF更容易实现且易于训练，效果更好
  • ORPO比值比偏好优化，不需要参考模型（ref_model）的优化方法，通过ORPO，LLM可以同时学习SFT和对齐，将两个过程整合为单一步骤，缓解模型灾难性遗忘问题
  • OPD(On-Policy Distillation)独立蒸馏训练，使用更强的teacher模型对student在自身rollout轨迹上的输出分布进行监督，首版不和PPO/GRPO联训，训练产物可以像SFT一样独立部署

Release Models

演示shibing624/vicuna-baichuan-13b-chat模型效果： 具体case见Inference Examples

▶️ Demo

我们提供了一个简洁的基于gradio的交互式web界面，启动服务后，可通过浏览器访问，输入问题，模型会返回答案。

启动服务，命令如下：

CUDA_VISIBLE_DEVICES=0 python demo/gradio_demo.py --base_model path_to_llama_hf_dir --lora_model path_to_lora_dir

参数说明：

• --base_model {base_model}：存放HF格式的LLaMA模型权重和配置文件的目录，也可使用HF Model Hub模型调用名称
• --lora_model {lora_model}：LoRA文件所在目录，也可使用HF Model Hub模型调用名称。若lora权重已经合并到预训练模型，则删除--lora_model参数
• --tokenizer_path {tokenizer_path}：存放对应tokenizer的目录。若不提供此参数，则其默认值与--base_model相同
• --template_name：模板名称，如vicuna、alpaca等。若不提供此参数，则其默认值是vicuna
• --only_cpu: 仅使用CPU进行推理
• --resize_emb：是否调整embedding大小，若不调整，则使用预训练模型的embedding大小，默认不调整

💾 Install

Updating the requirements

requirements.txt会不时更新以适配最新功能，使用以下命令更新依赖:

git clone https://github.com/shibing624/MedicalGPT
cd MedicalGPT
pip install -r requirements.txt --upgrade

Hardware Requirement (显存/VRAM)

* 估算值

📁 Project Structure

MedicalGPT/
├── training/                # 核心训练脚本（训练主线）
│   ├── template.py                         # 对话模板定义
│   ├── tool_utils.py                       # Agent工具调用格式化工具
│   ├── pretraining.py                      # Stage 1: 增量预训练(PT)
│   ├── supervised_finetuning.py            # Stage 2: 有监督微调(SFT, 支持Agent)
│   ├── opd_training.py                     # Stage 2.5: 独立OPD蒸馏
│   ├── reward_modeling.py                  # Stage 3: 奖励模型(RM)
│   ├── ppo_training.py                     # Stage 3: 强化学习(PPO/RLOO)
│   ├── dpo_training.py                     # Stage 3: 直接偏好优化(DPO, 支持Agent)
│   ├── orpo_training.py                    # Stage 3: ORPO
│   └── grpo_training.py                    # Stage 3: GRPO
│
├── scripts/                 # 一键运行脚本 + DeepSpeed配置
│   ├── run_pt.sh / run_sft.sh / run_dpo.sh / ...
│   └── zero1.json / zero2.json / zero3.json
│
├── demo/                    # 推理、部署、应用示例
│   ├── inference.py / gradio_demo.py / fastapi_server_demo.py
│   ├── openai_api.py / chatpdf.py
│   └── inference_multigpu_demo.py
│
├── tools/                   # 模型合并、量化、数据处理工具
│   ├── merge_peft_adapter.py / merge_tokenizers.py
│   ├── model_quant.py / eval_quantize.py
│   └── convert_dataset.py / validate_jsonl.py
│
├── notebooks/               # Colab 教程 Notebook
│   ├── run_training_dpo_pipeline.ipynb
│   └── run_training_ppo_pipeline.ipynb
│
├── data/                    # 训练数据
│   ├── sft/                               # SFT数据（含普通问答和Tool Call）
│   └── reward/                            # DPO/RM偏好数据（含普通偏好和Tool Call偏好）
├── docs/                    # 文档
└── tests/                   # 测试

所有脚本均从项目根目录运行，例如：bash scripts/run_sft.sh

🚀 Training Pipeline

Training Stage:

• 提供完整PT+SFT+DPO全阶段串起来训练的pipeline：run_training_dpo_pipeline.ipynb ，其对应的colab： ，运行完大概需要15分钟
• 提供完整PT+SFT+RLHF全阶段串起来训练的pipeline：run_training_ppo_pipeline.ipynb ，其对应的colab： ，运行完大概需要20分钟
• 支持Agent工具调用微调训练（Agent Finetuning），SFT和DPO阶段均支持。详见下方 Agent 训练 章节
• 支持独立 OPD 训练，复用 data/sft 的 ShareGPT 多轮数据格式，训练输出与 SFT/LoRA 一样可直接部署；如果是LoRA训练，可继续使用 tools/merge_peft_adapter.py 合并权重
• 提供基于知识库文件的LLM问答功能（RAG）：chatpdf.py
• 训练参数说明 | 训练参数说明wiki
• 数据集 | 数据集wiki
• 扩充词表 | 扩充词表wiki
• FAQ | FAQ_wiki

Agent 训练（Agent Finetuning）

本项目支持通过 SFT 和 DPO 两种方式训练具有工具调用（Function Call / Tool Use）能力的 Agent 模型。

核心原理： Tool Call 本质上是特殊的多轮对话，在标准的 human/gpt 角色之外新增了 function_call（模型决定调用工具）和 observation（工具返回结果）两种角色。Template 系统统一处理所有角色，有工具描述就拼接到 system message，没有就跳过，对 loss 计算和训练过程完全透明。

数据格式： 统一使用 jsonl（一行一条），ShareGPT 格式。

SFT 数据（data/sft/glaive_toolcall_zh_demo.jsonl）：

{"conversations": [{"from": "human", "value": "帮我查一下北京天气"}, {"from": "function_call", "value": "{\"name\": \"get_weather\", \"arguments\": {\"city\": \"北京\"}}"}, {"from": "observation", "value": "{\"temperature\": \"28°C\", \"weather\": \"晴\"}"}, {"from": "gpt", "value": "北京今天天气晴朗，气温28°C。"}], "tools": "[...]"}

DPO 数据（data/reward/toolcall_dpo_zh_demo.jsonl）：

{"conversations": [{"from": "human", "value": "帮我查一下北京天气"}], "tools": "[...]", "chosen": "Action: get_weather\nAction Input: {\"city\": \"北京\"}", "rejected": "北京今天天气晴朗，气温25度。"}

注意： 所有训练数据统一为 .jsonl 格式。chosen/rejected 为纯字符串。如有 .json 文件（JSON 数组），可用 python tools/convert_dataset.py --in_file data.json --out_file data.jsonl --data_type json2jsonl 转换。

支持的 tool_format：

混合训练： 普通问答SFT数据和Tool Call数据可以一起训练，只需将两类数据文件放在同一个 --train_file_dir 目录下即可。没有 tools 字段的数据会按照普通SFT/DPO流程处理。

训练命令： Tool Call 数据与普通数据混合在同一目录下，直接使用标准训练脚本，加 --tool_format 参数即可：

# SFT（data/sft/ 目录下同时包含普通问答和 tool call 数据）
bash scripts/run_sft.sh

# DPO（data/reward/ 目录下同时包含普通偏好和 tool call 偏好数据）
bash scripts/run_dpo.sh

关键参数说明：

• --tool_format default：指定工具调用的文本格式（可选 default, glm4, llama3, mistral, qwen）
• 无需单独的 agent 训练脚本，普通数据和 tool call 数据自动混合训练

Supported Models

💻 Inference

训练完成后，现在我们加载训练好的模型，验证模型生成文本的效果。

CUDA_VISIBLE_DEVICES=0 python demo/inference.py \
    --base_model path_to_model_hf_dir \
    --lora_model path_to_lora \
    --interactive

参数说明：

• --base_model {base_model}：存放HF格式的LLaMA模型权重和配置文件的目录
• --tokenizer_path {base_model}：存放HF格式的LLaMA模型权重和配置文件的目录
• --lora_model {lora_model}：LoRA解压后文件所在目录，也可使用HF Model Hub模型调用名称。如果已经合并了LoRA权重到预训练模型，则可以不提供此参数
• --tokenizer_path {tokenizer_path}：存放对应tokenizer的目录。若不提供此参数，则其默认值与--base_model相同
• --template_name：模板名称，如vicuna、alpaca等。若不提供此参数，则其默认值是vicuna
• --interactive：以交互方式启动多轮问答，使用流式推理
• --data_file {file_name}：非交互方式启动下，读取file_name中的的内容进行batch预测
• --output_file {file_name}：非交互式方式下，将预测的结果以jsonl格式写入file_name
• --resize_emb：是否调整embedding大小，若不调整，则使用预训练模型的embedding大小，默认不调整
• --only_cpu：仅使用CPU进行推理
• --gpus {gpu_ids}：指定使用的GPU设备编号，默认为0。如使用多张GPU，以逗号分隔，如0,1,2

多卡推理

多卡数据并行，batch推理

CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node 2 demo/inference_multigpu_demo.py --base_model shibing624/vicuna-baichuan-13b-chat

vllm多卡部署

bash scripts/vllm_deployment.sh

Inference Examples

shibing624/vicuna-baichuan-13b-chat inference examples:

📚 Dataset

医疗数据集

• 240万条中文医疗数据集(包括预训练、指令微调和奖励数据集)：shibing624/medical
• 22万条中文医疗对话数据集(华佗项目)：shibing624/huatuo_medical_qa_sharegpt 【本项目支持格式】

通用数据集

Pretraining datasets(预训练数据集)

• 16GB中英文无监督、平行语料Linly-AI/Chinese-pretraining-dataset
• 524MB中文维基百科语料wikipedia-cn-20230720-filtered

Supervised fine-tuning datasets(指令微调数据集)

• 10万条多语言ShareGPT GPT4多轮对话数据集：shibing624/sharegpt_gpt4 【本项目支持格式】
• 9万条英文ShareGPT多轮对话数集：anon8231489123/ShareGPT_Vicuna_unfiltered 【本项目支持格式】
• 50万条中文ChatGPT指令Belle数据集：BelleGroup/train_0.5M_CN
• 100万条中文ChatGPT指令Belle数据集：BelleGroup/train_1M_CN
• 5万条英文ChatGPT指令Alpaca数据集：50k English Stanford Alpaca dataset
• 2万条中文ChatGPT指令Alpaca数据集：shibing624/alpaca-zh
• 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条)：Chinese-Vicuna/guanaco_belle_merge_v1.0
• 5万条英文ChatGPT多轮对话数据集：RyokoAI/ShareGPT52K
• 80万条中文ChatGPT多轮对话数据集：BelleGroup/multiturn_chat_0.8M
• 116万条中文ChatGPT多轮对话数据集：fnlp/moss-002-sft-data
• 3.8万条中文ShareGPT多轮对话数据集：FreedomIntelligence/ShareGPT-CN
• 130万条中文微调数据集（汇总）：zhuangxialie/Llama3-Chinese-Dataset 【本项目支持格式】
• 7千条中文角色扮演多轮对话数据集：shibing624/roleplay-zh-sharegpt-gpt4-data 【本项目支持格式】

Preference datasets(偏好数据集)

• 2万条中英文偏好数据集：shibing624/DPO-En-Zh-20k-Preference 【本项目支持格式】
• 原版的oasst1数据集：OpenAssistant/oasst1
• 2万条多语言oasst1的reward数据集：tasksource/oasst1_pairwise_rlhf_reward
• 11万条英文hh-rlhf的reward数据集：Dahoas/full-hh-rlhf
• 9万条英文reward数据集(来自Anthropic's Helpful Harmless dataset)：Dahoas/static-hh
• 7万条英文reward数据集（来源同上）：Dahoas/rm-static
• 7万条繁体中文的reward数据集（翻译自rm-static）liswei/rm-static-m2m100-zh
• 7万条英文Reward数据集：yitingxie/rlhf-reward-datasets
• 3千条中文知乎问答偏好数据集：liyucheng/zhihu_rlhf_3k

☎️ Contact

• Issue(建议) ：
• 邮件我：xuming: [email protected]
• 微信我： 加我微信号：xuming624, 备注：姓名-公司名-NLP 进NLP交流群（加我拉你进群）。

⚠️ LICENSE

本项目仅可应用于研究目的，项目开发者不承担任何因使用本项目（包含但不限于数据、模型、代码等）导致的危害或损失。详细请参考免责声明。

MedicalGPT项目代码的授权协议为 The Apache License 2.0，代码可免费用做商业用途，模型权重和数据只能用于研究目的。请在产品说明中附加MedicalGPT的链接和授权协议。

😇 Citation

如果你在研究中使用了MedicalGPT，请按如下格式引用：

@misc{MedicalGPT,
  title={MedicalGPT: Training Medical GPT Model},
  author={Ming Xu},
  year={2023},
  howpublished={\url{https://github.com/shibing624/MedicalGPT}},
}

😍 Contribute

项目代码还很粗糙，如果大家对代码有所改进，欢迎提交回本项目，在提交之前，注意以下两点：

• 在tests添加相应的单元测试
• 使用python -m pytest来运行所有单元测试，确保所有单测都是通过的

之后即可提交PR。

💕 Acknowledgements

• Direct Preference Optimization:Your Language Model is Secretly a Reward Model
• tloen/alpaca-lora
• ymcui/Chinese-LLaMA-Alpaca

Thanks for their great work!

关联项目推荐

• shibing624/agentica：基于 LLM 构建 Agent 框架，支持多种 Agent 类型，包括 RAG、在线搜索、Code interpreter、Vibe Coding、Claude Code、Copilot Agent 等