MedicalGPT数据集详解：医疗SFT、RAG与奖励数据准备指南

【免费下载链接】MedicalGPT MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。 项目地址: https://gitcode.com/gh_mirrors/me/MedicalGPT

MedicalGPT作为一款专注于医疗领域的大模型训练框架，其核心优势在于提供了完整的医疗数据处理与模型训练流程。本文将详细解析MedicalGPT项目中的三大核心数据集——医疗SFT（有监督微调）数据、RAG（检索增强生成）知识库数据和奖励模型数据，帮助新手用户快速掌握医疗AI模型的数据准备方法。

医疗SFT数据集：构建临床对话能力的基石

有监督微调（SFT）是医疗大模型训练的关键环节，MedicalGPT提供了经过专业整理的医疗对话数据集，位于data/finetune/目录下。其中medical_sft_1K_format.jsonl包含1000条真实医疗对话案例，覆盖内科、外科、妇科等多个专科领域。

每条数据采用标准JSONL格式，包含医患对话历史和模型回复：

{"conversations":[{"from":"human","value":"治疗阳痿吃什么药呢？性生活一直很正常的，但是这段时间感觉性欲变低了...","from":"gpt","value":"男子早泄、早泄病症的再次发生，多由恣情纵欲...肾阳虚衰则温煦失责，气化无权..."}]}

这些对话数据不仅包含常见疾病咨询，还涵盖了复杂病例讨论和治疗方案建议，为模型注入专业的临床思维能力。通过supervised_finetuning.py脚本，用户可直接使用该数据集进行模型微调，快速构建基础医疗对话能力。

RAG知识库：打造医疗知识检索引擎

MedicalGPT的RAG模块依赖高质量的医疗知识库数据，主要存储在data/rag/medical_corpus.txt文件中。该数据集包含数万条医疗问答对，覆盖疾病诊断、治疗方案、药物说明等专业知识。

典型的知识库条目结构如下：

{"问": "盆腔炎的症状有哪些", "答": "盆腔炎多发生在性活跃期、有月经的妇女...主要症状是疼痛...严重者体温升高，心率加快..."}

这些结构化知识可通过chatpdf.py等工具构建向量数据库，实现模型在回答时的实时知识检索。与传统模型相比，RAG技术使MedicalGPT能够获取最新医疗指南和研究成果，显著提升回答的准确性和时效性。

图：MedicalGPT模型训练全流程示意图，展示了数据准备、模型训练到部署应用的完整链路

奖励模型数据：优化医疗回答质量

为实现RLHF（基于人类反馈的强化学习）训练，MedicalGPT提供了专业的奖励模型数据集data/reward/dpo_zh_500.jsonl。该数据集包含500组医疗回答对比案例，每组数据提供问题、优质回答和劣质回答三个部分：

{"question":"心肌梗塞能治疗吗？","response_chosen":"首先建议住院治疗,根据仔细检查结果决定治疗方案...","response_rejected":"你的这种情况可能是细菌性或霉菌性阴道炎..."}

通过DPO（直接偏好优化）训练，模型能够学习区分医疗回答的质量差异，优先生成专业、准确且符合伦理规范的回复。奖励模型训练脚本dpo_training.py和reward_modeling.py可直接调用该数据集，帮助用户构建具有临床决策能力的医疗AI模型。

数据集使用最佳实践

数据预处理建议

1. 使用validate_jsonl.py工具验证数据集格式
2. 通过convert_dataset.py脚本转换为模型所需格式
3. 结合build_domain_tokenizer.py构建医疗领域专用分词器

训练流程参考

# 执行SFT训练
bash run_sft.sh
# 训练奖励模型
bash run_rm.sh
# 进行DPO训练
bash run_dpo.sh

图：直接偏好优化（DPO）训练效果对比，展示奖励模型对回答质量的提升作用

数据集扩展与自定义

MedicalGPT支持用户扩展自定义数据集，建议遵循以下规范：

• SFT数据：使用data/finetune/目录下的JSONL格式
• RAG知识：添加至data/rag/medical_corpus.txt或创建新文件
• 奖励数据：参照data/reward/dpo_zh_500.jsonl格式组织

项目还提供了角色对话数据生成工具，位于role_play_data/目录，可生成医患角色扮演对话，进一步丰富训练数据多样性。

通过合理利用这些数据集，开发者可以快速构建适应不同医疗场景的AI模型，为临床辅助诊断、患者教育等应用提供强大支持。MedicalGPT的数据集设计充分考虑了医疗领域的专业性和严谨性，为打造安全可靠的医疗AI系统奠定了坚实基础。

【免费下载链接】MedicalGPT MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。 项目地址: https://gitcode.com/gh_mirrors/me/MedicalGPT