MedicalGPT词汇扩展指南：医疗专业术语分词优化方法

【免费下载链接】MedicalGPT MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。 项目地址: https://gitcode.com/gh_mirrors/me/MedicalGPT

在医疗AI领域，精准的中文分词是大模型理解专业术语的基础。MedicalGPT作为专注医疗领域的大模型训练框架，提供了完整的词汇扩展方案，帮助开发者解决医疗专业术语切分难题，显著提升模型对医学文本的理解能力。

为什么医疗大模型需要特殊分词优化？

医疗文本包含大量专业术语（如"潜伏性感染"、"慕容复"等专有名词）和特殊表达，普通分词工具常出现切分错误。例如"慕容复"可能被错误切分为"慕/容/复"，而MedicalGPT的优化分词能保持术语完整性，这对准确理解病历、医学文献至关重要。

分词效果对比

原始LLaMA tokenizer对中文医疗文本的切分存在明显缺陷，而MedicalGPT优化后的分词器能精准识别专业术语：

Medical LLaMA tokenizer：

['▁慕容复', '来到', '河边', '，', '姑苏慕容氏', '在外面', '丢了人', '。']

原始LLaMA tokenizer：

['<0xE6>', '<0x85>', '<0x95>', '容', '复', '来', '到', '河', '边', '，', '<0xE5>', '<0xA7>', '<0x91>', '<0xE8>', '<0x8B>', '<0x8F>', '<0xE6>', '<0x85>', '<0x95>', '容', '氏', '在', '外', '面', '<0xE4>', '<0xB8>', '<0xA2>', '了', '人', '。']

医疗词汇扩展的核心步骤

1. 构建专业领域Tokenizer

MedicalGPT使用SentencePiece（SPM）在大规模医疗语料上训练专用分词器，确保医学术语的完整切分。关键参数包括：

• 训练语料：使用data/pretrain/fever.txt等医疗文本
• 词表大小：默认2236，可根据领域需求调整
• 模型类型：BPE（Byte-Pair Encoding）算法

训练脚本：build_domain_tokenizer.py

核心训练代码片段：

spm.SentencePieceTrainer.train(
    input=args.in_file,
    model_prefix=args.domain_sp_model_name,
    vocab_size=args.vocab_size,
    model_type=args.model_type,
    split_digits=True,
    byte_fallback=True,
    normalization_rule_name="nfkc"
)

2. 合并优化词表

MedicalGPT采用双重优化策略提升中文处理能力：

• 基于百川词表扩充，提高简繁体汉字识别率
• 融合结巴分词Top 20000高频词，增强专名识别

合并脚本：merge_tokenizers.py

图：MedicalGPT训练流程中的词汇扩展环节，位于预训练阶段关键位置

3. 增量预训练配置

扩展词表后需进行增量预训练，关键参数：

--modules_to_save embed_tokens,lm_head

完整训练参数参考：docs/training_params.md

实战应用：医疗分词优化效果

以复杂医疗文本为例，优化后的分词器表现显著优于原始版本：

原文：

巴塞罗那足球俱乐部简称巴萨（Barça），是一家位于西班牙加泰罗尼亚巴塞罗那的足球俱乐部，于1899年由瑞士企业家胡安·甘伯所创立。

MedicalGPT分词结果：

['▁巴塞罗那', '足球', '俱乐部', '简称', '巴萨', '（', 'Bar', 'ça', '）', '，', '是一家', '位于', '西班牙', '加泰罗尼亚', '巴塞罗那', '的', '足球', '俱乐部', '，', '于', '1899', '年', '由', '瑞士', '企业家', '胡安·甘伯', '所', '创立', '。']

常见问题解决

1. 分词不完整：检查训练语料是否包含足够的医疗术语，可增加data/rag/medical_corpus.txt语料

2. 词表过大：通过调整vocab_size参数控制词表规模，建议医疗领域不小于2000

3. 训练效率低：使用增量预训练模式，仅更新嵌入层和输出层参数

总结

MedicalGPT提供的词汇扩展方案通过专业分词器训练、词表优化和增量预训练三个步骤，有效解决了医疗术语切分难题。这一优化使模型能更准确理解医学文本，为临床问答、病历分析等应用奠定基础。通过build_domain_tokenizer.py和merge_tokenizers.py两个核心工具，开发者可轻松构建适应特定医疗场景的专业词汇系统。

如需开始训练，可克隆项目仓库：

git clone https://gitcode.com/gh_mirrors/me/MedicalGPT

【免费下载链接】MedicalGPT MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。 项目地址: https://gitcode.com/gh_mirrors/me/MedicalGPT