配置:A100 32G

推理代码可正常运行

微调使用官方给的微调代码,仅修改模型参数路径

问题1:加载权重莫名其妙被killed,无法查看内核日志

解决:用top -c查看所有的进程,可以看到有命令行的全部kill

问题2:Tokenizer class QWenTokenizer does not exist or is not currently imported.

定位到文件

/root/.local/lib/python3.8/site-packages/transformers/models/auto/tokenization_auto.py

看别的分享llama也有这种情况,是transformer版本导致的

trust_remote_code为False

为Ture可以来使用带有自定义代码的模型,因此怀疑是这行代码有问题

引用【 trust_remote_code=False 的意思是,即使在本地目录中没有找到分词器和模型文件,也不会从远程存储库下载它们。如果找不到这些文件,会抛出错误。】

Logo

欢迎加入 MCP 技术社区!与志同道合者携手前行,一同解锁 MCP 技术的无限可能!

更多推荐