解决qwen2 7B回复乱码问题
在LM studio中使用qwen2时遇到了回复乱码问题，总是回复很多GGGGGG。在LM studio修改设置即可让qwen2正常工作
·
在LM studio中使用qwen2时遇到了回复乱码问题，总是回复很多GGGGGG
通过网络搜索，都说是llama.cpp的问题，需要设置flash attention。
在LM studio的界面中找到对应选项，界面的右侧model initialization展开后，选中flash attention。重新加载模型，即可让qwen2正常工作，而且速度特别快。
你也来试试吧！
欢迎加入 MCP 技术社区！与志同道合者携手前行，一同解锁 MCP 技术的无限可能！
更多推荐
4
0- 0
已为社区贡献1条内容
所有评论(0)