工具介绍

• 有很多不同的AI领域的模型厂商、云服务平台、聚合平台和本地工具，下面是一些对比数据。这些模型调用方式可能不一样，一般有自己的调用sdk，但现在大部分模型都会兼容openAI的规范

ollama安装

登录官网
https://ollama.com/

• 安装完了之后，命令行ollama -h，看到下面的界面说明OK了
  
• 可以使用ollama pull qwen3:0.6b命令拉取你qwen3 0.6b的模型，然后使用ollama run qwen3:0.6b即可跑起来
• 然后我们可以使用sdk连接到本地跑起来的模型试一下效果，注意ollama默认模型服务会运行在11434端口，baseUrl需要设置为http://localhost:11434，https://github.com/cloudwego/eino-ext/blob/main/components/model/ollama/chatmodel.go

ollamaCli, err := ollama.NewChatModel(ctx, &ollama.ChatModelConfig{
	BaseURL: "http://localhost:11434",
	Model:   "qwen3:0.6b",
})
if err != nil {
	return nil, fmt.Errorf("failed to create ollama client: %w", err)
}

备注

• ollama pull的模型来源是ollama模型库，这里的模型都是gguf格式的专用于本地运行，它只有一些精品模型，没有hugging face上的全面。如果需要最新的模型或者某些特定模型，还是需要从hugging face上下载