关键词：大模型，LLM，OpenAI，GPT，LLaMA ...

最近调研主流开源大模型，并搭建实验环境，尝试在领域数据上进行finetuning，提纲式地整理了部分大模型信息，论文细节及实验过程后续再逐步整理出来。

生成式大模型调研（部分）

• OpenAI
  • chatGPT
    • 主要API: API name -- 基础模型
      • text-davince-003 -- GPT3(175B)
      • gpt-3.5-turbo-0301 -- GPT3.5，对应ChatGPT
      • code-davinci-002 -- CodeX(12B)
  • GPT4（需开通Plus）
    • API: gpt-4/gpt-4-0314/gpt-4-32k/gpt-4-32k-0314
    • 基础模型：GPT4
• 开源模型
  • LLaMa(7B/13B/33B/65B)（英语）：1.4T Tokens，2048*A100/80G*21day
    • 衍生模型：stanford-alpaca
      • 指令微调 + text-davince-003生成数据52K，epoch=3, 8*A100/80G，用时3小时
      • 低资源版本
        • alpaca-lora
          • 指令微调，RTX4090（24G）数小时训练
          • 使用lora方法，固定LLaMA参数，迭代更新lora参数
          • 主要衍生模型
            • chinese-alpaca-lora(cn)：https://github.com/ymcui/Chinese-LLaMA-Alpaca
              • gpt-3.5-turbo样本生成，7B：ISF + 2M数据，13B：ISF+3M数据
            • Luotuo-Chinese-LLM(cn)：https://github.com/LC1332/Luotuo-Chinese-LLM
              • 数据及训练不详细
            • baize-chatbot(en)：https://github.com/project-baize/baize-chatbot
              • 54K/57K/47K dialogs from Quora, StackOverFlow and MedQuAD questions
            • Vicuna(en)：https://github.com/lm-sys/FastChat
              • ShareGPT收集7w对话数据，上下文长度从alpaca的512扩展到2048 + SFT
  • BLOOMZ(1B/3B/7B/176B)(多语言)
    • 衍生模型：BELLE(7B)(cn)：https://github.com/LianjiaTech/BELLE
      • 以LLAMA/BLOOM为基础模型，加入不同的数据量分布进行训练，并引入不同的优化方法，有对比评测结果，可以重点参考，ISF + 1.5M微调数据
    • 衍生模型：FireFly(3B)(cn)：https://github.com/yangjianxin1/Firefly
      • 基础模型bloom-1b4-zh/2b6-zh + ISF + 23个任务115W微调数据 + Belle 50w微调数据
  • GLM(6B/130B)（中文）：https://models.aminer.cn/
    • ChatGLM-6B：https://github.com/THUDM/ChatGLM-6B
      • 目前开源模型中在中文上表现最佳（MOSS之前试用）
  • MOSS-16B(中文)：https://github.com/OpenLMLab/MOSS
• 医学领域GPT模型
  • ChatDoctor(en)：https://github.com/Kent0n-Li/ChatDoctor
    • 以LLAMA为底座模型，在stanford alpaca基础上，进行指令再微调，并引入lora加快训练
    • IFS+100k+10k+5k+52k
  • Huatuo-Llama-Med-Chinese(cn): https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
    • 使用gpt3.5接口对cMeKG知识库构建8k条问答数据，参考alpaca-lora进行指令微调训练，同时提供了基于ChatGLM(6B)的模型
  • BioMedLM: https://crfm.stanford.edu/2022/12/15/pubmedgpt.html
    • 使用Pubmed医学学术文档重新训练的领域大模型
  • BioMedGPT: https://github.com/BioFM/OpenBioMed
    • 清华AIR发布的生物医学(制药)领域的大模型1.6B

附幕布脑图链接 密码: yhr6