终极指南：GPTeacher四大核心数据集（General-Instruct到Toolformer）对比分析

【免费下载链接】GPTeacher A collection of modular datasets generated by GPT-4, General-Instruct - Roleplay-Instruct - Code-Instruct - and Toolformer 项目地址: https://gitcode.com/gh_mirrors/gp/GPTeacher

GPTeacher是一个由GPT-4生成的模块化数据集集合，包含General-Instruct、Roleplay-Instruct、Code-Instruct和Toolformer四大核心数据集，为AI模型训练提供了丰富多样的高质量数据支持。

一、General-Instruct数据集：全面的通用指令集合

General-Instruct数据集是GPTeacher项目的基础组成部分，它在Alpaca数据集的基础上进行了扩展和优化。该数据集包含约20,000个示例，采用简单去重方式处理。

与Alpaca相比，General-Instruct不仅使用了许多相同的种子提示，还特别增加了链思维推理、逻辑谜题、文字游戏、轻度角色扮演等内容。在示例响应中，还适当包含了背后的推理过程和思考步骤，使数据更具深度和启发性。

相关文件路径：Instruct/gpt4-instruct-dedupe-only-dataset.json、Instruct/gpt4-instruct-similarity-0.6-dataset.json、Instruct/gpt4-instruct-similarity-0.7-dataset.json、Instruct/gpt4-instruct-similarity-0.8-dataset.json、Instruct/gpt4-instruct-similarity-0.9-dataset.json

二、Roleplay-Instruct数据集：沉浸式角色扮演体验

Roleplay-Instruct数据集专注于让模型扮演各种虚构和非虚构角色，涵盖不同的场景和性格特点。

最新的Roleplay V2（补充）数据集已添加到/roleplay/目录，该版本具有以下特点：

• 仍然100%由GPT4生成
• 比原始角色扮演数据集大2.5倍
• 多样性更高
• 在很大一部分示例中包含模拟对话/聊天历史

相关文件路径：Roleplay Supplemental/roleplay-instruct-v2.1.json、Roleplay/roleplay-simple-deduped-roleplay-instruct.json

三、Code-Instruct数据集：编程学习与实践的理想选择

Code-Instruct数据集包含约5350个不同编程语言的代码任务指令，为AI模型的代码生成能力训练提供了丰富素材。无论是Python、Java还是其他编程语言，都能在这个数据集中找到相应的训练示例。

相关文件路径：Codegen/codegen-instruct.json

四、Toolformer数据集：智能工具使用能力训练

Toolformer数据集旨在训练模型使用一系列预定义工具，包括搜索、Python、终端/ shell、维基百科、Wolfram等。通过该数据集的训练，AI模型能够更好地理解和使用各种工具来解决复杂问题。

相关文件路径：Toolformer/toolformer-dedupe-only-dataset.json、Toolformer/toolformer-similarity-0.6-dataset.json、Toolformer/toolformer-similarity-0.7-dataset.json、Toolformer/toolformer-similarity-0.8-dataset.json、Toolformer/toolformer-similarity-0.9-dataset.json

五、数据集的共性与使用方法

除Roleplay外，每个数据集都分为5个独立的数据集，基于相似度评分进行清洗。包括简单去重，以及从<60%到<90%的相似度清洗集。

所有数据集都符合Alpaca的数据集格式，即每个条目都有instruction、input和output字段，这使得使用与Alpaca相同的微调脚本和流程变得更加容易。

如果您想使用这些数据集，可以通过以下命令克隆仓库：

git clone https://gitcode.com/gh_mirrors/gp/GPTeacher

项目中还提供了一个json2markdown.py脚本，可以将JSON格式的数据集转换为Markdown格式，方便查看和使用。脚本路径：json2markdown.py

通过对GPTeacher四大核心数据集的对比分析，我们可以根据具体的训练需求选择合适的数据集，为AI模型的能力提升提供有力支持。无论是通用指令理解、角色扮演、代码生成还是工具使用，GPTeacher都能提供高质量的训练数据。

【免费下载链接】GPTeacher A collection of modular datasets generated by GPT-4, General-Instruct - Roleplay-Instruct - Code-Instruct - and Toolformer 项目地址: https://gitcode.com/gh_mirrors/gp/GPTeacher