该集合首先在和中使用后者相对

ditihekhatun16

于取得了显着的改进。我们表明在所有测试的评估基准上在该集合上训练模型的性能优于可比较的公共集合例如大规模多任务语言理解评估套件中的项任务提高了以上提高了硬。分析表明这些改进既源于更大更多样化的任务集也源于应用一组简单的训练和数据增强技术这些技术便宜且易于实施混合零样本少样本和思维链提示训练通过输入反转丰富任务以及平衡任务混合。这些方法共同使生成的语言模型能够更有效地推理任意任务即使是那些没有看到任何微调示例的任务。我们希望公开这些发现和资源将加速对更强大和通用语言模型的研究。公共指令调整数据收集年以来多个指令调优任务集合接连发布如下时间线所示。

最近的研究尚未围绕一套统一的技术结合起来其中包括不同的任务集模型大小和输入格式。这个新合集以下称为将和的先前合集与新对话程序综合和复杂推理任务相结合。公共指令调  格鲁吉亚电话号码列表 优集合的时间表包括和。该表描述了发布日期任务集合名称模型名称使用该集合进行微调的基本模型模型大小生成的模型是公共绿色还是非公共红色是否他们使用零样本提示少样本提示思维链提示一起或单独进行训练数量中该集合中的任务数量示例总数以及这些作品中使用的与集合相关的一些值得注意的方法。请注意任务和示例的数量在不同的假设下会有所不同因此近似值也会有所不同。每个计数均使用各自作品中的任务定义来报告。




除了扩展到更具指导性的训练任务之外还将训练与不同类型的输入输出规范相结合包括仅指令零样本提示带有任务示例的指令少样本提示以及要求解释并给出答案思路提示。除了利用专有数据集合的之外是第一个公开展示在训练期间将这些提示设置混合在一起的强大好处的作品。训练期间混合提示设置可以改善推理时的所有提示设置而不是在各种设置之间进行权衡如下所示对于微调任务集中保留和保留的任务。与零样本和少样本提示模板联合训练可以提高保留任务和保留任务的性能。星星表示每个设置中的最佳性能。红线表示零样本提示评估淡紫色表示少样本提示评估。评估指令调整方法为了了解将一种指令调优集合替换为另一种指令调优集合的整体效果我们在流行的公共指令调优集合包括和指令上对同等大小的模型进行了微调。