为什么多轮问答场景的盘古大模型微调效果不好

当您的目标任务是多轮问答，并且使用了多轮问答数据进行微调，微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查：

• 数据格式：多轮问答场景需要按照指定的数据格式来构造，问题需要拼接上历史所有轮对话的问题和回答。比如，当前是第三轮对话，数据中的问题字段需要包含第一轮的问题、第一轮的回答、第二轮的问题、第二轮的回答以及第三轮的问题，答案字段则为第三轮的回答。以下给出了几条多轮问答的数据样例供您参考：

  原始对话示例：

  A：你是谁？
  B：您好，我是盘古大模型。
  A：你可以做什么？
  B：我可以做很多事情，比如xxxx
  A：你可以讲个笑话吗？
  B：当然可以啦，以下是xxxx
  A：可以把这个笑话改成xxxx
  B：好的，以下是修改后的xxxx

  基于 MA Studio 进行盘古模型训练的所需数据格式示例为：

  [{"context": "你是谁？", "target": "您好，我是盘古大模型。"}, {"context": "你可以做什么？", "target": "我可以做很多事情，比如xxxx"}, {"context": "你可以讲个笑话吗？", "target": "当然可以啦，以下是xxxx"}, {"context": "可以把这个笑话改成xxxx", "target": "好的，以下是修改后的xxxx"}]

  

  多轮问答场景的输入是数组格式，至少由一组问答对构成。形式为[{"context":"context内容1","target":"target内容1"},{"context":"context内容2","target":"target内容2"}]，其中context、target分别表示问题、答案。例如：

  原始对话示例：

  A：xxx号话务员为您服务！
  A：先生您好，有什么可以帮助您的？
  B：你好，是这样的
  B：我家里上不了网了
  B：网连不上
  A：先生，您家的网络无法连接是吗
  A：请问您尝试重新插拔网线吗？
  B：是的，我试了
  B：还是不行

  基于 MA Studio 进行盘古模型训练的所需数据格式示例为：

  [{"context": "xxx号话务员为您服务！ 先生您好，有什么可以帮助您的？", "target": "你好，是这样的 我家里上不了网了 网连不上"}, {"context": "先生，您家的网络无法连接是吗 请问您尝试重新插拔网线吗？", "target": "是的，我试了 还是不行"}]

• 数据质量：若数据格式没有问题，仍然发现模型效果不好，您可以根据具体问题针对性的提升您的数据质量。比如，随着对话轮数的增加，模型出现了遗忘，可以检查构造的训练数据中轮数是否普遍较少，建议根据实际情况增加数据中的对话轮数。