更新时间:2024-07-16 GMT+08:00
分享

问答模型训练(可选)

为了让问答机器人更加智能,回答更加准确,您可以通过训练模型来提升问答机器人的效果。

问答训练通过用户问法对机器人进行测试,在匹配问题的返回结果中,按相似度得分进行倒序排序,正确匹配的问题出现在前一、三、五位中的占比将作为衡量模型效果的指标,数值越高代表模型效果越好。

高级版、专业版、旗舰版机器人支持问答模型训练。

您可通过添加更多扩展问或改用其他类型的模型来提高指标。包含以下三种训练模型:

  • 默认模型:修改知识库内容后自动生效。
  • 轻量级深度学习模型:修改知识库内容后需训练模型发布生效。
  • 重量级深度学习模型:修改少量知识库内容无需重新训练发布,但会导致问答变慢,模型运行中时单击更新按钮即可;当知识库语料变更较大时导致模型效果下降,需重新训练模型。

新建模型

  1. 在机器人列表,单击机器人的ID或者“机器人管理”按钮,进入知识库 > 问答训练页面。
  2. “模型管理”页面中,单击“新建”,弹出提示框,选择“轻量级深度学习”“重量级深度学习”模型,单击“下一步”
    图1 新建模型
    • 轻量级深度学习:增加扩展问并使用该模型进行训练从而提高问答精准度,扩展问越多,效果提示越明显。

      高级版、专业版、旗舰版机器人支持轻量级深度学习。

    • 重量级深度学习:适用于对问答精准度要求很高的场景,扩展问越多,效果提升越明显。

      旗舰版机器人默认支持重量级深度学习。

      专业版和高级版机器人如果需要使用重量级深度学习,需要先单击“重量级深度学习”,然后单击“联系我们”
      图2 重量级深度学习
  3. 编辑模型信息。
    • 轻量级深度学习:选填“模型描述”
      图3 轻量级深度学习
    • 重量级深度学习:选择量级“中量级”“重量级”,选填“模型描述”
      • 中量级:训练时长约为轻量级的3-5倍;模型精度较轻量级提升约20%~30%(实际情况受语料以及扩展问数量影响)。
      • 重量级:训练时长较长,约为中量级的2~3倍;模型精度较中量级提升约3%~5%(实际情况受语料以及扩展问数量影响)。
  4. 单击“训练”,模型将在后台启动训练,模型的状态可以在历史版本列表中查看。

上线模型

创建好的模型,需要发布上线,才能生效。发布指定模型后,会替代当前的线上模型版本。

  1. 在模型管理页面,在需要上线的版本的操作列单击“发布上线”
    图4 发布上线
  2. “上线模型”对话框中,确认模型信息后,单击“确认”上线模型。
    图5 确定发布

调整阈值

训练好的模型可以通过调整阈值,影响机器人直接回答的准确率。阈值越高,机器人越严谨,对用户问的泛化能力越弱,识别准确率越高;阈值越低,机器人越开放,对用户问的泛化能力越强,识别准确率越低。

针对历史版本的模型,可以根据当前模型调节直接返回答案的阈值。

  1. “模型管理”页面,在模型列表的操作列单击“调整阈值”
    图6 调整阈值
  2. 如下图所示,您可以根据实际需求,选择合适的阈值,然后单击“确定”
    • 用户问法与标准问的相似度大于直接回答阈值时,直接返回相应答案。
    • 用户问法与标准问的相似度大于推荐问阈值时(小于直接回答阈值),返回相似度较高的标准问给用户再次确定用户意图。
    • 用户问法与标准问的相似度小于推荐问阈值时,返回识别失败回复话术。
    图7 设置阈值

调整阈值效果示例

  • 阈值调整前,推荐问阈值为0.6,直接回答阈值为0.8,输入用户问“我可以去哪办理”,机器人返回相似度得分大于0.8的标准问给用户,并推荐相似度得分大于0.6的标准问:
    图8 阈值调整前

    单击“查看JSON”,查看具体的相似度得分。

    图9 查看相似度得分
  • 阈值调整后,推荐问阈值为0.7,直接回答阈值为0.9,输入用户问“我可以去哪办理”,语料库中没有与用户问相似度得分高于0.9的标准问,机器人返回相似度得分高于0.7的标准问:
    图10 阈值调整后

    单击“查看JSON”,查看具体的相似度得分。

    图11 查看相似度得分

相关文档