问答模型训练(可选)
为了让问答机器人更加智能,回答更加准确,您可以通过训练模型来提升问答机器人的效果。
问答训练通过用户问法对机器人进行测试,在匹配问题的返回结果中,按相似度得分进行倒序排序,正确匹配的问题出现在前一、三、五位中的占比将作为衡量模型效果的指标,数值越高代表模型效果越好。
高级版、专业版、旗舰版机器人支持问答模型训练。
您可通过添加更多扩展问或改用其他类型的模型来提高指标。包含以下三种训练模型:
- 默认模型:修改知识库内容后自动生效。
- 轻量级深度学习模型:修改知识库内容后需训练模型发布生效。
- 重量级深度学习模型:修改少量知识库内容无需重新训练发布,但会导致问答变慢,模型运行中时单击更新按钮即可;当知识库语料变更较大时导致模型效果下降,需重新训练模型。
新建模型
- 在机器人列表,单击机器人的ID或者“机器人管理”按钮,进入 页面。
- 在“模型管理”页面中,单击“新建”,弹出提示框,选择“轻量级深度学习”或“重量级深度学习”模型,单击“下一步”。
图1 新建模型
- 编辑模型信息。
- 轻量级深度学习:选填“模型描述”。
图3 轻量级深度学习
- 重量级深度学习:选择量级“中量级”或“重量级”,选填“模型描述”。
- 中量级:训练时长约为轻量级的3-5倍;模型精度较轻量级提升约20%~30%(实际情况受语料以及扩展问数量影响)。
- 重量级:训练时长较长,约为中量级的2~3倍;模型精度较中量级提升约3%~5%(实际情况受语料以及扩展问数量影响)。
- 轻量级深度学习:选填“模型描述”。
- 单击“训练”,模型将在后台启动训练,模型的状态可以在历史版本列表中查看。
上线模型
创建好的模型,需要发布上线,才能生效。发布指定模型后,会替代当前的线上模型版本。
- 在模型管理页面,在需要上线的版本的操作列单击“发布上线”。
图4 发布上线
- 在“上线模型”对话框中,确认模型信息后,单击“确认”上线模型。
图5 确定发布
调整阈值
训练好的模型可以通过调整阈值,影响机器人直接回答的准确率。阈值越高,机器人越严谨,对用户问的泛化能力越弱,识别准确率越高;阈值越低,机器人越开放,对用户问的泛化能力越强,识别准确率越低。
针对历史版本的模型,可以根据当前模型调节直接返回答案的阈值。
- 在“模型管理”页面,在模型列表的操作列单击“调整阈值”。
图6 调整阈值
- 如下图所示,您可以根据实际需求,选择合适的阈值,然后单击“确定”。
- 用户问法与标准问的相似度大于直接回答阈值时,直接返回相应答案。
- 用户问法与标准问的相似度大于推荐问阈值时(小于直接回答阈值),返回相似度较高的标准问给用户再次确定用户意图。
- 用户问法与标准问的相似度小于推荐问阈值时,返回识别失败回复话术。
图7 设置阈值
调整阈值效果示例
- 阈值调整前,推荐问阈值为0.6,直接回答阈值为0.8,输入用户问“我可以去哪办理”,机器人返回相似度得分大于0.8的标准问给用户,并推荐相似度得分大于0.6的标准问:
图8 阈值调整前
单击“查看JSON”,查看具体的相似度得分。
图9 查看相似度得分
- 阈值调整后,推荐问阈值为0.7,直接回答阈值为0.9,输入用户问“我可以去哪办理”,语料库中没有与用户问相似度得分高于0.9的标准问,机器人返回相似度得分高于0.7的标准问:
图10 阈值调整后
单击“查看JSON”,查看具体的相似度得分。
图11 查看相似度得分