更新时间:2022-05-06 GMT+08:00
分享

问答诊断

当问答机器人上线运营期间,用户在问答过程中出现问题时,您可以使用用户问在问答诊断页面,查看分词情况、排序情况、闲聊答复等,基于调试结果,对已有的知识库、词典、数据标注或模型进行优化。

高级版、专业版、旗舰版机器人支持问答诊断功能。

  1. 在机器人列表,单击机器人的ID或者“机器人管理”按钮,进入的知识库 > 问答训练页面。
  2. 单击“问答诊断”进入处理页面。
  3. 输入“用户问”“问题类别”,单击“Debug”

    其中“问题类别”可以设置多个,最多设置10个,也可以不设置问题类别进行诊断。

  4. 界面显示“分词结果”“短语匹配”“初筛结果”“重排序结果”“闲聊结果”的匹配结果。
    图1 问答诊断
    表1 问答诊断参数说明

    参数名称

    参数说明

    分词结果

    显示用户问的分词结果,即分词后的有效词语。

    短语匹配

    当用户问的分词结果与知识库中语料的问题或扩展问分词结果一致时,显示该问题的具体信息。

    说明:

    只需与分词结果中的词语一致,不区分词语顺序。请参见 短语匹配示例了解详情。

    初筛结果

    根据用户问,使用自研搜索引擎,搜索知识库中的问题及扩展问,并按相似得分降序展示搜索结果。

    初筛是比较粗略的相似度匹配算法,快速的召回一批比较有可能的问题,然后利用重排序算法去精确排序。初筛一般更关心词语是否出现,重排序对顺序、词组等的特征会综合考虑。

    重排序结果

    根据初筛结果,对用户问进行语义识别,并根据相似度得分重新排序,按得分倒序展示结果。

    说明:

    “score”的范围为0~1。请参见 初筛结果和重排序结果对比示例了解初筛结果和重排序结果的不同。

    闲聊结果

    当重排序结果的最高相似度得分低于一定阈值时,系统会根据预置的闲聊问答语料进行匹配,并展示匹配到的闲聊问题及答案。

    请参见 闲聊结果示例了解详情。

    • 短语匹配示例
      此示例中,分词结果与问题完全匹配,此时将显示此问题的语料ID、问题、扩展问、以及答案等信息。
      图2 分词结果完全匹配
    • 初筛结果和重排序结果对比示例
      此示例中,初筛结果排序最高的得分为13.297,重排序结果排序最高的得分为0.842,从匹配出的语料可以看出,重排序匹配后的内容与用户问的匹配度更高。
      图3 初筛结果和重排序结果对比
    • 闲聊结果示例
      此示例中,咨询“你叫什么”,从知识库中匹配出的答案,其得分全部低于推荐问阈值(例如,0.65),此时将返回闲聊或兜底的答案给客户。
      图4 闲聊匹配结果

相关文档