技术特征：
1.一种数据收集方法，其特征在于，包括以下步骤：s01、建立初始对话框树；s02、对对话框树中的一个节点进行采样，并使采样获得的数据样本内容多样化；s03、遍历步骤s02中所选择的节点的每一个父节点，制作一个完整的对话历史记录；s04、注释步骤s02所选节点的答案，使得对话框树得到扩展，并得到新的对话列表，对话列表包括步骤s03中制作的对话历史记录以及本步骤中注释的答案；s05、重复步骤s02-s04，直至对话列表的数量达到预设值；所述步骤s02具体为：s201、对用户配置文件进行采样：根据现有对话数据，计算当前用户的概率分布p(u
i
|d
i
)，u
i
是当前轮次用户档案的分布，d
i
是当前轮次对话数据，i是当前轮的轮次，i>1，计算公式如下：p(u
i
|d
i
)=p(u
i-1
|d
i-1
)p(u
i-1
|α0)α0是超参数；采用贝叶斯推理的方法从后验分布中以一系列事件的形式进行采样，参与变量包括上一次采样的对话数据d
i-1
和用户档案分布u
i-1
以及上一轮的用户分布概率p(u
i-1
|d
i-1
)；由此得到本轮的用户档案分布u
i
和本轮的对话数据d
i
；基于当前用户的概率分布确定本轮对话的内容分布：式中，u指u
i
中具体一个用户的属性，是本轮对话的内容；s202、重复步骤s201直至对话的总轮次超过聚类阈值之后，运行对话内容聚类，公式如下：式中，α和β为超参数，在聚类之前，先利用gibbs采样算法对真实的概率分布进行近似，获得w、z、π和θ，公式如下：π~dir(β)θ~dir(α)w~mulit(π)z~mulit(θ)式中，dir为狄利克雷分布采样，mulit为多重正态分布采样；聚类结束后判断对话的总轮次是否达到目标阈值，如果达到目标阈值则进入步骤s203，否则跳转到步骤s201继续采样；s203、计算所采集的数据的系统困惑度，如果系统困惑度小于困惑度阈值，则进入步骤s204，否则本次采样结束；s204、基于测试人员的结果和每组数据的困惑度采样，公式如下：
h是熵，x是当轮对话内容，z是下一轮对话内容；~ppl(x)为针对x的困惑度采样结果；然后跳转到步骤s203。2.根据权利要求1所述的一种数据收集方法，其特征在于，所述步骤s203中，计算所采集的数据的系统困惑度具体为：通过ai模型对于所采集的数据进行预测，并将预测的概率分布和正确答案进行对比，从而得到困惑度。3.根据权利要求1所述的一种数据收集方法，其特征在于，首轮用户档案的分布u1、首轮对话数据d1和首轮的用户分布概率p(u1|d1)从初始对话框树中直接得到。4.根据权利要求1或2所述的一种数据收集方法，其特征在于，当会话被标上重复标记后，采样引擎减少该会话后期被采样的概率；当会话被标记为特别对话后，采样引擎提高此会话采样的优先级。5.根据权利要求1所述的一种数据收集方法，其特征在于，所述聚类阈值为10000-20000。6.根据权利要求1或5所述的一种数据收集方法，其特征在于，所述目标阈值为100000-200000。7.一种数据收集装置，运行有权利要求1所述的数据收集方法，其特征在于，包括：用户页面：包含用户个人资料和对话历史记录的会话分配给用户页面；用户角色注释者读取用户个人资料、说明以及给定的对话历史记录；用户角色注释者在个人资料中假装一个人，并通过打字或讲话进行响应；用户角色注释者提交语音后，用户页面上展示新的会话；提交的对话将保存到会话数据库中，并且已保存的会话将在专家页面上采样；新会话将提供给用户角色注释者；此新会话包含完全不同的对话历史记录和用户配置文件，用户角色注释者会再次读取指令，用户配置文件和对话历史记录；专家页面：包含对话历史记录的会话分配给专家页面；专家角色注释者在专家页面上响应；专家页面包括快捷按钮、以前的系统操作以及元数据库中的产品列表；阅读对话历史记录后，专家角色注释者做出响应；专家页面向专家角色注释者提供建议；如果正确的答案在建议中，专家角色注释者将选择其中之一；否则，专家角色注释者在控制面板中找到或在文本框中键入；基于此选择，装置估算当前性能，并根据当前性能选择不同的采样策略；提交后，将显示新的对话框历史记录；测试页面：测试页面提供了一个简单的用户界面，带有用于测试器的文本输入框；当对话数据的数量足以训练模型并且性能超过特定数量时，将开始测试器模式；通过专家从模型建议中选择建议的比率来获得性能；测试人员提供两种反馈：话语水平反馈和对话水平反馈；“点赞”为正向提供话语水平反馈，反之亦然；对话水平反馈是通过李克特量表评估人机交互系统的总体性能：自然性，智能性和总体得分；评估页面：评估者页面提供了来自真实用户的对话日志；评估者查看对话框的每一轮之后，他们单击“点赞”以记录特别好的响应，并单击“差评”来记录错误的答复；这些反馈将保存在反馈数据库中，以通过应用强化学习训练来改进模型。
技术总结
本发明公开了一种数据收集方法及装置，其方法为：S01、建立初始对话框树；S02、对对话框树中的一个节点进行采样，并使采样获得的数据样本内容多样化；S03、遍历步骤S02中所选择的节点的每一个父节点，制作一个完整的对话历史记录；S04、注释步骤S02所选节点的答案，使得对话框树得到扩展，并得到新的对话列表，对话列表包括步骤S03中制作的对话历史记录以及本步骤中注释的答案；S05、重复步骤S02-S04，直至对话列表的数量达到预设值。采样时基于当前收集的数据点数量采用不同的方式。本方案适用于人机交互类AI模型训练数据的收集。机交互类AI模型训练数据的收集。机交互类AI模型训练数据的收集。
技术研发人员：赵天成
受保护的技术使用者：宏龙科技（杭州）有限公司
技术研发日：2022.02.18
技术公布日：2022/3/18