技术特征：
1.一种基于神经网络架构搜索技术的对话文本情景划分方法，其特征在于，包括以下步骤：步骤一：对话文本句向量转换，训练一个用于捕获对话语义信息的句向量模型，在句向量模型构建完成后，利用模型将对话文本语句转换为同一维度的句向量特征；步骤二：将对话文本按照语义特征划分为若干段落，构建分段模型，将对话文本分段作为序列标注任务，使用三个分段符号标识一个文本段落；在分段模型中使用条件随机场crf约束最后输出分段符号之间的先后顺序，并基于神经网络架构搜索技术搜索一种用于捕获对话语义信息的循环神经网络rnn结构；步骤三：将离散的文本段落按照对话情景划分，基于dbscan算法提出一种对话段落情景聚类算法进行对话文本聚类，并通过调控密度半径和样本阈值调整最后的聚类效果，最后形成的聚类簇即可视为划分好的对话情景。2.根据权利要求1所述的一种基于神经网络架构搜索技术的对话文本情景划分方法，其特征在于，所述步骤一具体包括以下子步骤：步骤11：构建对话文本句向量模型dsimcse的训练样本数据集；步骤12：以正样本对的目标函数作为句向量模型的训练目标，对句向量模型进行训练，正样本对的目标函数如下式所示：其中s
i
表示正样本对中的原始语句，s
+i
表示正样本对中的新语句，m表示对话语句个数，t表示温度超参数，sim表示余弦相似度函数；对于负样本对，将正样本对的训练目标取相反后对句向量模型进行训练；步骤13：将对话语句输入对话文本句向量模型dsimcse进行句向量特征转换，获得对话语句对应的句向量特征。3.根据权利要求2所述的一种基于神经网络架构搜索技术的对话文本情景划分方法，其特征在于，所述步骤11包括以下步骤：步骤111：将同一篇对话文本中的不同语句作为负样本对；步骤112：在构建正样本对时，对于每条对话语句，首先通过词性判别器识别出对话语句中词性为名词或动词的单词，通过对这类单词进行重复得到新的语句，将新语句与原始语句作为一组正样本对。4.根据权利要求1所述的一种基于神经网络架构搜索技术的对话文本情景划分方法，其特征在于，所述步骤二具体包括以下子步骤：步骤21：通过基于强化学习的神经网络架构搜索方法搜索一种新型循环神经网络架构drnn，用于捕获对话句向量中的语义信息；步骤22：在drnn的输出特征矩阵之后接一层使用条件随机场crf来约束分段符号之间的顺序，其中<s>表示段落开始语句，<m>表示段落中间的语句，<e>表示段落结束语句；对于已知输入对话序列dialogue＝{s1,s2,...,s
m
}，经过crf输出的分段标记符号为t＝{t1,t2,...,t
m
}，则t的得分可如下式所示：
其中，score(s,t)表示分段标记符号t的得分，a表示crf的转移矩阵，p表示输出的概率矩阵；当训练完成后，确定crf的转移矩阵参数；输出所有序列得分并取序列得分最大的序列作为对话句向量的最终语义输出，具体如下式所示：其中，t
s
表示输入对话序列s时可以输出的所有分段标记序列；步骤23：在训练集上优化对分段模型的参数进行优化；步骤24：在验证集上对控制器的参数进行优化；步骤25：得到对话文本的分段结果。5.根据权利要求4所述的一种基于神经网络架构搜索技术的对话文本情景划分方法，其特征在于，所述步骤21包括以下子步骤：步骤211：将drnn的搜索空间定义为一个有着n个节点的有向无环图，图中的每个节点代表一个激活函数计算节点，节点之间的有向边表示着信息的流动方向；边的起始节点代表输入特征，边的终止节点表示输出特征，从输入特征到输出特征的计算由终止节点上的激活函数决定；步骤212：通过控制器控制drnn的搜索过程，分两个时间步来搜索drnn结构上的计算节点信息；在搜索节点i时，第一个时间步确定当前节点的前驱节点，确保前驱节点已经先于节点i被搜索；第二个时间步确定节点i上需要的激活函数。6.根据权利要求4所述的一种基于神经网络架构搜索技术的对话文本情景划分方法，其特征在于，所述步骤23包括以下子步骤：步骤231：固定控制器参数；步骤232：控制器搜索一个drnn架构；步骤233：通过drnn架构捕获对话语义信息，并输出最后的crf结果，计算分段损失，如下式所示：步骤234：优化分段模型的参数。7.根据权利要求4所述的一种基于神经网络架构搜索技术的对话文本情景划分方法，其特征在于，所述步骤24包括以下子步骤：步骤241：固定drnn中特征节点上的参数；步骤242：控制器搜索多个drnn架构；步骤243：通过表现最好的drnn计算控制器损失；
步骤244：优化控制器的参数。8.根据权利要求1所述的一种基于神经网络架构搜索技术的对话文本情景划分方法，其特征在于，所述步骤三包括以下子步骤：步骤31：对于最后得到段落语句向量集合s＝{s1,s2,..,s
m
}，s
i
∈r
n
，使用段落语句均值表示整个段落向量，如下式所示：步骤32：遍历段落集合，对于两个段落s
i
和s
j
，通过下式计算两者之间的距离：步骤33：通过调控密度半径和样本阈值获得核心段落集合，并将密度相连的核心段落聚为一类视为一个不同的情景；步骤34：重复步骤33，获得所有划分好的对话情景。9.根据权利要求8所述的一种基于神经网络架构搜索技术的对话文本情景划分方法，其特征在于，所述步骤33包括以下子步骤：步骤331：初始化核心段落集合为空，依次遍历各个段落，并计算核心段落与其他段落之间的距离，统计各个段落在密度半径eps以内的相邻段落，如果相邻段落个数大于等于样本阈值minpts，将其加入核心段落集合中；步骤332：依次遍历核心段落集合，将核心段落密度半径eps之内的段落聚为一类，并从核心段落集合中删去这些段落。
技术总结
本发明公开了一种基于神经网络架构搜索技术的对话文本情景划分方法，方法包括：对话文本句向量转换，构建句向量模型将对话文本语句转换为同一维度的句向量特征；将对话文本按照语义特征划分为若干段落，构建分段模型，将对话文本分段作为序列标注任务，使用三个分段符号标识一个文本段落；在模型中使用CRF约束最后输出分段符号之间的先后顺序，并基于神经网络架构搜索技术搜索循环神经网络RNN结构；将离散的文本段落按照对话情景划分和对话文本聚类，并调整最后的聚类效果形成聚类簇。本发明解决了训练样本短缺的问题，对于对话文本领域一些下游任务能提供更好的支持，有着更强的对话语义捕获能力，可以更好地将对话文本按照情景进行划分。照情景进行划分。照情景进行划分。
技术研发人员：林劼 李赛鹏 姜铼 王元芳 肖新宇 梁玉龙
受保护的技术使用者：电子科技大学
技术研发日：2022.05.10
技术公布日：2022/10/18