多模态AI智能法医临床辅助鉴定系统及鉴定方法

本发明属于智能法医鉴定，具体涉及一种多模态ai智能法医临床辅助鉴定系统及鉴定方法。

背景技术：

1、目前现实鉴定过程中会出现鉴定机构案件积压严重或人手不足、不同委托方式有不同流程和要求、非专业鉴定机构鉴定结果不被广泛认可、不同地区和机构有不同的执行标准等问题，增加操作复杂性，影响鉴定效率，延长鉴定时间。

2、同时，伤残鉴定通常需要由专业人员进行操作，鉴定人员需要依据伤残人员的主观说明、客观的证明材料来判断相关人员的伤残等级。实际进行伤残鉴定的过程中时常带有鉴定人的主观认识。例如，有部分单位出于自身利益考虑，要求鉴定机构降低伤残等级评定，此类现象严重影响伤残鉴定工作的公正性，很难保证伤残鉴定结果的准确性。

3、线上伤残鉴定服务平台便应运而生，但目前市场上部分司法鉴定平台仍主要依靠人工鉴定，未解决鉴定结果主观性较强的问题，且大部分平台存在准确率较低的问题。首先，其模型的自然语言处理技术较弱，不能适应不同文本的分类任务，语言表达能力、可解释性与灵活性较低，且不专注于句子之间的连贯性与逻辑关系；同时，部分平台并未与权威司法鉴定中心合作，训练模型使用的数据较少且专业性较差，导致结果准确率较低。

技术实现思路

1、为解决现有技术存在的技术问题，本发明提供了一种多模态ai智能法医临床辅助鉴定系统，引入智能阅片分析技术，为鉴定人进行伤残等级鉴定提供智能辅助工具，将非人工阅片精确度大大提升。

2、本发明还提供了一种多模态ai智能法医临床辅助鉴定方法，减少鉴定人主观因素的干扰，深入分析伤者的伤残情况并迅速给出初步鉴定结果。

3、为实现上述目的，本发明所采用的技术方案为：多模态ai智能法医临床辅助鉴定系统，包括引入模块、上传鉴定资料模块、项目确定模块、查体模块、等级判定模块、收费模块和特色增值服务模块；

4、引入模块包括登录单元和介绍单元，登录单元用于鉴定人在网页上进行登陆系统的操作，介绍单元用于平台提供具体的法医项目介绍；

5、上传鉴定资料模块包括病历相关资料单元、简要相关案情单元和患者伤情陈述单元，病历相关资料单元用于鉴定人上传伤者病历和诊断报告，简要相关案情单元用于鉴定人向平台提供当事人的简要案情，患者伤情陈述单元用于患者陈述病况及感受；

6、项目确定模块包括识别单元、推荐单元和确定单元，识别单元通过roberta自然语言处理模型来识别鉴定人上传的具体信息，推荐单元通过知识图谱与卷积神经网络分析并给出伤者适用的鉴定项目，确定单元用于鉴定人从推荐项目中确定所做的具体项目；

7、查体模块包括查体单元、功能损伤评定单元和机构上传材料单元，查体单元用于伤者做查体，功能损伤评定单元用于鉴定人应用平台关节活动度指引与三维点云创伤面积测量模型来分析伤者功能损伤情况，机构上传材料单元用于鉴定机构将查体内容、伤者功能损伤情况及x光片上传至平台上；

8、等级判定模块包括资料分析单元、法律法规参考单元、鉴定等级判定公布单元和用户确认单元，资料分析单元用于平台运用算法和智能阅片技术对机构上传的患者病例、x光片、查体报告进行分析，法律法规参考单元用于平台根据现行法医临床鉴定的行业规范及等级判定的法律法规进行参考评定，鉴定等级判定公布单元用于平台基于资料分析结果和法律法规给予用户最终鉴定等级，用户单元用于鉴定人对平台给予的鉴定结果进行确认；

9、收费模块包括费用录入单元、缴费单元和缴费确认单元，费用录入单元由平台综合服务项目及内容确定鉴定费用，并将信息反馈到缴费单元，缴费单元用于鉴定机构进行缴费操作，并将缴费信息反馈给缴费确认单元，缴费确认单元用于判断缴费是否成功，对未成功缴费的案件缴费确认单元自动撤回鉴定申请，并将信息反馈到缴费单元，对成功缴费的案件移交到鉴定模块；

10、特色增值服务模块包括专家咨询单元、司法知识科普单元和线下查体单元，专家咨询单元用于专家在平台上注册，用户可根据需求选择平台签约专家进行相关司法咨询，司法知识科普单元以社区模块的形式推送相关案例及司法鉴定知识科普；线下查体单元用于异地、行动不便的当事人和司法鉴定机构到当地代替机构查体。

11、其中，识别单元包括文本输入单元和特征提取单元，文本输入单元对客户上传的不同类型资料分析处理并映射为文本向量，得到文本的输入表征，模型输入由词嵌入、位置编码和分割编码组成；

12、roberta自然语言处理模型使用多头自注意力机制来并行处理信息，允许模型在不同的表示子空间中捕捉信息；

13、依据输入表征x：，分别乘三个不同权值的参数矩阵wq、wk、wv，分别得到query向量q、key向量k和value向量v；

14、为向量计算得分score：score＝qkt；

15、将得分score除以将得分score归一化，dk表示k的长度；

16、对归一化后的得分score施以softmax激活函数；

17、softmax激活后点乘v，得到加权的每个输入表征x：的评分v；

18、将所有输入表征x的评分v相加之后得到最终输出结果z，z＝∑v；

19、对于每个头的自注意力计算表示为：

20、

21、式中，attention(q，k，v)为一个自注意力机制针对一个输入词的嵌入向量的输出，利用11个不同的自注意力机制集成得到多头注意力机制的输出，q表示查询，k表示键，v表示值矩阵。

22、其中，在自注意力层之后，roberta自然语言处理模型使用一个前馈网络来进一步处理信息，每个神经元的输出值都是基于前一层神经元的输出值、连接权重和偏置项计算得到，前馈网络表示为：

23、ffn(x)＝max(0,w1x+b1)w2+b2

24、式中，w1、w2为权重参数矩阵，b1、b2为偏置项参数；

25、权重矩阵w和偏置向量b在网络的训练过程中，通过反向传播算法进行更新以优化网络性能。

26、其中，在前向传播阶段，输入数据通过神经网络得到输出，每一层神经元的输出为输入与权重的线性组合经过激活函数后的结果，第i层的第j个神经元的输出为：

27、

28、其中，表示从第i-1层的第k个神经元到第i层的第j个神经元的权重，表示第i层的第j个神经元的偏置；

29、计算误差：使用代价函数计算网络输出值与实际值之间的误差，样本x的误差e为：

30、

31、其中，yj表示期望的输出，表示网络的实际输出，o表示输出层的索引；

32、反向传播误差：从输出层开始，反向传播误差到隐藏层，计算每一层的误差项，输出层的误差项为：

33、

34、其中，表示输出层第j个神经元的输入加权和；

35、对于隐藏层，误差项通过下一层的误差项和权重进行递归计算：

36、

37、roberta自然语言处理模型由多个transformer编码器层堆叠而成，每个transformer编码器层均包含自注意力机制和前馈网络；

38、分别对输入的样本的n个特征求均值和方差，得到n个均值和方差，用这n个均值和方差对n个样本来做归一化，归一化的公式如下：

39、

40、

41、式中，μi表示第i个样本的特征均值，xij表示第i个样本的第j个特征，表示第i个样本的特征方差；

42、设计评分函数s(x，y)≤u(x，δ)，v(y，δ)＞来获得与伤残描述文本匹配的等级评定依据；

43、式中，u(x，δ)表示经过模型处理的伤残描述的输入嵌入向量，v(y，δ)表示经过模型处理的等级评定依据嵌入向量，即包括多头注意力机制和transform架构提取文本特征得到的权重参数矩阵，将矩阵w1、矩阵w2、偏置项参数b1、偏置项参数b2、参数矩阵wq、参数矩阵wk、参数矩阵wv统一用模型参数δ表示为模型参数；

44、通过二者余弦相似度来求得两个嵌入向量的相似度，获得与伤残描述匹配的等级评定依据，余弦相似度的计算公式如下：

45、

46、最终模型的输出部分表示为一个概率分布，该分布反映了文本属于各个类别的可能性，这个输出向量中的每个元素对应于一个类别的预测概率，通过应用softmax函数，将这些原始得分转换为概率分布，使得所有类别的概率之和为1，最终，模型会选择概率最高的类别作为伤残文本的等级预测类别；

47、其中，b是分类层的权重，b是分类层的偏置，xout是经过transformer编码器处理后的最终输出；

48、在训练过程中，使用交叉熵损失函数来优化模型参数，损失函数表示为：

49、h(p,q)＝-σp(x)log(q(x))

50、其中，p(x)表示真实数据的分布，q(x)表示模型的预测分布，∑表示对所有类型进行求和。

51、多模态ai智能法医临床辅助鉴定方法，具体步骤为：

52、步骤一、对伤残描述进行数据预处理，去除停用词，对文本进行清洗；

53、步骤二、对文本进行等级标注分为一到十级伤残和不构成伤残，将标注好的文本作为模型训练的数据，最终得到伤残等级鉴定模型；

54、其中，在功能损伤评定单元中，关节活动度测量指引为通过事先录制的视频引导机构测量并解释检查要点，进行不同部位检测时，将通过弹窗方式按步骤弹出说明视频，三维点云创伤面积测量模型用于提取图像创面3d表型信息；

55、通过运动恢复结构对智能平台获取的图像进行处理，获取点云数据，采用颜色特征阈值分割算法实现点云去噪，采用聚类算法实现点云分割，采用滚球算法对点云进行表面重建，得到网格模型以实现创伤面积的计算；

56、使用sfm算法从创伤的二维图像中恢复出三维结构，通过匹配不同视角下的图像特征点、估计相机的运动以及场景中的结构，将三维点云的位置和相机姿态作为优化参数建立代价函数，求解代价函数的最优解来对三维点云和相机姿态进行全局优化，得到整体结构最优的三维点云和相机姿态；

57、建立的目标函数为：

58、argmin∑ni＝σ||ui-kpix||2

59、其中，x表示三维坐标，ui表示观测到的图像点，k表示内参数矩阵，pi表示第i幅图像对应的相机矩阵；

60、得到三维模型后，使用阈值分割算法来区分创伤区域和正常组织，通过设定一个或多个阈值，将密度、强度或属性值落在特定范围内的区域标记为创伤区域，使用k-means聚类算法对创伤进行进一步划分，根据属性值聚类成不同的组织类型，识别出创伤区域；

61、使用滚球算法来平滑分割结果，并填充小的孔洞，通过计算得到单个网格三角形的面积求得创伤面积，计算网格面积公式为：

62、s＝σra(r)

63、式中，a表示每个三角网格的面积，r表示三角网格序号,s表示伤口总面积，n表示三角网格总数，通过伤口的三维模型比例尺的比例变换得出创伤面积的计算值；

64、利用全卷积神经网络对ct图像进行识别与分析，通过建立诊断和鉴别诊断模型标识出图像的感兴趣区，对可疑部位进行标识，记录患者之前就医的ct资料，进行原始数据累积，自动学习患者资料并建立数据模型，特异性地给出未显现病灶发病风险概率。

65、其中，利用全卷积神经网络对ct图像进行标识，包括数据预处理、模型训练以及后处理与标识输出；

66、图像切片：将ct图像切分成二维的切片并输入到全卷积神经网络中；

67、归一化：对图像进行归一化处理，将图像的像素值缩放到一个特定的范围内；

68、模型训练将预处理后的ct图像切片输入到全卷积神经网络中，经过一系列的卷积和池化操作得到特征图，卷积计算公式表示为：

69、

70、其中，s(i,j)表示输出特征图，i表示输入图像，k表示卷积核，i和j表示输出特征图的坐标，m和n表示卷积核的坐标；

71、反向传播和优化：根据模型输出和真实标签之间的误差，通过反向传播算法更新fcn的权重参数、后处理与标识输出；

72、上采样：通过转置卷积方式改变卷积核的大小以恢复原始图像的分辨率；

73、阈值处理：对上采样后的特征图进行阈值处理，将像素值超过一定阈值的区域标识为目标区域；

74、结果输出：将标识后的结果叠加到原始的ct图像上，形成带有标识的ct图像；

75、鉴定等级判定公布单元根据内置鉴定意见书模板自动匹配对应内容，文书内容包括系统生成部分、文字内容固定部分、鉴定人员输入部分，鉴定意见书模板自动生成部分文本。

76、本发明与现有技术相比，具体有益效果体现在：本发明将多个相关技术改良后引入平台，提高系统完整性；本发明运用roberta模型，自然语言处理算法平均准确率大于85％，本发明运用人工智能阅片技术将非人工阅片精准度提升至96％，两种技术的结合为后续伤残等级确定提供高效、高质量损伤基础判定。

77、本发明改良并使用三维点云的创面面积计算、关节活动度测量技术线上精准分析出伤者功能评定结果，鉴定人在平台指引下进行对伤者的查体和功能损伤评定，将相关资料完善并上传，得出准确率较高的等级评定结果辅助鉴定机构作参考决策，提高鉴定效率，减少鉴定结果受鉴定人主观因素的影响。同时，鉴定人通过本系统对案件进行鉴定文书书写，也有利于提高鉴定人的工作效率。