一种应用于市域监测的基于深度学习的调频广播信号频谱监测方法及系统与流程

本发明涉及一种基于深度学习的调频广播信号频谱监测方法及系统，其中涉及数字信号处理技术、时间卷积网络、语音识别技术、多模态融合深度学习，属于物联网与人工智能的交叉领域。

背景技术：

1、调频广播频段频谱日常监测和违法违规行为查处是无线电监管工作的重要组成部分，常见的违法违规现象主要有：授权电台的超功率、超频率发射和擅自设置的非法调频广播电台即“黑广播”。特别是近年以来，国家对公众广播中的医药广告进行严格管理，很多违规药品广告通过“黑广播”的方式向公众传播，随着设备制造成本的迅速下降，此类违法电台呈泛滥趋势，给公众财产和社会稳定产生重大威胁，造成恶劣社会影响。

2、在早期，无线电管理机构通常通过人工观察的方式开展调频广播频段频谱日常监测工作，对于“黑广播”信号需要采用人耳听的方式来进一步收集广播信息，并依赖这些监听者的经验来判断广播是否合法。然而，人工监听方式存在明显的不足：过于依赖人工，消耗大量人力资源，造成高昂成本；信息获取和判断速度较慢，存在大量重复性工作，导致效率低、实时性差；人的主观性导致监测精度较低，监测范围受限。依赖人工监听非法调频广播不符合信息时代的特征，其效率低、成本高、实时性差。因此，用自动化的监测算法替代人力，以提高监测效率和准确率，已成为信息时代的必然要求。近年来，非法电磁信号监测的相关研究已成为信号处理领域的热门话题。

3、信号处理领域在早期通过采集空中射频信号并经过处理，以频谱图、瀑布图、余晖图等可视化方式呈现。专业人员通过分析信号的时频特征以及寻找目标信号。然而，这种技术对操作人员的专业素质要求较高，且在监测时间延长或者调频广播信号增多时，人工分析的效率和准确性也会显著降低。目前，广受欢迎的调频广播信号识别方式是由本领域专家首先选取信号的关键特征，如功率谱密度的最大值等时/频域信号特征。接着，利用传统的信号处理算法计算这些特征参数的值，最终通过固定规则或机器学习的方法进行分类。通常情况下，一个模型需要选择其中的几项甚至十几项特征作为输入，由此产生的计算复杂度较高，难以在实际应用中得到有效部署。同时，受到信号波形多样性和多径衰落效应的影响，这种方式在特征选择和判决准则方面也存在普适性不足的问题。

4、近年来，很多研究团队将人工智能的手段融合到非法调频广播监测中。主要技术包括深度学习信号处理，语音识别、文本分类。调频广播信号识别本质上也属于一种特殊的模式识别，通过利用人工智能中的机器学习方法，尤其是深度学习算法，可以实现对无线电波的自动提取模式特征，避免依赖基于经验的人工特征提取，从而显著提高在复杂电磁环境下调频广播信号的识别能力。针对调频广播分类领域中存在的复杂多变的信号特征，传统方法往往难以全面准确地进行分类。深度学习中的多模态融合技术(multimodalityfusion technology，mft)是模型在执行分析和识别任务时处理不同形式数据的过程。对于异常调频广播信号的监测，多模态数据的融合可为模型提供更丰富的信息，从而提高决策的准确性。举例而言，违法违规调频广播信号包括授权电台的超功率、超频率发射和擅自设置的非法调频广播电台即“黑广播”。其中“黑广播”播放的内容未经有关部门审核，往往播放虚假广告、低俗节目，使社会公众上当受骗，影响青少年身心健康，一旦有违法分子发布黑广播，必须第一时间监测到，并做出反应。本系统提出的方法根据调频广播信号构建的频谱图快速判断违法违规信号，更进一步的，通过语音转文本生成广播内容，利用文本分析模型与频谱图结合的多模态模型能有力的从三种类型的违规违法调频广播信号识别出黑广播。在这一领域，多模态融合技术致力于构建能够处理和关联来自不同模态信息的模型，因此，成为一个跨学科的研究热点。这种方法的逐步发展有望为异常调频广播信号的监测带来更为精准和可靠的解决方案。

技术实现思路

1、为了解决上述背景技术中存在的技术问题，本发明提出了一种应用于市域监测的基于深度学习的调频广播信号频谱监测方法及系统。

2、本发明提出的调频广播信号的多模态融合涵盖了频谱图和中频分析转换得到的语音信号转成的文本，针对调频广播信号产生的频谱图，构建一种基于长短时记忆神经网络的图像卷积网络模型，识别违法违规调频广播信号(包括授权电台的超功率、超频率发射和擅自设置的非法调频广播电台即“黑广播”)。其中，黑广播的检测需要进行语音转文本操作以识别广播内容，更进一步，利用textcnn提取文本信息，通过与之前的频谱图信息融合进行多模态融合深度学习网络对监测到的调频广播信号进行分类判断，自动监测其违法违规类型，尤其是监测其是否为黑广播。这种分析监测方法旨在结合频谱图的视觉信息和语音信号转换的文本信息，以提高对调频广播信号的综合理解和识别能力。通过将这两种模态的数据相互关联，可以实现更全面、准确的信号分析。

3、为了实现上述目的，本发明采用如下技术方案：

4、一种基于深度学习的调频广播信号频谱监测方法，包括：

5、cnn+lstm特征表示：对调频广播信号转成的频谱图进行预处理后，输入训练后的cnn与lstm的融合深度学习网络即频谱图特征提取模型，得到调频广播信号的图像表征信息；

6、textcnn特征表示：对中频分析后的语音信号的文本信息进行处理，输入训练后的textcnn(text convolutional neural network)模型即文本特征提取模型进行文本特征提取，获取文本的词向量特征表示；

7、多模态融合：得到的图像表征信息和词向量特征表示进行拼接，形成一个综合的多模态特征表示，包括频谱图和文本信息的丰富信息；

8、多层感知机分类：经过多层感知机(mlp)的分类层，对拼接后得到的综合的多模态特征表示进行最终的分类，实现调频广播信号监测及分类。

9、据本发明优选的，需要对处理后的频谱图进行分窗处理，即对处理后的频谱图以规定的窗口大小、窗口间隔进行滑动分窗。

10、根据本发明优选的，输入训练后的cnn与lstm的融合深度学习网络即频谱图特征提取模型，得到调频广播信号的图像表征信息，包括：

11、提取cnn特征：通过卷积神经网络(cnn)，对每个滑动窗口中的频谱图进行特征提取；

12、特征序列转换：将卷积神经网络提取的特征序列输入到长短时记忆网络(lstm)中进行特征序列转换；

13、特征表示输出：从长短时记忆网络中获取输出，形成对整个滑动窗口的综合特征表示。

14、进一步优选的，长短时记忆网络包括三个lstm层，分别用于建模不同层次的时间相关性；对于第i个lstm层，其输出hi和记忆细胞ci通过以下公式表示：

15、hi,ci＝lstmi(hi-1,ci-1,xi)

16、其中，xi是输入数据，hi-1和ci-1分别是上一时刻的隐藏状态和记忆细胞状态；长短时记忆网络的输出表示为：

17、lstm_output＝concat(h1,h2,h3)

18、其中，concat表示将三个lstm层的输出连接在一起，得到时间特征。

19、cnn特征被展平，与得到的时间特征连接；

20、连接后所得向量被馈送到模型的最后一个块，称为fusion块；fusion块包括三层全连接层；合并cnn特征和时间特征。

21、根据本发明优选的，对中频分析后的语音信号的文本信息进行处理，输入训练后的textcnn模型即文本特征提取模型进行文本特征提取，获取文本的词向量特征表示；包括：

22、语音转文本操作：通过中频分析得到的语音信号进行语音转文本操作；

23、文本预处理：对转换得到的文本进行预处理；

24、使用文本特征提取模型进行文本特征提取，获取文本的词向量特征表示。

25、进一步优选的，textcnn模型包括输入层、卷积层、池化层，最后将输出外接softmax来n分类。

26、根据本发明优选的，得到的图像表征信息和词向量特征表示进行拼接，形成一个综合的多模态特征表示，包括：

27、特征表示拼接：将cnn+lstm特征和textcnn特征拼接在一起，构建一个包含时空特征和语义信息的复合特征向量；

28、特征表示归一化：对拼接后的复合特征向量进行归一化操作；

29、特征表示映射：对归一化操作后的复合特征向量进行映射。

30、根据本发明优选的，构建非法调频广播信号分类模型，非法调频广播信号分类模型包括上文提及的频谱图特征提取模型、文本特征提取模型、多层感知机；通过反向传播算法，优化损失函数，更新非法调频广播信号分类模型参数，提高非法调频广播信号分类模型在训练数据上的性能。

31、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种基于深度学习的调频广播信号频谱监测方法的步骤。

32、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种基于深度学习的调频广播信号频谱监测方法的步骤。

33、一种基于深度学习的调频广播信号频谱监测系统，包括：

34、cnn+lstm特征表示模块，被配置为：对得到的频谱图进行预处理后，输入训练后的cnn与lstm的融合深度学习网络即频谱图特征提取模型，得到调频广播信号的图像表征信息，判断其是否为非法调频广播信号；

35、textcnn特征表示模块，被配置为：对中频分析后的语音信号的文本信息进行处理，输入训练后的textcnn模型即文本特征提取模型进行文本特征提取，获取文本的词向量特征表示；

36、多模态融合模块，被配置为：得到的图像表征信息和词向量特征表示进行拼接，形成一个综合的多模态特征表示，包括频谱图和文本信息的丰富信息；

37、多层感知机分类模块，被配置为：经过多层感知机的分类层，对拼接后得到的综合的多模态特征表示进行最终的分类，实现违法违规调频广播信号的具体区分，尤其是能准确快速的识别出黑广播。

38、本发明的有益效果为：

39、与现有技术相比，本发明在非法调频广播信号监测和黑广播快速鉴定领域具有显著的有益效果：

40、首先，采用cnn+lstm和textcnn两种模态进行特征提取，分别针对调频广播信号的频谱图和中频分析后的语音信号的文本信息进行处理，能够更全面、多样化地捕捉信号的时空关系和语义信息，从而提高了对复杂信号的理解和抽象能力。

41、其次，通过多模态融合，将来自两种模态的特征表示进行拼接，形成一个综合的多模态特征表示。这种融合策略有效地结合了频谱图和文本信息的互补性，提升了整体特征的丰富度和多样性。这使得模型在处理不同类型的调频广播信号时更具适应性和鲁棒性。

42、最后，通过引入多层感知机进行最终的分类，进一步提高了分类决策的准确性。多层感知机能够学习到更高层次的抽象特征，使得模型在面对复杂的信号场景时能够更好地进行分类和识别。

43、综上所述，本发明通过创新性地结合cnn+lstm和textcnn的多模态融合方法，以及引入多层感知机进行分类，实现了对非法调频广播信号，尤其是“黑广播”的更精准、高效的识别和分类，相较于现有技术具有更为优越的性能。