专利名称:实现降低数据量传输的桥梁数据推理约简方法
技术领域:
本发明涉及一种桥梁协同设计或动力灾变集成系统中降低数据量传输的数据约简方法,尤其涉及一种用于协同设计或动力灾变环境下桥梁的智能化数据处理情况下的桥梁数据推理约简方法。
背景技术:
数据约简是在保持分类和决策能力的前提,去掉数据中不相关或者不重要的信息。冗余的数据不仅浪费存储空间,甚至影响精确和简介的决策。数据约简对海量数据是不可避免的,它已包括抽样和综合两种途径。
抽样是最常用的减少样本数的方法。抽样是指对数据样本的精选,它不仅能减少数据处理量,节省系统资源,而且能通过数据样本的筛选,要它反映的规律性更加凸现出来。也就是说,原则上抽样是在保证抽取数样具有代表性、保证数据不变形之上,完成数据约简功能。但是,由于样本分布通常是未知的,抽样的代表性是难以保证的。
综合方法是试图产生和内存大小的数据,综合的数据可以是统计出来的,也可以是利用压缩技术得到的。抽样和综合可以互为补充。从现有文献来看,目前数据约简的研究主要集中于不具备特定专业背景的海量数据约简,具有一定的通用性,但效率偏低。
以现有的桥梁设计为例,桥梁工程的发展对桥梁设计提出了网络化协同设计的需要。但是在网络化协同设计过程中,通常在各个设计者所在的终端之间通过网络需要传输大量数据,比如现场采集到的各项数据、实验数据等,以某一抗震设计模型为例,包括单元数674(含空间杆单元,支座单元),节点数713个(含集中荷载、集中质量),经100年10%和100年3%两个概率的反应谱分析后,产生的数据量为347.6MB。若甲工作人员将其数据传送至乙工作人员,需要占用大量的网络资源,特别容易造成网络阻塞。
发明内容
本发明的目的在于提供一种实现降低数据量传输的桥梁数据推理约简方法,以解决现有技术中桥梁数据在传输过程中占用大量的网络资源,特别容易造成网络阻塞的技术问题。
为了达到上述目的,本发明提供了一种实现降低数据量传输的桥梁数据推理约简方法,用于降低发送端和接收端通过网络传输数据的数据量,包括以下步骤 (一)在发送端和接收端分别进行推理约简的设计 (1)发送端构造发送端属性向量
其中ai∈A; (2)发送端构造发送端属性幂集, (3)接收端将参与桥梁协同设计的各个阶段按时间排序,构造接收端设计阶段向量
(4)接收端定义接收端向量
数据约简的相似度阀值为t;设发送端属性集合为As,接收端属性集合为Ar,As与As与Ar的相似度记为推理相似度,推理相似度的定义为 其中αmax为协同设计信息接收方所需的最大属性量,C为约简函数 (5)接收端构造接收端属性矩阵W=[wi,j]m×n,其中wi,j为第i个设计阶段中aj属性的作用度,wi,j∈{0,1},aj∈Ar; (6)发送端进行数据约简的算法设计 A1设当前处于设计阶段i; A2如果wi,j=1;即,该设计阶段的第j个属性的值能够由发送端的某些属性x,通过约简函数C获得; A3计算约简值 A4把属性aj添加到接收端属性矩阵Ar中; A5计算接收端属性的相似度; A6输出接收端属性矩阵 (二)发送端将数据按照步骤(一)进行约算后发送至接收端, 其中,A1各变量意义,D设计数据系统,U设计数据的非空有限集合,A非空有限的条件属性集合,d不同于A中属性的引申约简属性,V约简后的非空设计数据集,V=YVa(a∈AY{d}),Va基于属性a完成约简后的数据集,f映射函数U×(AY{d})→V,As发送端属性向量,ai发送端的某一个条件属性,ρ(As)发送端幂集,
接收端设计阶段向量,b1,b2,ΛΛ,bm接收端的第一、第二、第m设计阶段,Ar接收端属性向量,t相似度阀值,αmax协同设计信息接收方所需的最大属性量,C约简函数,W=[wi,j]m×n接收端构造接收端属性矩阵,wi,j第i个设计阶段中aj属性的作用度,取值为0或1;i接收端设计阶段序号,取值从1~m;l接收端属性序号;j发送端属性序号,取值从1~n;
接收端属性aj的取值;Ar→As的相似度。
步骤(6)是通过下述的软件编程实现的 for(i=1→m){ l=1; for(j=1→n){if(wi,j=1){
与现有技术相比,本发明针对现有技术中存在的不足,结合桥梁设计领域知识,提出一种基于知识的数据约简方法,简称为KDR,使其达到降低桥梁数据量的目的,从而大幅度降低网络数据传输的负载。
图1为本发明桥梁数据推理约简步骤的流程图; 图2为本发明具体实施例的一种示例图。
具体实施例方式 桥梁协同设计这一块是目前国家重点研究的项目,以本申请人申请这个专利所在项目为例,它是在国家自然基金重大研究计划中的90715030,重大工程动力灾变模拟系统集成的关键技术研究;它还是上海市自然科学基金中的06zr14079,桥梁协同设计新计算模式的信息共享与安全控制;它也是上海市教委科技基金,06oz030,大型桥梁协同安全控制的评价策略研究。
本发明主要是通过以下技术方案实现,本发明基于设计知识构建协同设计中数据之间的关联,并将其标记为可约简分项,执行完毕后,将可约简的部分删除。
一种实现降低数据量传输的桥梁数据推理约简方法,用于实发送端和接收端通过网络传输数据的数据量,其特征在于,包括以下步骤 S110在发送端和接收端分别进行推理约简的设计 S210、设计数据系统D定义为一个四元组<U,AY{d},V,f>,其中U是设计数据的非空有限集合;A是非空有限的条件属性集合;d是不同于A中属性的引申约简属性;V是约简后的非空设计数据集,V=YVa(a∈AY{d}),Va是基于属性a完成约简后的数据集;f为映射函数U×(AY{d})→V S220发送端构造发送端属性向量
其中ai∈A; S230发送端构造发送端属性幂集, S240接收端将参与桥梁协同设计的各个阶段按时间排序,构造接收端设计阶段向量
S250接收端定义接收端向量Ar数据约简的相似度阀值为t;设发送端属性集合为As,接收端属性集合为Ar,As与As与Ar的相似度记为推理相似度,推理相似度的定义为 其中αmax为协同设计信息接收方所需的最大属性量,C为约简函数 S260接收端构造接收端属性矩阵W=[wi,j]m×n,其中wi,j为第i个设计阶段中aj属性的作用度,wi,j∈{0,1},aj∈Ar; S270发送端进行数据约简的算法设计 A1设当前处于设计阶段i; A2如果wi,j=1;即,该设计阶段的第j个属性的值能够由发送端的某些属性x,通过约简函数C获得; A3计算约简值 A4把属性aj添加到接收端属性矩阵Ar中; A5计算接收端属性的相似度; A6输出接收端属性矩阵 步骤S270可以由以下所编的程序实现 for(i=1→m{) l=1; for(j=1→n{) if(wi,j=1){
S120发送端将数据约算后发送至接收端。
本发明的目的是对桥梁协同设计系统或动力灾变集成系统中群体间数据传输量进行压缩。
实施例1 以桥梁协同设计为例,首先建立桥梁协同设计系统中设计群体间的协同关系,以桥梁抗震设计与桥梁结构设计群体之间协同的数据传输为分析对象;然后选择桥型,以斜拉桥设计为案例来说明如何完成数据约简的。
某斜拉桥,抗震设计模型中包括单元数674(含空间杆单元,支座单元),节点数713个(含集中荷载、集中质量),以桥梁结构设计群体向桥梁抗震设计群体传送数据一个单元数据为例,该单元界面如图2所示 (1)29个数据分别为390,70.7,170,216.8,216.3,170,71.2,390,22,55,26,22,20,383.1,361.1,70,70,394.9,416.9,65,390,56.6,225.9,175,175,224.1,58.4,390,800。
发送端属性向量为[390,70.7,170,216.8,216.3,170,71.2,390,22,55,26,22,20,383.1,361.1,70,70,394.9,416.9,65,390,56.6,225.9,175,175,224.1,58.4,390,800]; (2)属性幂集为{(390,70.7,170,216.8,216.3,170,71.2,390,22,55,26,22,20,383.1,361.1,70,70,394.9,416.9,65,390,56.6,225.9,175,175,224.1,58.4,390,800)}; (3)接收端向量为
本实施例所处阶段为“抗震建模”; (4)接收端向量
为[a1,a2,a3],其中a1表示构件截面面积,a2,a3分别表示截面两个互相垂直方向的截面惯性矩;相似度阀值t一般≥95%,本实施例中取为99%; (5)接收端属性矩阵为 (6)各变量取值 本实施例中i取值为1; 本实施例中j取值为1~3; 本实施例中w1,1=1,w1,2=1,w1,3=1 属性幂集ρ(As)={(390,70.7,170,216.8,216.3,170,71.2,390,22,55,26,22,20,383.1,361.1,70,70,394.9,416.9,65,390,56.6,225.9,175,175,224.1,58.4,390,800)}; C为约简函数,本实施例中取为对附图2的积分; l=1~3 Ar[1]=a1,Ar[2]=a2,Ar[3]=a3; t=99% 在桥梁结构设计群体中描述该截面的数据共29个,以双精度类型存储需占用空间29×4=116B,传统的桥梁设计中需要把这29个数据传送到桥梁抗震设计群体,而应用本发明提出的方法, 在抗震建模阶段只需要传送3个数据,总体数据量为3×4=12B,总体压缩率为(1-12/116)×100%=89.7%。
以上公开的仅为本发明的几个具体实施例,但本发明并非局限于此,任何本领域的技术人员能思之的变化,都应落在本发明的保护范围内。
权利要求
1、一种实现降低数据量传输的桥梁数据推理约简方法,用于降低发送端和接收端通过网络传输数据的数据量,其特征在于,包括以下步骤
(一)在发送端和接收端分别进行推理约简的设计
(1)发送端构造发送端属性向量
其中ai∈A;
(2)发送端构造发送端属性幂集,
(3)接收端将参与桥梁协同设计的各个阶段按时间排序,构造接收端设计阶段向量
(4)接收端定义接收端向量数据约简的相似度阀值为t;设发送端属性集合为As,接收端属性集合为Ar,As与As与Ar的相似度记为推理相似度,推理相似度的定义为
其中αmax为协同设计信息接收方所需的最大属性量,C为约简函数
(5)接收端构造接收端属性矩阵W=[wi,j ]m×n,其中wi,j为第i个设计阶段中aj属性的作用度,wi,j∈{0,1},aj∈Ar;
(6)发送端进行数据约简的算法设计
A1设当前处于设计阶段i;
A2如果wi,j=1;即,该设计阶段的第j个属性的值能够由发送端的某些属性x,通过约简函数C获得;
A3计算约简值
A4把属性aj添加到接收端属性矩阵Ar中;
A5计算接收端属性的相似度;
A6输出接收端属性矩阵;
(二)发送端将数据按照步骤(一)进行约算后发送至接收端,
其中,A1各变量意义,D设计数据系统,U设计数据的非空有限集合,A非空有限的条件属性集合,d不同于A中属性的引申约简属性,V约简后的非空设计数据集,V=YVa(a∈AY{d}),Va基于属性a完成约简后的数据集,f映射函数U×(AY{d})→V,As发送端属性向量,ai发送端的某一个条件属性,ρ(As)发送端幂集,接收端设计阶段向量,b1,b2,ΛΛ,bm接收端的第一、第二、第m设计阶段,Ar接收端属性向量,t相似度阀值,αmax协同设计信息接收方所需的最大属性量,C约简函数,W=[wi,j]m×n接收端构造接收端属性矩阵,wi,j第i个设计阶段中aj属性的作用度,取值为0或1;i接收端设计阶段序号,取值从1~m;l接收端属性序号;j发送端属性序号,取值从1~n;接收端属性aj的取值;Ar→As的相似度。
2、如权利要求1所述的实现降低数据量传输的桥梁数据推理约简方法,其特征在于,步骤(6)是通过下述的软件编程实现的
for(i=1→m){
l=1;
for(j=1→n){
if(wi,j=1){
if(
x∈ρ(As),|x|>1,Cx→aj)
{Ar[l]=aj;l++;}
if()
Output(i,
)}}
3、如权利要求1或2所述的实现降低数据量传输的桥梁数据推理约简方法,其特征在于,接收端向量为
4、如权利要求3所述的实现降低数据量传输的桥梁数据推理约简方法,其特征在于,接收端属性矩阵为
5、如权利要求4所述的实现降低数据量传输珠桥梁数据推理约简方法,其特征在于,i取值为1;j取值为1~3;w1,1=1,w1,2=1,w1,3=1。
全文摘要
一种实现降低数据量传输的桥梁数据推理约简方法,用于降低发送端和接收端通过网络传输数据的数据量。它主要是利用桥梁设计过程中涉及的领域知识(如规范知识、常识)来实现桥梁协同设计群体间传输数据的约简,即由知识入手提取协同设计数据之间的关联,并以此关联为依据实现数据约简,以此来保证数据不变形,完成数据约简功能,进而降低网络传输的数据量。
文档编号H04L12/54GK101345692SQ20081004140
公开日2009年1月14日 申请日期2008年8月5日 优先权日2008年8月5日
发明者明 陈, 刘钰杰 申请人:明 陈, 刘钰杰