一种实验室数据数字化管理系统和方法与流程

1.本发明涉及实验室数据管理技术领域，具体涉及一种实验室数据数字化管理系统和方法。


背景技术：

2.在高校、科研机构或技术型企业中，实验室是基础研究和技术创新体系的重要组成部分，承担着实验教学和科学研究的双重任务。目前实验室对仪器设备的检定、校准、测试数据以及样品的检验数据主要依托第三方文本编辑工具为媒介进行记录和存储，在底层是以文档形式存储在数据库，造成实验室数据同信息化系统的割裂，无法直接与机构信息化系统进行交互，以原始记录为载体的数据存在管理、清洗、脱敏、挖掘、分析难度大、成本高、规范性不足等问题，无法满足海量实验数据间的复杂关联结构的特性挖掘需求。
3.现有的实验室数据记录主要存在以下两方面的问题：一方面是在前端数据交互过程中，原始记录的格式及内容经常随着业务场景的变化而变化，这就使得在交互前端需要给使用者提供充分的自主编辑权限。但如果依托office等第三方文本编辑工具，虽然给予使用者充分自主的编辑功能，但导致数据并非直接写在数据库，数据利用难度大。另一方面是在后端数据存储过程中，传统的sql数据库无法实现数据库表结构随前端原始记录格式变化而变化的效果，对于sql数据库来说，每一次格式的变化(尤其是列数据的变化)都是一次重新建表的过程，资源耗费巨大，带来巨大的数据冗余。
4.因此，需要提供一种实验室数据数字化管理系统和方法，能够实现实验室原始记录信息直接到数据库的数字化映射，提高实验室过程数据的可用性，以便对实验数据间的关联特性进行挖掘。


技术实现要素：

5.有鉴于此，有必要提供一种实验室数据数字化管理系统和方法，用以解决现有实验室数据管理时由于实验室原始记录主要以文档的形式存储在数据库，造成实验室数据的可用性较差、无法与其他信息化系统直接交互的问题。
6.为了解决上述问题，本发明提供一种实验室数据数字化管理系统，包括：
7.表单生成模块，用于利用电子表格控件在网页中配置表单模板，并根据所述表单模板生成自定义表单；还用于将所述表单模板和自定义表单发送至所述数据处理模块；其中，所述表单模板包括模板名称和表单布局，所述自定义表单包括表单模板和表单数据；
8.数据处理模块，用于接收所述表单模板和自定义表单，对所述模板名称、表单布局和表单数据进行解析，并根据所述表单布局得到所述表单模板的表单标识；
9.存储模块，用于根据所述表单标识和模板名称存储所述表单模板，根据所述表单模板和表单数据存储所述自定义表单。
10.进一步的，所述数据处理模块包括：解析单元和格式转换单元；
11.所述解析单元，用于对所述模板名称、表单布局和表单数据进行解析，创建所述表
单模板和自定义表单的识别标记；
12.所述格式转换单元，用于对所述表单模板和自定义表单进行格式转换，将表单数据与表单模板解绑，得到存储数据。
13.进一步的，所述数据处理模块还包括表单判断单元；
14.所述表单判断单元，用于根据所述表单标识判断表单模板是否存在关联的自定义表单；若存在，则确定所述表单模板无法更改；若不存在，则确定所述表单模板可以更改。
15.进一步的，所述表单布局包括数据采集单元格，所述数据采集单元格设置了数据内容和属性的预设输入规则。
16.进一步的，所述数据处理模块还包括数据判断单元；
17.所述数据判断单元用于判断所述自定义表单中数据采集单元格的录入数据是否符合所述预设输入规则；当不符合预设输入规则时，确认所述录入数据无效。
18.进一步的，所述系统还包括权限配置模块；
19.所述权限配置模块，用于对管理员账户、操作员账户和查询员账户进行创建、修改和删除；其中，所述管理员账户用于创建表单模板；所述操作员账户用于创建自定义表单；所述查询员账户用于查询已创建的自定义表单。
20.进一步的，所述电子表格控件至少包括spreadjs、luckysheet、xspreadsheet、koaexcel、vspread中的一种。
21.进一步的，所述存储模块至少包括关系型数据库、非关系型数据库和图数据库。
22.进一步的，所述表单生成模块通过请求/响应通信协议与所述数据处理模块进行通信连接；并将表单模板和自定义表单按照预设的数据传输格式进行传输。
23.本发明还提供一种实验室数据数字化管理方法，采用上述技术方案任一所述的实验室数据数字化管理系统，包括：
24.通过所述表单生成模块利用电子表格控件在网页中配置表单模板，并根据所述表单模板生成自定义表单；其中，所述表单模板包括模板名称和表单布局，所述自定义表单包括表单模板和表单数据；
25.通过所述表单生成模块将所述表单模板和自定义表单发送至所述数据处理模块；
26.通过数据处理模块接收所述表单模板和自定义表单，对所述模板名称、表单布局和表单数据进行解析，并根据所述表单布局得到所述表单模板的表单标识；
27.通过存储模块根据所述表单标识和模板名称存储所述表单模板，根据所述表单模板和表单数据存储所述自定义表单。
28.与现有技术相比，本发明的有益效果包括：首先，通过表单生成模块利用电子表格控件在网页中配置表单模板，并根据表单模板生成自定义表单；然后，通过数据处理模块对表单进行数据解析，并根据所述表单布局得到所述表单模板的表单标识；最后，通过存储模块根据表单标识、模板名称、和表单数据对表单模板和自定义表单进行存储。本发明通过电子表格控件对表单模板进行配置，在配置好的表单模板上实现自定义表单的创建，能够根据不同的业务场景将对表单的格式及内容进行改变，适应前端的录入需求；通过数据处理模块对表单数据进行解析后确定表单标识和表单数据，根据表单标识和表单数据对表单与存储模块进行数据化映射，在存储时将数据与表单解绑，无需关注前端表单的配置，有利于数据的后期利用。
附图说明
29.图1为本发明提供的一种实验室数据数字化管理系统一实施例的结构示意图；
30.图2为本发明提供的数据处理模块一实施例的结构示意图；
31.图3为本发明提供的一种二维数据记录表一实施例的示意图；
32.图4为本发明提供的一种一维数据记录一实施例的示意图；
33.图5为本发明提供的一种实验室数据数字化管理方法一实施例的流程示意图。
具体实施方式
34.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
35.在实施例描述之前，首先对本技术的发明构思进行说明。
36.实现过程中需要将字段/属性的名和值通过目标表格标识和对应值的方式在数据库进行映射，这种方式对结构简单、示意清晰的表单模板来说可行性较高，但对于实验室过程数据的记载，格式复杂(二维表格数据、表中套表形式)的技术数据无论是对于制作表单还是存储体量，都是不小的麻烦。
37.现有的实验室数据管理中，主要存在两方面问题：一方面是由于原始数据的格式及内容经常随着业务场景而改变，这就使得在交互前端需要给使用者提供充分的自主编辑权限，但第三方文本编辑工具是以文档形式存储在数据库，而数据并非直接写在数据库，因此实验数据利用难度大。另一方面，在后端进行数据存储时，传统的sql数据库无法实现数据库表结构随前端原始记录格式变化而变化的效果，每一次都是重新建表的过程，资源耗费巨大。
38.因此，本发明将前端的电子表格和后端的数据库进行数字化映射，实现实验室原始数据直接在数据库中以属性/字段的形式呈现，提高数据的可用性，为实验室过程数据的分析工作创造数据可用性条件。
39.本发明实施例提供了一种实验室数据数字化管理系统，如图1所示，图1是所述实验室数据数字化管理系统的结构示意图，包括：
40.表单生成模块101，用于利用电子表格控件在网页中配置表单模板，并根据所述表单模板生成自定义表单；还用于将所述表单模板和自定义表单发送至所述数据处理模块；其中，所述表单模板包括模板名称和表单布局，所述自定义表单包括表单模板和表单数据；
41.数据处理模块102，用于接收所述表单模板和自定义表单，对所述模板名称、表单布局和表单数据进行解析，并根据所述表单布局得到所述表单模板的表单标识；
42.存储模块103，用于根据所述表单标识和模板名称存储所述表单模板，根据所述表单模板和表单数据存储所述自定义表单。
43.本实施例提供的实验室数据数字化管理系统，首先，通过表单生成模块利用电子表格控件在网页中配置表单模板，并根据表单模板生成自定义表单；然后，通过数据处理模块对表单进行数据解析，并根据所述表单布局得到所述表单模板的表单标识；最后，通过存储模块根据表单标识、模板名称、和表单数据对表单模板和自定义表单进行存储。本实施例通过电子表格控件对表单模板进行配置，在配置好的表单模板上实现自定义表单的创建，能够根据不同的业务场景将对表单的格式及内容进行改变，适应前端的录入需求；通过数
据处理模块对表单数据进行解析后确定表单标识和表单数据，根据表单标识和表单数据对表单与存储模块进行数据化映射，在存储时将数据与表单解绑，无需关注前端表单的配置，有利于数据的后期利用。
44.作为优选的实施例，所述系统还包括权限配置模块，用于对管理员账户、操作员账户和查询员账户进行创建、修改和删除；其中，所述管理员账户用于创建表单模板；所述操作员账户用于创建自定义表单；所述查询员账户用于查询已创建的自定义表单。
45.作为优选的实施例，所述表单布局包括数据采集单元格，所述数据采集单元格设置了数据内容和属性的预设输入规则。
46.作为优选的实施例，如图2所示，所述数据处理模块102包括：解析单元201和格式转换单元202；
47.所述解析单元201，用于对所述模板名称、表单布局和表单数据进行解析，创建所述表单模板和自定义表单的识别标记；
48.所述格式转换单元202，用于对所述表单模板和自定义表单进行格式转换，将表单数据与表单模板解绑，得到存储数据。
49.下面通过一个具体的实施例对管理员用户创建表单模板的过程进行说明。
50.首先，在“表单模板自定义”网页的html代码中设置div标签区域作为网页控件的容器，引入电子表格控件，并为电子表格控件定制“选项编辑器”、“日期选择器”、“时间选择器”和“文件选择器”功能，方便用户使用。
51.管理员用户在浏览器中访问“表单模板自定义”页面，管理员可以为表单模板设置模板名称、在电子表格控件上编辑表单模板。其中，编辑操作包括：自定义输入内容的字体、大小、颜色和样式，自定义单元格的数据类型、对齐方式、拆分合并、背景色和边框，自定义行高和列宽，设置输入拆分合并单元格、字体、样式、对齐、边框、公式解析等。表单模板创建完成后，管理员用户保存该表单模板。
52.对于表单模板的数据采集单元格，预设输入规则包括对“数据类型”、“数据长度”、“是否可空”、“数据验证”等属性的限定。其中，“数据类型”可以为文本、数值、选项、日期、时间、文件、公式等。其中，若“数据类型”未定义，则默认为文本类型；若“数据长度”未定义，默认为可变长度；若选用的数据库产品不支持可变长度，则默认为最大长度；若“是否可空”未定义，则默认为可空。
53.作为一个具体的实施例，操作员用户根据表单模板进行自定义表单创建的过程如下：
54.操作员用户在浏览器中打开“表单模板列表”页面，数据处理模块从存储模块中读取所有的表单标识和模板名称，组织成“表单模板列表”页面返回给浏览器。
55.操作员打开页面中的某个表单模板，表单生成模块向数据处理模块提交所需表单标识。数据处理模块对该表单模板布局转换为录入模式，锁定非“数据采集单元格”以及“数据类型”为公式的单元格，去除网格线和坐标尺，添加完整性校验功能，将该表单模板布局组织成“表单录入”页面返回给浏览器。
56.操作员用户在“表单录入”页面上未锁定的单元格中录入表单数据，输入完成后生成自定义表单并保存，此时，数据处理模块将操作员创建的自定义表单与所述自定义表单使用的表单模板进行关联。
57.作为一个具体的实施例，在表单模板或自定义表单创建的过程中，针对原始记录格式中的二维数据记录格式，通过快速生成数列单元格方式，将其转换为一维数据表达。如图3所示，图3为原始记录的二维数据记录表；将所述二维数据记录表转换为一维数据表达后如图4所示。具体过程为：
58.首先解析初始单元格文本中是否含有数字，从中解析出固定文本嵌套序号，也就是字符串模板。如将“第1天”解析为“第{序号}天”。如果初始单元格含有数字，则以此数字作为起始序号。如果初始单元格含有多个数字，则以最后的数字为起始序号。通过此方法将数据直接在数据库中以属性/字段形式表现，提高数据可用性。
59.为保证已存表单与表单模板匹配无误，作为优选的实施例，所述数据处理模块102还包括表单判断单元203；
60.所述表单判断单元用于根据所述表单标识判断表单模板是否存在关联的自定义表单；若存在，则确定所述表单模板无法更改；若不存在，则确定所述表单模板可以更改。
61.作为一个具体的实施例，当管理员用户需要修改表单模板时，数据处理模块判断该表单标识是否已有表单与之相关联。若已有自定义表单与所述表单模板关联，将不再允许管理员修改，返回禁止修改信息给浏览器。需要注意的是，若管理员用户仍然需要对禁止修改的表单模板进行修改，可清空与表单模板相对应的已存表单数据，或复制为新表单模板再修改。
62.若表单模板可修改，则通过表单标识提取该表单模板布局组织成“表单模板自定义”页面返回给浏览器，该页面操作方法与处理逻辑与前述管理员创建表单的方式相同。
63.作为优选的实施例，所述数据处理模块还包括数据判断单元204；
64.所述数据判断单元204用于判断所述自定义表单中数据采集单元格的录入数据是否符合所述预设输入规则；当不符合预设输入规则时，确认所述录入数据无效。
65.作为一个具体的实施例，操作员在录入试验数据时，表单生成模块检验输入的内容是否符合所在数据采集单元格的预设预设输入规则的限定，若不通过则弹出提示告知用户输入无效。在保存自定义表单前，对所有录入的数据记录验证是否符合所在单元格的“可空”限定要求。若不通过，将取消提交并提示用户录入的数据记录不完整。
66.数据处理模块解析自定义表单中的数据，逐一判断单元格类型。遇到未锁定类型的单元格时，判断输入内容是否符合预设输入规则。
67.验证全部通过后，以各个单元格坐标作为识别标记，所述识别标记为字段名(对于关系型数据库)、键名(非关系型数据库)或属性名(图数据库)，将整理后的数据记录存入数据库，并将该条数据与前述已存入数据库中的“表单布局”数据相关联。
68.其中，sql类型数据库需要判断是否存在对应数据库表，若不存在则为首次录入，需要先行创建对应数据库表。
69.作为优选的实施例，所述表单生成模块通过请求/响应通信协议与所述数据处理模块进行通信连接；并将表单模板和自定义表单按照预设的数据传输格式进行传输。
70.作为一个具体的实施例，所述通过请求/响应通信协议为http-post通讯协议，所述预设的数据传输格式为json或xml格式。需要说明的是，若表单中含有文件，则将文件以二进制流格式提交。
71.作为优选的实施例，所述表单生成模块中，所述电子表格控件至少包括spreadjs、
luckysheet、xspreadsheet、koaexcel、vspread中的一种。
72.作为优选的实施例，所述存储模块至少包括关系型数据库、非关系型数据库和图数据库。
73.作为一个具体的实施例，所述关系型数据库可以为sql数据库，非关系型数据库可以为nosql数据库，图数据库可以为graphdata数据库。
74.作为一个具体的实施例，通过创建表单模板和自定义表单对应的键值对(nosql)或数据节点(graphdata)作为识别标记，对表单布局进行存储。通过放弃属性名示意的方法，采用单元格定位方式进行属性名和值的存储，即，通过单元格数据所在行列(如c4f5)作为名，输入值作为存储对象。
75.作为一个具体的实施例，当查询员用户对已保存的自定义表单进行访问时，通过浏览器访问“表单列表”页面打开某个表单。
76.数据处理模块解析提取到的表单数据，根据字段名(sql)、键名(nosql)或属性名(gdb)找出其在表单模局中对应的坐标，将表单数据填充到表单模板布局对应坐标的单元格中。若表单模板布局对应坐标的单元格的“数据类型”为选项、文件等不以简单文本方式显示的控件，则需要将其单元格类型或“数据类型”替换为未定义或文本。同时二进制文件的数据需要转换为http超链接再填充到对应坐标的单元格里去。最后对该表单模板布局转换为只读模式，锁定所有单元格，将该已填充数据的表单模板布局组织成“表单”页面，去除网格线和坐标尺，返回给浏览器。
77.查询员在“表单”页面上查阅已存表单数据记录。
78.本实施例还提供了一种实验室数据数字化管理方法，采用上述技术方案任一所述的实验室数据数字化管理系统，如图5所示，图5为所述方法的流程示意图，包括：
79.步骤s501：通过所述表单生成模块利用电子表格控件在网页中配置表单模板，并根据所述表单模板生成自定义表单；其中，所述表单模板包括模板名称和表单布局，所述自定义表单包括表单模板和表单数据；
80.步骤s502：通过所述表单生成模块将所述表单模板和自定义表单发送至所述数据处理模块；
81.步骤s503：通过数据处理模块接收所述表单模板和自定义表单，对所述模板名称、表单布局和表单数据进行解析，并根据所述表单布局得到所述表单模板的表单标识；
82.步骤s504：通过存储模块根据所述表单标识和模板名称存储所述表单模板，根据所述表单模板和表单数据存储所述自定义表单。
83.本发明提供的一种实验室数据数字化管理系统和方法，首先，通过表单生成模块利用电子表格控件在网页中配置表单模板，并根据表单模板生成自定义表单；然后，通过数据处理模块对表单进行数据解析，并根据所述表单布局得到所述表单模板的表单标识；最后，通过存储模块根据表单标识、模板名称、和表单数据对表单模板和自定义表单进行存储。
84.本发明通过电子表格控件对表单模板进行配置，在配置好的表单模板上实现自定义表单的创建，能够根据不同的业务场景将对表单的格式及内容进行改变，适应前端的录入需求；通过数据处理模块对表单数据进行解析后确定表单标识和表单数据，根据表单标识和表单数据对表单与存储模块进行数据化映射，在存储时将数据与表单解绑，无需关注
前端表单的配置，有利于数据的后期利用。
85.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。