本报讯 2024年,国家统计局广州调查队利用信息化系统“数据管理及专项调查平台”,实现统计调查数据台账自动生成、集中管理和统一利用,取得了良好的效果。
据介绍,统计调查数据台账是将分散的数据资料依照一定分类标准进行有序整合形成的统计表,是统计部门进行数据审核、数据分析的基础。
目前大多数统计调查专业形成的原始数据电子台账由工作人员在电脑制作,一般为Excel格式分散存储在不同工作人员电脑内。这种台账的制作和存储方式,一方面需要耗费大量时间手工收集和制作,还需要进行数据审核;另一方面,数据分专业分期别分散存储在不同工作人员的电脑中,管理和开发都存在很大困难。
对此,广州队利用“数据管理及专项调查平台”通过调查直报模块实现统计调查信息系统常用的直报名录库功能,为调查专业的调查对象推送报表,同时根据需要增加台账内容,如可以收集调查对象提供的台账文件附件、IP、定位、图片、签名、文件包等多种非格式化数据。
广州队为每个调查台账数据上报用户开通名录库账号并下发调查台账模板,设置对应的数据收集附件,开通直报模块将填报任务下发给直报用户,上报期结束后从文件后台导出上报的原始数据,并派发下期报表台账,实现自动收集台账原始数据。利用直报模块实现台账原始数据的集中自动收集,可以避免人工分散收集数据引入的人为误差,以及分散收集数据在人际间传递可能造成的数据安全风险。
在实践中,从直报模块自动采集的数据表包含大量重复出现的指标名称等冗余数据,直接将数据表导入数据管理数据库会导致大量无效冗余数据,占用数据库空间。广州队使用表结构映射的方式,自动实现数据表“瘦身”,大大节约了存储空间,同时能替代繁重的系统间数据表人工调整工作。表结构映射是原始数据表与数据库数据表的列的对应关系。通过配置映射,可以从原始表中提取数据库表指定列的数据,而不需要将整张原始表存入数据库。使用表结构映射可以将原始数据表中反复出现的区划代码和名称、指标编码和名称以及其他指标明细信息剥离,只提取当期数据。将反复出现的这些统计调查任务项具体信息数据独立保存为一张任务表,通过任务号ID可以从任务表获得任务具体信息。
针对展示和利用统计调查数据经常碰到数据分散在不同的数据表上,以及报表的复杂表头以及文字的复杂版面信息系统难以支持的问题。广州队在数据包里通过编辑SQL语言和设置参数(如报表期)将特定条件下不同报表的数据组合起来,并定义为一个数据包方便使用,解决了数据组合问题。同时,使用文件模板解决复杂排版问题,将数据之外的文档固定内容做成一个模板,在需要加入数据的地方引用具体数据包名称,即可合成为最终的数据报表。赵美