商务厅政务数据“聚通用”国垂系统数据仓库与电子证照库建设解决方案

 商务厅政务数据“聚通用”国垂系统数据仓库与电子证照库建设解决方案

——广西梯度科技有限公司

广西梯度科技有限公司成立于2016年4月，2019年3月由湖南迁入广西，是数字广西集团旗下一家从事云计算的子公司。公司核心成员来自于阿里巴巴、国防科大、巴黎十一大等顶尖技术团队。公司总部位于南宁，在北京、长沙设立技术研发中心。公司长期专注于云计算底层技术及产品的国产化攻关，通过6年的不懈努力，目前已自主研发梯度智能云平台、梯度多云管理平台、梯度大数据平台等多款产品，实现了云计算核心组件的国产化替代，为客户提供包括云咨询、云集成、云管理、云运维等一站式深度上云服务。公司相关产品及解决方案已广泛应用于军工、政务、金融等多个领域，如军工领域首个容器云应用案例、金融行业容器云应用案例等。

一、项目概况

项目方案对“聚通用”数据仓库与电子证照库进行统筹规划和集约建设，强化共享、共用，着力解决“信息孤岛”、“数据烟囱”、重复建设、资源浪费等问题，实现由分散建设向集约建设的模式转变。对国垂系统数据仓库建设方面，主要是在对商务部下发数据进行全面梳理的基础上，通过对国垂系统各项数据进行清洗、汇聚，建设国垂系统数据仓库，将数据仓库与自治区数据共享交换平台对接，满足自治区大数据发展局对国垂系统政务数据汇聚的要求。对电子证件照建设方面，主要是在电子政务外网建设新电子证照分库，将存量电子证照数据迁移至新库，按照自治区大数据发展局制定的电子证照规范对数据进行清洗转换，并对接政务一体化平台，推送数据至电子证照总库，满足自治区大数据发展局对电子证照库的考核要求。

二、总体架构

图1 国垂系统数据仓库与电子证照库建设方案总体架构

大数据采集汇聚平台对国垂系统数据、电子证照数据与其它业务数据进行采集汇聚，将数据加载到各种存储结构；大数据计算平台（数仓）提供大容量的数据存储、实时分析查询和实时流式数据处理分析能力；数据治理平台对数据进行加工处理，统一的数据格式，提升数据质量，保证信息的可用性，最终实现对数据进行采集、存储、治理、分析、可视化并对外提供服务。支撑上层应用，有效推动广西商务厅信息化、数字化、智能化发展，实现各流程、各环节之间在平台上数据互联。

三、技术方案

图2 国垂系统数据仓库与电子证照库建设方案系统架构

项目方案通过元数据驱动的方式，支持大数据的抽取、转换和加载(ETL)，对数据进行集成处理；基于Hadoop/Spark生态系统，通过整合优化，实现对采集汇聚的数据进行分类存储。对接入和处理的各类元数据提供统一的集中管理及数据质量治理服务，并为上层应用提供完整支撑。同时具备可视化开发界面和丰富的API，通过接口方式与外部交换数据资源，以满足业务场景需求。

四、建设成效

项目方案建设时间2020年12月－2021年4月，总投资约73万元，目前项目系统运行稳定且通过合格验收。在项目投入使用后，商务厅数据治理成本相比于原来的架构模式明显降低，运维成本显著下降，每年可节省30万余元的运维开支。在2020年12月广西政务数据资源管理与应用改革评估工作中，商务厅政务数据“聚通用”国垂系统数据仓库与电子证照库位列红榜。

五、适用场景

项目方案形成一套可以被复制的大数据解决方案，用于推进各部门政务数据“聚通用”工作，可为广西各级政府部门提供大数据治理实施参照模型和政务数据治理新模式，适用于“政务信息化资产摸底”“云资源集约管理”“网络互联互通”“系统整合”“数据汇聚”“数据调度”“一事通办”等各项“聚通用”工作建设，并承载及繁衍各类大数据应用，可延展众多其他信息化业务应用，带来数据共享开放、数据治理、数据可视化、大数据开发应用、大数据交易等延展项目。

联 系 人：马洁梅

公司固定电话：0771-5345636

联系人移动电话：18587860103