欢迎访问大数据&AI生态共享平台
当前位置: 首页 > 解决方案 > 金融 > 正文

政务大数据平台解决方案

2018-04-13 作者:luoc【收藏】

  • 所属分类:政务

应用背景及需求:

   201535日,在十二届全国人大三次会议开幕式上,李克强总理在政府工作报告中提出,制定“互联网+”行动计划,推动移动互联网、云计算、大数据、物联网等与现代制造业结合,促进电子商务、工业互联网和互联网金融健康发展,引导互联网企业拓展国际市场。

201595日,国务院正式印发《促进大数据发展行动纲要(国发[2015]50号)》,这一纲要的出台,意味着大数据发展正式成为国家战略。纲要阐述了大数据发展的重要意义,包括:大数据成为推动经济转型发展的新动力;大数据成为重塑国家竞争优势的新机遇;大数据成为提升政府治理能力的新途径。

为了依托互联网+和大数据技术双动力,实现智慧型政府建设,各级政府都非常重视,并且已经全面启动政务信息化建设,这是非常好的一个局面。但是在信息化建设的过程中,也普遍存在或面临一些问题,总结起来,包括5个方面:基础设施相对分散、信息系统建设相对独立、政务数据尚未实现全面集中、公共服务渠道不统一、服务与决策支持能力相对较弱。这些问题导致的结果是,无法将政府掌握的数据资产发挥有效的合力,全面支持便民服务和管理决策。为了解决政府在政务信息化建设方面的问题,政府部门提出了政务大数据平台的建设需求,总结起来,具体如下:

1、标准规范体系建设是大数据发展的准则

政务大数据公共服务平台的建设涉及部门多,且存在跨部门、跨系统的数据交换,各系统建设难免出现异构现象,数据格式、类型不一致,数据质量问题突出。需要建设统一的数据编码标准规范、数据质量标准规范,以此为基础保证数据互联互通、信息共享、业务协同;同时作为政务基础资源库,

2、数据采集是大数据应用的数据源泉

根据大数据应用需要接入数据及各委办厅局数据共享需求,进一步扩展交换节点的部署和接口实施,完善交换平台监控、运维管理功能;优化大数据交换处理性能;加固数据交换平台的安全性和稳定性,满足大数据应用项目的数据共享交换需求,建立统一交换体系基础设施。

除政务数据以外,更多的数据是以分散形式散落在互联网、个人、团体、企业之间,这部分数据将是大数据应用分析的重要数据源,是政务数据的有力补充,大数据平台建设需要通过一定手段获取社会数据、互联网数据,在条件允许情况下,尽量获取物联网数据和企业数据。

3、数据的清洗融合是大数据应用的数据质量保证

由于政务数据中心需要从多个数据来源获取数据,这些数据来源中的业务系统并没有经过顶层设计和统筹规划,他们之间的数据之间必然存在不标准、不完整、重复、错误、不一致的问题。为解决上述数据问题,需要根据确立的资源数据库的数据标准,让数据收集和交换的过程有章可循,在数据来源的数据加载到资源数据库之前对数据进行全面的质量稽查、标准化、修复和匹配融合,最终形成统一的实有人口、法人、建筑物(城市部件)数据,为社会建设、城市管理和公共服务等上层应用提供信息资源保障。

4、全息数据库是数据标准化和融合后的产物,是大数据应用的数据基础

建设政务全息数据库,对原有的人口基础库、法人基础库进行数据清洗比对,并按照大数据的应用需求整合新的数据,形成新的标准人口库和法人库。建立以主题挖掘和协同共享为目的的人才主题库。建立历史库和非结构化库。

5、大数据基础支撑平台是大数据实践的技术支撑

随着在不断推进各部门非涉密数据的汇聚和跨部门应用,数据的数量在急剧上升,新兴的业务越来越多的涉及到跨部门、跨系统支撑的问题,对于数据承载和服务能力的要求也越来越迫切,而这些复杂的业务环节和系统数据,对数据的存储能力和实时计算能力有了更高的要求,亟需通过高效、稳定的存储运算分析技术,进一步提升政府的海量数据存储、实时查询、快速处理分析。此外为更好的保护隐私,对于敏感数据也需要做好脱敏处理。

6、智能办公数据服务系统是大数据面向文本数据探索的工具

智能办公数据服务系统需要支撑各委办厅局OA办文系统。鉴于政府部门间办文系统独立建设标准不同,数据服务应以接口的形式提供。系统具备文件适配、索引创建、索引管理、分词、自然语言模块处理、全文检索、智能排序功能,并支持前端文档全文检索、文档比对分析、文档智能推荐等应用。同时,建立文档评价体系,完善文档智能推荐。

系统架构:


政务大数据平台从总体架构上主要由数据源层、数据采集层、数据处理层、数据中心层、大数据基础支撑层、数据服务层、数据开放层、数据应用层八部分组成,并制定相应数据标准、应用规范及数据安全管理体系,总体框架图如下:

 

 1.jpg.png

采用的关键技术及产品组合:

海盒大数据产品套件v3.0,具体组件包括:海盒大数据平台(SDP)、海盒大数据开发平台(SDS)、海盒人工智能分析平台(SDA)、海盒大数据灵活查询平台(

东方金信政务大数据平台解决方案中,重点采用大数据技术,实现政务数据的整合和应用,涉及的主要产品包括海盒大数据产品套件、海盒数据处理平台、海盒数据应用系统3类,具体如下:

一、海盒大数据产品套件v3.0

海盒大数据产品套件v3.0主要包括以下产品:

1、海盒大数据平台(SDP:集成了海盒大数据仓库系统SDB、海盒大数据集群系统监控管理系统SMCS、海盒大数据安全管理系统SSM、海盒分布式内存系统SMDS等组件。拥有有完善的数据仓库与数据库功能支持,遵从SQL99SQL2003标准,支持标准的ODBCJDBC接口访问,具备高可靠的安全与权限系统、一键化安装部署和图形化界面集群监控管理系统和优异的流处理系统与技术,支持在多种平台的灵活部署,并实现平台的多租户管理和数据的统一管理。具有稳定性高、安全性强、易维护等优点。

2、海盒大数据开发平台(SDS):为大数据平台的开发者和使用者,提供应用良好的开发服务界面和丰富的作业操作与调度功能。该平台包括海盒大数据调度操作系统(SDO)、海盒数据清洗工具(SDCT)、海盒数据实时数据采集与流处理系统(SDF)、海盒数据实时同步工具(SDG)、海盒大数据统一登录门户(SPR)等组件。

平台通过图形化界面提供丰富的交互操作和任务调度功能,通过WEB界面,用户可以实现数据查询和处理,ETL调度和作业监控等丰富的交互功能。此外,SDF提供一个敏捷的流处理任务操作界面,实现快速构建、测试和扩展应用程序服务,并通过图形化界面实现流处理任务的生命周期管理。从而帮助用户快速的实现连续地汇总、过滤、转换互联设备传来的数据,高效的管理数据在系统中的采集、传输和处理。

3、海盒人工智能分析平台(SDA):集成了海盒大数据展示系统(SDV)、海盒人工智能平台(SAI)、海盒算法超市(SAM)、海盒大数据统一登录门户(SPR)等组件。帮助企业快速实现针对超大数据量的数据分析和结果展示,并支持机器学习和人工智能的深度挖掘。拥有统计库并行化的高性能的统计算法库,并为用户提供图形化的算法超市界面和数据分析的展示界面,是数据分析与展示的统一平台。用户可通过该平台对原始数据进行去噪、去缺省 / 异常值、归一化、统计分布等。该平台集成了多种数据分析算法,如分类、聚类、关联、贝叶斯、协同过滤算法等,并通过与大数据平台应用的集成,实现数据整合、数据清洗、数据建模、数据分析、数据挖掘的整套数据处理流程。

4、海盒大数据灵活查询平台(SDBI):以分布式的 OLAP 分析引擎和用户友好的报表系统为核心框架,为大数据平台提供了商业智能的功能支持。该系统集成了海盒大数据高维模型分析系统(SCS)、海盒大数据BI报表系统(SDR)、海盒大数据统一登录门户(SPR)等组件,实现灵活查询数据集市、数据联邦查询、对数据进行下钻挖掘、及BI报表服务。通过该系统,能够为大数据平台的数据提供了更丰富的展现方式,并能够充分满足数据展示的多维度要求。

 

二、海盒数据处理平台

1、海盒数据调度平台(SDT):数据平台的批量数据处理是通过ETL体系完成的,ETL体系负责整个数据平台数据的生成过程,提供对数据的流动和控制的程序及服务,中间经过一系列的抽取、清洗、转换、加载过程,最终将数据装载进数据平台。

海盒大数据调度平台是ETL体系的管理调度工具,采用E-L-T模式,在不同阶段调用的不同的加载工具实现数据的处理。包括后台服务和前端管理工具两个方面,实现数据文件转换与数据传送、流程控制、调度的自动化、错误处理机制、例外情况处理、运行监控等功能。

2、海盒元数据管理平台(SDM):元数据是描述数据的数据。元数据可以划分为业务元数据和技术元数据。业务元数据从业务角度描述了数据平台中的数据,它提供了介于使用者和实际系统之间的语义层;技术元数据是存储关于数据平台技术细节的数据,是用于开发和管理数据平台使用的数据。

海盒元数据管理平台实现业务元数据和技术元数据的采集与存储、元数据间关系分析,对元数据进行有效管理,进而提升数据平台数据管控水平。其主要功能包括:元数据加载、元数据统计、全局搜索、源系统元数据查询、ETL元数据查询、数据平台库表元数据查询、ETL元数据维护、数据平台库表维护、元数据解析等。

3、海盒数据质量管理平台(SDQ):数据是企业运营历史的经验沉淀和财富积累。数据质量的高低,直接反映企业信息管理方法的效率,企业分析利用数据的成本,并通过企业管理和营销链条间接影响了企业洞察开拓市场的速度,行情把握的准确性,决策方向的正确性以及企业的核心竞争力。

海盒数据质量管理平台旨在主动发现追踪现有系统中存在的数据质量问题,并督促提高企业源系统的数据质量。其主要功能包括:数据质量检核规则管理、数据质量检核模板管理、数据质量检核任务管理、检核任务调度管理、检核结果展现、数据质量报告等。

4、海盒数据标准管理平台(SDD):数据标准是为了使企业内外部使用和交换的数据是一致和准确的,经协商一致制定并由相关主管机构批准,共同使用和重复使用的一种规范性文件。

海盒数据管理平台旨在对企业数据标准进行统一的管理和应用,主要功能包括:数据标准采集、数据标准维护、数据标准浏览、文档管理等。

5、海盒数据稽查管理平台(SDC):数据稽查是数据平台的生命,数据稽查服务的最基本目标是保证数据的完整性、有效性、准确性、一致性、可靠性和时效性。

海盒数据稽查管理平台实现对企业源系统元数据和数据信息进行统计,通过对数据值、常用指标、频率、区间、结构等进行分析并产生报告,探索数据预知的前提条件或者异常,应用已知的规则对源系统数据进行稽查。其主要功能包括:数据稽查检核规则管理、数据稽查检核模版管理、数据稽查脚本等。

三、海盒数据应用系统

1、海盒客户标签管理系统(SDI):一个标签通常是人为规定的高度精炼的特征标识,如年龄、性别、地域、用户偏好等,最后将用户的所有标签综合来看,就可以勾勒出该用户的立体“画像”了,为精准营销、风险识别等应用提供数据支持。

海盒客户标签管理系统的功能包括标签工厂、用户画像输出及标签分析三大部分,标签工厂负责标签的加工,用户画像输出负责标签的应用,标签分析负责标签应用情况及效果分析。

部署运维方案:

  一、政务大数据平台部署架构

政务大数据平台的物理部署架构如下图:

 

 2.jpg.png

二、政务大数据平台运维体系

政务大数据平台运维体系包括:标准体系、安全体系及运维支撑体系,为政务大数据公共服务平台的建设提供标准支撑、安全支撑及后续的运维支撑,以保证整个项目的顺利开展。

 

应用规模及效果案例:

东方金信政务大数据平台整体解决方案已经应用到多个政务客户,在某省政府的大数据公共服务平台的案例中,集成了该省全省各局委办的数据,支持各类政务数据服务和应用,建设成果如下:

1、建立了一套适用于本省大数据应用和发展的标准规范体系,为将来大数据实践的不断完善和扩展打下良好的基础。

2、统一了大数据采集平台,重塑数据来源通道,一次采集全省公用,减少工作人员重复采集的人力支出,规范了数据入口和出口。

3、通过标准规范指导下的数据清洗融合,将高质量的多源异构数据进行统一存储和管理,为进一步更加精准的数据分析、挖掘预测创作了条件。

4、大数据基础支撑平台是全省各委办厅局大数据共用的基础技术平台。尤其是政务数据中心的建设,为各委办厅局相关数据应用建设和大数据行业发展提供了技术支撑,降低数据协调费用,大大降低系统建设成本。

5、通过标准规范建设、数据治理和大数据技术的支撑,构建全省全息数据库,包括全息人口库建设、全息法人库建设、主题人才库、贫困人口主题库等。

6、政务大数据公共服务平台的建设,将会推进新一代大数据技术创新,催生出巨大的新兴产业及经济形态,有利于推动大数据产业链的形成,有利于形成市场化、社区化社会服务,有利于推动一批社会服务产业的发展。促进互联网等相关新兴领域业务创新增值,形成新的经济增长点,带动社会经济发展。

7、本项目的建成将促进该省社会建设工作的影响力,将大大推进全省大数据行业和相关产业的发展,带动省经济多样化转型。同时政务数据全省“一盘棋”、大集中的发展格局,提升政府治理能力,提高服务居民、游客、投资者水平。同时发挥市场在资源配置中的决定性作用,以企业为主体,营造宽松公平环境,以“应用牵引、创新驱动、融合发展”为核心,促进大数据与重点产业的融合发展,推动经济转型升级,培育壮大大数据产业;政务数据的开放和居民服务类支撑系统的建设,进一步推进“服务型政府”的建设进程,将大大提高政府的“服务为民”的指正形象,将大大提高社区服务于民,全民监督共享服务的能力,将对社会造成良好服务于民,打造服务型政府起到巨大积极作用。

解决方案描述:

政务大数据平台解决方案

 

企业信息:

北京东方金信科技有限公司

产品
解决方案
案例