高创“方舟”大数据中台 暨城市级异构多维大数据中台

　　一、“方舟”大数据中台适应业务

　　（一）现阶段社会治理的痛点问题

　　1.海量数据处理难度大

　　涉及相关委办局的数据已达到亿、十亿、百亿级别，且形式结构多样，急需提高采集、计算和存储能力。

　　2.信息化基础薄弱

　　1）政府部门之间平台种类多且各自开展工作，信息无法有效整合和共享共用。

　　2）管理手段传统，基层负担重、行政效能低，无法及时反应和及早防控社会问题。

　　3）管理机制落后，无法第一时间掌握整体动态做出预警，对事件进行全过程的跟踪、监督和管理。

　　3.缺乏新的数据支撑方式

　　1）社会流动性暴露传统数据处理方式的弊端。

　　2）社会治理服务数据采集存在瓶颈，采集手段单一。

　　3）资源数据多样，标准尚未统一。

　　4.治理内容尚未整合

　　涉及国家政治安全、社会治安防控建设、打击违法犯罪、防范化解社会矛盾、保障公共安全等多方面内容，需提升精细化管控能力。

　　（二）“方舟”大数据中台的价值

　　中台的建设根本上是为了“弥补创新驱动快速变化的前台和稳定可靠驱动变化周期相对较慢的 后台之间的矛盾，提供一个中间层来适配前台与后台的配速问题”。前台需要复用的东西都可以放到 中台来，中台的构建最终是为了提升快速响应力，赋能前台业务。数据中台能力核心在于数据复用， 直击“数据人员不懂业务，业务人员不懂数据”的痛点。

　　从业务出发，考虑社会治理问题需要的数据服务，根据服务价值采集处理数据。数据沉淀到中 台，经过治理形成前台可用的数据产品，通过 API 的方式按需或按权限分享给不同的业态去调用， 提高数据利用效率，加速业务迭代、试错和创新。

　　社会治理大数据中台重点打造社会治理公共大数据中心，为市域社会治理大数据平台、基层社 会治理平台、智慧小区等应用层提供数据服务支撑。解决了数据汇聚、清洗计算、标准化、建库建 模等问题，并最终支撑业务，赋能多种应用场景。通过大数据挖掘分析技术和 AI 技术，有针对性地 解决社会治理难题；针对不同社会治理问题场景，提供精细化的服务和管理，实现数字决策。

　　二、“方舟”大数据平台核心技术

　　（一）大数据采集 DATAX、Flume、Sqoop、ETL

　　（二）大数据预处理

　　DATAX、Spark、Flink

　　（三）大数据存储

　　GS-EDB、MYSQL、、HDFS、HBASE、Elasticsearch、Solr、KAFKA、Hive

　　（四）业务建模

　　Clickhouse、Spark

　　（五）数据查询

　　Elasticsearch、Solr、Hive、HQL

　　（六）数据可视化

　　自主研发 BI 数据分析可视化工具

　　三、“方舟”大数据平台适用技术平台

　　四、“方舟”大数据平台创新点

　　（一）技术创新

　　1.开发可视化任务平台，包含上百种数据计算组件，支持离线和实时任务的组件化配置

　　2.开发自有分布式数据存储系统，支持百亿、千亿级别的数据查询检索

　　3.开发最新的 OLAP 引擎，支持百亿数据的统计分析

　　4.全面覆盖数据治理 9 大领域，采用微服务架构，融合度高，延展性强

　　（二）业务创新

　　1.围绕政府社会治理能力现代化，结合职责职能积极开展实践和探索，深化数据“聚、通、用”， 打破“数据孤岛”，赋能多种业务，推动大数据与社会治理深度融合。

　　2.结合实际业务需求及项目特点特色，研究综治工作中大数据专题分析，并从分析结果中对社 会治理的风险进行评估，包括社会治安防控专题分析、12345 事件专项分析，对影响社会治理的各 种因素进行有效的预防和控制。

　　3. 以人、地、事、物、网、组织六大维度搭建主题仓库，对多结构、复杂且量大的全域数据进 行归类存储，实现全域社会治理业务数据多维精细管控。

　　4.利用海量数据分析挖掘能力，深度开展大数据分析研判，为综治业务提供预测、预判、预警， 并形成风险评估等分析功能，主要包括特殊人群态势监测、群体性事件预警系统、基层矛盾纠纷研 判分析、人流变化分析、易肇事肇故精神病人重点区域预警、社区矫正人员脱管预测等。

　　五、高创“方舟”大数据中台系统能力

　　（一）资源汇聚整合

　　支持多方式多格式百万、千万、十亿、百亿数据的汇聚。高创安邦托管某地级市项目日实时汇 聚量 7 亿，已入库数据总量 127 亿 4810 万。

　　（二）统一信息资源规范

　　提供 170+标准字典集、1500+标准数据项、多场景标签体系（矛排、流转）对数据资源进行标 准化清洗，统一规范。

　　（三）提供高质量数据资源

　　6 大质检维度、数十种规则方案，N 个修复组件，大幅提升资源数据质量，为决策提供准确的数 据支撑。

　　（四）建立信息化管理体系

　　5 大数据仓库，深化资源库、主题库、专题库，百亿数据资产管理展示，支持部门数据互通， 打破数据孤岛，数据利用率提高 30%。

　　（五）提高政务工作前瞻性和针对性

　　BI 分析工具、AI 建模和大数据开发服务，实现智能分析决策和数据价值挖掘，提供数十种数据 可视化图表，N 个分析指标，N 个研判预警模型，覆盖 N 个业务场景。

　　六、高创“方舟”大数据中台系统优势

　　（一）产品优势

　　自主研发核心算法和数据治理、管理类工具，全 web 界面操作，易用、易懂、易维护。

　　（二）技术优势

　　优秀的算法技术团队支撑，支持多种计算和存储引擎服务，提供全链路智能大数据及 AI 开发和 治理服务。

　　（三）多场景覆盖

　　向上共享数据、服务应用，向下集中、整合数据，赋能多种应用场景。

　　（四）稳定安全

　　从系统、数据、资源等层面保障平台的全面安全性，包括数据加密、脱敏（字段级加密脱敏）、 数据权限控制、审计日志等提高数据安全性。

　　责任编辑：广汉