智慧交通云平台建设方案( 88 页)

---

目    录

1 系统总体设计 1

1.1 云计算系统设计方案概述 1

1.1.1 系统基本功能 1

1.1.2 主要设计思想和设计目标、设计原则 1

1.1.3 智慧交通云平台的云计算解决方案 2

1.1.4 系统的主要技术特点 3

1.2 系统总体构架 3

1.2.1 系统基本组成与构架 3

1.2.2 系统功能构架 4

1.2.3 系统总体构架与功能模块 7

1.3 系统基本功能与处理方案 9

1.3.1 交管数据入库功能与处理方案 9

1.3.2 数据存储功能与处理方案 10

1.3.3 查询分析功能与处理方案 12

1.4 系统互联与管理 13

1.4.1 组网方案 13

1.4.2 网络管理 15

1.4.3 系统安全 16

1.5 系统可靠性与扩展性 17

1.5.1 系统可靠性 17

1.5.2 系统扩展性 19

1.6 系统设计性能 20

1.6.1 交管数据流量处理能力 20

1.6.2 数据存储能力 20

1.6.3 查询分析计算性能 21

1.7 定制开发方案 22

2 系统设计实施与关键技术方法 25

2.1 系统平台 25

2.2 系统规格 27

2.3 数据处理流程 28

2.4 数据存储系统 29

2.4.1 海量数据分布式数据存储构架 29

2.4.2 适应应用需求的混合存储策略 31

2.4.3 HDFS数据存储 32

2.4.4 HBase数据存储 35

2.4.5 Database数据存储 37

2.4.6 数据存储的可靠性 39

2.4.7 数据压缩 40

2.5 数据实时处理、实时查询系统 41

2.5.1 数据立方(DataCube) 42

2.5.2 任务调度器（JobKeeper） 43

2.5.3 cProc数据处理 45

2.5.4 交管数据处理流程 47

2.5.5 交管数据处理步骤 48

2.6 交管数据处理集群的可靠性与负载均衡设计 49

2.6.1 负载均衡处理机的单点失效容错处理 49

2.6.2 查询处理机的单点失效容错处理 52

2.7 计算与存储集群的可靠性与负载均衡设计 53

2.7.1 计算与存储集群Master单点失效容错处理 53

2.7.2 计算与存储集群的负载均衡处理 59

2.7.3 HDFS的可靠性设计 62

2.7.4 HBase可靠性设计 64

2.7.5 MapReduce计算可靠性设计 65

2.8 查询统计计算可靠性与负载均衡设计 68

2.8.1 基于Zookeeper的单点失效和负载均衡设计 68

2.9 系统安全性设计 70

2.9.1 安全保障体系框架 70

2.9.2 云计算平台的多级信任保护 72

2.9.3 基于多级信任保护的访问控制 76

2.9.4 云平台安全审计 78

2.9.5 云计算综合安全网关 81

图表

图表 1 智慧交通云平台云计算解决方案 2

图表 3 智慧交通云平台总体构架与功能模块图 7

图表 4 智慧交通云平台架构 9

图表 5 数据存储处理架构 11

图表 6 交管数据接入 12

图表 7组网方案 13

图表 8 分布式文件存储系统吞吐量指标 20

图表 10 数据汇总上报处理流程 27

图表 11  实时数据入库流程 28

图表 12 分布式计算流程 29

图表 13 Hadoop结构 30

图表 14 Hdfs结构 33

图表 15 HDFS Namenode、DataNode和客户端们之间的交互 34

图表 16 HDFS数据压缩与组织 40

图表 21 负载均衡机分布图 48

图表 22 负载均衡机宕机预案 48

图表 23 Master节点宕机预案 49

图表 24 查询处理单点失效容错处理 50

图表 25  Master单点失效容错处理 51

图表 26 AvatarNode0以Pimary启动过程 53

图表 27 AvatarNode1以Standby启动过程 54

图表 28 DataNode启动过程 54

图表 29 AvatarNode0宕机后的状态 55

图表 30 AvatarNode1切换为Primary过程 55

图表 31  AvatarNode0重启过程 56

图表 32  AvatarNode启动切换流程图 57

图表 33 Avatar体系架构图 60

图表 34 HBase系统架构 62

图表 35 作业提交 65

图表 36  JobTracker0宕机 65

图表 37 作业注销 66

图表 38 Zookeeper基本工作结构图 66

图表 39 基于Zookeeper的查询分析计算单点失效和 68

图表 40 基于深度防护战略的IATF模型 68

图表 41 云部署模型的实现 69

图表 42 多级信任保护 70

图表 43 基于可信第三方的平台认证 71

图表 44 主要因素平台证书 71

图表 45 云存储安全子系统接口关系图 74

图表 46 基于多级信任保护的多级访问控制流程 75

图表 47  数据安全交换平台 75

图表 48  云存储安全审计体系结构 77

图表 49 安全日志审计系统结构图 78

图表 50 Cloud-USG三种部署模式 81