表设计 总体上讲，良好的表设计需要遵循以下原则： 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储，将随机I/O转换为连续I/O，从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时，应当对表进行分区，一般需要遵循以下原则：

查看更多 →

表设计 总体上讲，良好的表设计需要遵循以下原则： 减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据的连续存储，将随机I/O转换为连续I/O，从而减少扫描的I/O代价。 选择分区方案 当表中的数据量很大时，应当对表进行分区，一般需要遵循以下原则：

查看更多 →

即席查询（查询条件不确定，行存表扫描难以使用索引）。 选择分布方案 【建议】表的分布方式的选择一般遵循以下原则： 表2 表的分布方式及使用场景 分布方式 描述 适用场景 Hash 表数据通过Hash方式散列到集群中的所有DN上。 数据量较大的事实表。 Replication 集群中每一个DN都有一份全量表数据。

查看更多 →

的仔细设计，能够尽可能的减少不必要的数据shuffle。 选择分布方案 表的分布方式的选择如表1所示。 表1 表的分布方式及使用场景 分布方式 描述 适用场景 Hash 表数据通过Hash方式散列到集群中的所有DN上。 数据量较大的事实表。 Replication 集群中每一个DN都有一份全量表数据。

查看更多 →

表数据通过Hash方式散列到集群中的所有DN上。 数据量较大的事实表。 Replication 集群中每一个DN都有一份全量表数据。 维度表、数据量较小的事实表。 Roundrobin 表的每一行被轮番地发送给各个DN，因此数据会被均匀地分布在各个DN中。 数据量较大的事实表，且使用Hash分布时找不到合适的分布列。

查看更多 →

组条件的仔细设计，能够尽可能的减少不必要的数据shuffle。 选择分布方案 表的分布方式的选择如表2 表的分布方式及使用场景所示。 表1 表的分布方式及使用场景 分布方式 描述 适用场景 Hash 表数据通过Hash方式散列到集群中的所有DN上。 数据量较大的事实表。 Replication

查看更多 →

【建议】表的存储类型是表定义设计的第一步，客户业务类型是决定表的存储类型的主要因素，表存储类型的选择依据请参考表1。 表1 表的存储类型及场景 存储类型 适用场景 行存 点查询（返回记录少，基于索引的简单查询）。 增、删、改操作较多的场景。 列存 统计分析类查询 （关联、分组操作较多的场景）。

查看更多 →

集群中每一个DN都有一份全量表数据。 维度表、数据量较小的事实表。 Roundrobin 表的每一行被轮番地发送给各个DN，因此数据会被均匀地分布在各个DN中。 数据量较大的事实表，且使用Hash分布时找不到合适的分布列。 选择分区方案 当表中的数据量很大时，应当对表进行分区，一般需要遵循以下原则：

查看更多 →

于日后按分类查找报表。 图3 账表分类 在账表分类上新建报表，设置报表编码、名称等信息。 图4 新建账表 新建报表后报表是没有样式的，还需要针对新建的报表设计该报表的格式。设计格式之初，首先选择合适的数据模型，然后进行报表格式设计。 图5 数据模型选择 根据业务需要的样式拖拽左侧

查看更多 →

函数如何访问MySQL数据库？ 本章介绍如何访问MySQL数据库，具体操作步骤如下： 确认MySQL数据库是否搭建在VPC的网络中？ 是，为函数设置与MySQL数据库相同的VPC、子网，具体请参考函数配置VPC。 否，具体请参考如何配置外网访问？。 在函数模板中搜索mysql，根

查看更多 →

数据库对象设计 Database和Schema设计 表设计 字段设计 约束设计 视图和关联表设计 父主题： 开发设计建议

查看更多 →

数据库对象设计 Database和Schema设计 表设计 字段设计 约束设计 视图和关联表设计 父主题： 开发设计建议

查看更多 →

数据库对象设计 Database和Schema设计 表设计 字段设计 约束设计 视图和关联表设计 父主题： 开发设计建议

查看更多 →

数据库对象设计 Database和Schema设计 表设计 字段设计 约束设计 视图和关联表设计 父主题： 开发设计建议

查看更多 →

数据库对象设计 Database和Schema设计 表设计 字段设计 约束设计 视图和关联表设计 父主题： 开发设计建议

查看更多 →

数据库对象设计 Database和Schema设计 表设计 字段设计 约束设计 视图和关联表设计 父主题： 开发设计建议

查看更多 →

数据库对象设计 Database和Schema设计 表设计 字段设计 约束设计 视图和关联表设计 父主题： 开发设计建议

查看更多 →

数据库对象设计 Database和Schema设计 表设计 字段设计 约束设计 视图和关联表设计 父主题： 开发设计建议

查看更多 →

将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录 DLI 管理控制台，单击“数据管理

查看更多 →

ate与其他连接参数、sslMode之间的关系请参考表3。 <truststore_file> 请替换为2中为truststore文件设置的存储路径。 <password> 请替换为2中为truststore文件设置的密码。 表3 连接参数与SSLMode的关系说明 useSSL

查看更多 →

表设计最佳实践 使用分区表 选择数据类型 父主题： 最佳实践

查看更多 →