数据优化 根据统计结果，双方可能会发现存在以下两个问题： 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡，负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据，多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成，接下来就是使用准备好的数据进行联邦建模。

查看更多 →

维度表数据量一般整表数据规模较小，以更新数据为主，新增较少，表数据量比较稳定，且读取时通常需要全量读取做join之类的ETL计算，因此通常使用非分区表性能更好。 确认表内桶数。 使用Hudi BUCKET表时需要设置Bucket桶数，桶数设置关系到表的性能，需要格外引起注意。 非分区表桶数 = MAX(单表数据量大小(G)/2G*2，再向上取整，4)。

查看更多 →

两张表都按照join key进行分桶（clustered by (column)）和排序（sorted by(column)），且两张表的分桶数正好是倍数关系。 通过如下设置，启用Sort Merge Bucket Map Join： set hive.optimize.bucketmapjoin=true;

查看更多 →

查看QPS、当前活跃连接数、数据库总连接数、CPU使用率监控指标是否吻合。 QPS的含义是每秒查询数，QPS和当前活跃连接数同时上升，且QPS和CPU使用率曲线变化吻合，可以确定是业务请求增高导致CPU上升，如下图： 该场景下，SQL语句一般比较简单，执行效率也高，数据库侧优化余地小，需要从业务源头优化。

查看更多 →

两张表都按照join key进行分桶（clustered by (column)）和排序（sorted by(column)），且两张表的分桶数正好是倍数关系。 通过如下设置，启用Sort Merge Bucket Map Join： set hive.optimize.bucketmapjoin=true;

查看更多 →

Binlog日志文件占用过多，可以清理本地Binlog日志，来释放磁盘空间。 针对大量排序查询导致的临时文件过大，建议优化SQL查询。 查询数据库慢SQL和Top SQL，分析数据量大，行数多，响应时间长的SQL语句，并进行优化。 您还可以订阅实例健康日报来获取SQL及性能分析结果，包括慢SQL分析、全量SQL分析、性能

查看更多 →

Binlog日志文件占用过多，可以清理本地Binlog日志，来释放磁盘空间。 针对大量排序查询导致的临时文件过大，建议优化SQL查询。 查询数据库慢SQL和Top SQL，分析数据量大，行数多，响应时间长的SQL语句，并进行优化。 您还可以订阅实例健康日报来获取SQL及性能分析结果，包括慢SQL分析、全量SQL分析、性能

查看更多 →

如果是RDS for MySQL Binlog日志文件占用过多，可以清理本地Binlog日志，来释放磁盘空间。 针对大量排序查询导致的临时文件过大，建议优化SQL查询。 查询数据库慢SQL和Top SQL，分析数据量大，行数多，响应时间长的SQL语句，并进行优化。 您还可以订阅实例

查看更多 →

大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍

查看更多 →

数据分区查找优化 分区表对数据查找方面的帮助主要体现在对分区键进行谓词查询场景，例如一张以月份Month作为分区键的表，如图1所示，如果以普通表的方式设计表结构则需要访问表全量的数据（Full Table Scan），如果以日期为分区键重新设计该表，那么原有的全表扫描会被优化成为

查看更多 →

数据分区查找优化 分区表对数据查找方面的帮助主要体现在对分区键进行谓词查询场景，例如一张以月份Month作为分区键的表，如图1所示，如果以普通表的方式设计表结构则需要访问表全量的数据（Full Table Scan），如果以日期为分区键重新设计该表，那么原有的全表扫描会被优化成为

查看更多 →

业务体验优化数据规划 VN间流量分配数据规划 Overlay ACL策略数据规划 QoS策略数据规划 智能选路数据规划 父主题： 数据规划

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

数据分区查找优化 分区表对数据查找方面的帮助主要体现在对分区键进行谓词查询场景，例如一张以月份Month作为分区键的表，如图1所示。如果以普通表的方式设计表结构则需要访问表全量的数据（Full Table Scan），如果以日期为分区键重新设计该表，那么原有的全表扫描会被优化成为

查看更多 →

数据分区查找优化 分区表对数据查找方面的帮助主要体现在对分区键进行谓词查询场景，例如一张以月份Month作为分区键的表，如图1所示。如果以普通表的方式设计表结构则需要访问表全量的数据（Full Table Scan），如果以日期为分区键重新设计该表，那么原有的全表扫描会被优化成为

查看更多 →

RDS for MySQL增加表字段后出现运行卡顿现象 故障描述 当给RDS for MySQL实例的表中增加一个字段，出现系统无法访问的现象。 解决方案 因增加表字段而引起数据库出现性能问题，有可能是未对新增字段添加索引，数据量大导致消耗了大量的CPU资源。为此，提出如下建议恢复数据库性能。

查看更多 →

----+----------------------------------------------+ 图1 执行耗时对比 图2 扫描行数 父主题： 常见内核功能

查看更多 →

----+----------------------------------------------+ 图1 执行耗时对比 图2 扫描行数 父主题： 常见内核功能

查看更多 →

增加表字段后出现运行卡顿现象 故障描述 当给MySQL实例的表中增加一个字段，出现系统无法访问的现象。 解决方案 因增加表字段而引起数据库出现性能问题，有可能是未对新增字段添加索引，数据量大导致消耗了大量的CPU资源。为此，提出如下建议恢复数据库性能。 添加对应索引、主键。 优化慢SQL语句。 父主题：

查看更多 →

修改/dev/shm容量大小 应用场景 /dev/shm由tmpfs文件系统构成，tmpfs是Linux/Unix系统上的一种基于内存的文件系统，故读写效率非常高。 目前有用户希望通过/dev/shm实现进程间数据交互或通过/dev/shm实现临时数据存储，此时CCI场景/dev

查看更多 →