DLI Hudi开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例

查看更多 →

Hudi开发规范概述 范围 本节内容介绍DLI-Hudi组件进行湖仓一体、流批一体方案的设计与开发方面的规则，适用于Hudi开发场景的表的设计、管理与作业开发。 主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述：

查看更多 →

开发运维规范 本章节结合华为云数据库开发运维经验，从开发和运维角度为您提供GeminiDB Redis产品使用规范。根据这些建议，您可以有效评估以及改善业务系统稳定性。 开发规范 在开发业务程序时需重点关注以下开发规范，避免因使用方式不当影响业务稳定。 表1 GeminiDB Redis开发规范

查看更多 →

HBase应用开发规范 HBase应用开发规则 HBase应用开发建议

查看更多 →

HDFS应用开发规范 HDFS应用开发规则 HDFS应用开发建议

查看更多 →

Kafka应用开发规范 Kafka应用开发规则 Kafka应用开发建议

查看更多 →

Doris UDF开发规范 本章节主要介绍开发Doris UDF程序时应遵循的规则和建议。 Doris UDF开发规则 UDF中方法调用必须是线程安全的。 UDF实现中禁止读取外部大文件到内存中，如果文件过大可能会导致内存耗尽。 需避免大量递归调用，否则容易造成栈溢出或oom。

查看更多 →

Impala应用开发规范 Impala应用开发规则 Impala应用开发建议

查看更多 →

Spark on Hudi开发规范 SparkSQL建表参数规范 Spark增量读取Hudi参数规范 Spark异步任务执行表compaction参数设置规范 Spark on Hudi表数据维护规范 Spark并发写Hudi建议 Spark读写Hudi资源配置建议 Spark On

查看更多 →

on Hudi开发规范 Flink流式读Hudi表规则 Flink流式读Hudi表建议 Flink流式写Hudi表规则 Flink流式写Hudi表建议 Flink on Hudi作业参数规则 Flink on Hudi作业参数建议 父主题： Flink应用开发规范

查看更多 →

Spark应用开发规范 Spark应用开发规则 Spark应用开发建议 Spark SQL开发规范

查看更多 →

Hive应用开发规范 Hive应用开发规则 Hive应用开发建议 Hive SQL开发规范

查看更多 →

Doris应用开发规范 Doris建表规范 Doris数据变更规范 Doris命名规范 Doris数据查询规范 Doris数据导入规范 Doris UDF开发规范 Doris连接运行规范

查看更多 →

基于 MRS -Flink数据存储进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.2.0及以后版本。 参数优化部分适配于MRS 3.2.0及以后版本。 该规范中与开源社区不一致的点，以本文档为准。 参考资料 Flink开源社区开发文档：https://nightlies

查看更多 →

Flink任务开发规范 Flink任务开发规则 Flink任务开发建议 父主题： Flink应用开发规范

查看更多 →

自定义镜像规范 AI Gallery支持托管自定义镜像，但是托管的自定义镜像要满足规范才支持使用AI Gallery工具链服务（微调大师、在线推理服务）。 自定义镜像的使用流程 托管自定义镜像，操作步骤请参考托管模型到AI Gallery。 如果自定义镜像要支持训练，则需要满足自定义镜像规范（训练）。

查看更多 →

Spark SQL开发规范 Spark SQL嵌套语法建议 Spark的“spark.sql.codegen.wholeStage”参数默认为“true”，当SQL嵌套逻辑过多时，Spark Driver在编译解析SQL生成代码过程中的压力就会过大，发生oom报错。因此，建议如下：

查看更多 →

有分区，分区多文件多的情况下可能导致服务异常，建议指定分区扫描，如果必须全表扫描，可以选用不指定分区的方式进行查询规避。 percentil_approx函数使用建议 Hive SQL命令中，使用percentile_approx udf函数输出字段，Map阶段进行了部分聚合以及

查看更多 →

Flink应用开发规范 Flink开发规范概述 FlinkSQL Connector开发规范 Flink on Hudi开发规范 Flink任务开发规范 Flink SQL逻辑开发规范 Flink性能调优开发规范 Flink开发样例 Flink常见开发问题

查看更多 →

Hudi应用开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例

查看更多 →

Hudi开发规范概述 范围 本规范主要描述基于MRS-Hudi组件进行湖仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时强制必须遵守的原则。 建议：编程时必须加以考虑的原则。

查看更多 →