AI应用开发介绍 模型封装是将模型封装成一个AI应用，也称之为AI应用开发。AI应用开发是指将训练好的一个或多个模型编排开发成推理应用以满足具体业务场景下的推理需求，比如视频质量检测、交通拥堵诊断等。AI应用开发在整个AI开发流程的位置大致如图1所示。 图1 AI开发流程 通常为

查看更多 →

HBase应用开发规范 HBase应用开发规则 HBase应用开发建议

查看更多 →

存储；同时读取的数据存放在同一行；同时读取的数据存放在同一cell。 查询频繁属性放在Rowkey前面部分。Rowkey的设计在排序上必须与主要的查询条件契合。 离散度较好的属性作为RowKey组成部分。分析数据离散度特点以及查询场景，综合各种场景进行设计。 存储冗余信息，提高检

查看更多 →

HDFS应用开发规范 HDFS应用开发规则 HDFS应用开发建议

查看更多 →

HDFS应用开发规则 HDFS NameNode元数据存储路径 NameNode元数据信息的默认存储路径为“${BIGDATA_DATA_HOME}/namenode/data”，该参数用于确定HDFS文件系统的元数据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs

查看更多 →

HDFS应用开发建议 HDFS的读写文件注意点 HDFS不支持随机读和写。 HDFS追加文件内容只能在文件末尾添加，不能随机添加。 只有存储在HDFS文件系统中的数据才支持append，edit.log以及数据元文件不支持Append。Append追加文件时，需要将“hdfs-site

查看更多 →

Hive应用开发规范 Hive应用开发规则 Hive应用开发建议

查看更多 →

Hive应用开发建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时，不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例： select * from default.tbl_src where id = 10001; select

查看更多 →

Kafka应用开发规范 Kafka应用开发规则 Kafka应用开发建议

查看更多 →

Spark应用开发规范 Spark应用开发规则 Spark应用开发建议

查看更多 →

Kudu应用开发概述 Kudu应用开发简介 Kudu应用开发常用概念 Kudu应用开发流程 父主题： Kudu开发指南（安全模式）

查看更多 →

Kudu应用开发流程 开发流程中各阶段的说明如图1和表1所示。 图1 Kudu应用程序开发流程 表1 Kudu应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Kudu的基本概念。 Kudu应用开发常用概念 准备开发和运行环境 Kudu的应用程序支持

查看更多 →

Oozie应用开发流程 本文档主要基于java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Oozie的基本概念，了解场景需求等。

查看更多 →

Storm应用开发概述 Storm应用开发简介 Storm应用开发常用概念 Storm应用开发流程 父主题： Storm开发指南（安全模式）

查看更多 →

Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学

查看更多 →

IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包Storm业务 提交拓扑 指导用户将开发好的程序提交运行。 提交Storm拓扑 查看程序运行结果 指导用户提交拓扑后查看程序运行结果。 查看Storm应用调测结果 父主题： Storm应用开发概述

查看更多 →

此，表可以设计的非常稀疏。 接口类型简介 由于HBase本身是由java语言开发出来的，且java语言具有简洁通用易懂的特性，推荐用户使用java语言进行HBase应用程序开发。 HBase采用的接口与Apache HBase保持一致。 HBase通过接口调用，可提供的功能如表1所示。

查看更多 →

自定义扩展。 多种客户端连接方式，支持JDBC接口。 Hive的主要应用于海量数据的离线分析（如 日志分析 ，集群状态分析）、大规模的数据挖掘（用户行为分析，兴趣分区，区域展示）等场景下。 父主题： Hive应用开发概述

查看更多 →

Spark应用开发简介 Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative

查看更多 →

此，表可以设计的非常稀疏。 接口类型介绍 由于HBase本身是由java语言开发出来的，且java语言具有简洁通用易懂的特性，推荐用户使用java语言进行HBase应用程序开发。 HBase采用的接口与Apache HBase保持一致。 HBase通过接口调用，可提供的功能如表1所示。

查看更多 →

HBase应用开发流程 本文档主要基于Java API对HBase进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 HBase应用程序开发流程 表1 HBase应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HBase的基本概念，了解场景需求，设计表等。

查看更多 →