Spark Core样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：

查看更多 →

Spark SQL样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： public

查看更多 →

Flink Kafka样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入 FusionInsight 的kafka-clients-*.ja

查看更多 →

Flink Join样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar

查看更多 →

Spark Core样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：

查看更多 →

准备开发和运行环境 Storm的应用程序当前推荐使用Java语言进行开发。可使用IntelliJ IDEA工具。 Storm的运行环境即Storm客户端，请根据指导完成客户端的安装和配置。 准备Storm应用开发和运行环境 准备工程 Storm提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。

查看更多 →

JDK8安装 Oracle Java sdk 是运行Java应用程序所必须的运行时环境。最新版本为Version 8，下载地址：https://www.java.com/zh_CN/download/ 双击打开JavaSetup8.exe文件，进行JDK的安装 图1 JDK安装1 勾选“更改目标文件夹”，单击安装

查看更多 →

在Linux环境中调测ClickHouse应用（ MRS 3.3.0及之后版本） ClickHouse应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK，版本号需要和IntelliJ

查看更多 →

完成客户端的安装和配置。 准备Spark本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要

查看更多 →

希值等摘要信息，以便在需要时验证数据的一致性和完整性。 开发环境准备 请根据自身业务选择Go或Java开发环境。推荐使用CloudIDE（支持在线、快速地构建链代码开发环境）。 Go开发环境准备： 安装Go开发环境。安装包下载地址为：https://go.dev/dl/。（请选择1

查看更多 →

JDK8安装 Oracle Java sdk 是运行Java应用程序所必须的运行时环境。最新版本为Version 8，下载地址：https://www.java.com/zh_CN/download/ 双击打开JavaSetup8.exe文件，进行JDK的安装 图1 JDK安装 勾选“更改目标文件夹”，单击安装

查看更多 →

保证已安装Jdk并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ IDEA可直接运行Producer.java，如图1所示： 图1 运行Producer.java 运行后

查看更多 →

未安装客户端时编译并运行程序 操作场景 HBase应用程序支持在未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK，版本号需要和Eclipse导出Jar包使用的JDK版本一致。 操作步骤

查看更多 →

ws开发环境中进行程序调测运行，也可以将程序编译为Jar包后，提交到Linux节点上运行。 说明： 用户还可以根据程序运行情况，对程序进行调优，使其性能满足业务场景诉求。调优完成后，请重新进行编译和运行。具体请参考中Spark2x性能调优。 在Linux环境中编包并运行Spark程序

查看更多 →

在Linux环境中调测HetuEngine应用 操作场景 在程序代码完成开发后，可以把代码编译成jar包，上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前，需在Linux节点预安装客户端。 操作步骤 在Windows环境的开发环境IntelliJ IDEA中，在“Maven

查看更多 →

在Linux环境中调测HBase应用 操作场景 HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装客户端时： 已安装HBase客户端。 当客户端所在主机不是集

查看更多 →

调测程序 ClickHouse应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。该环境需要和clickhouse集群处于同一vpc和安全组，以保证网络连通。 前提条件 Linux环境已安装JDK，版本号需要和IntelliJ

查看更多 →

保证已安装Jdk并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ IDEA可直接运行Consumer.java，如图1所示： 图1 运行Consumer.java 单击运

查看更多 →

在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置https ssl证书。 登录集群任意节点，进入如下目录下载ca

查看更多 →

运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt/example/” ）下。 运行任务 登录Spark客户端节点，执行如下命令： source 客户端安装目录/bigdata_env

查看更多 →

在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置https ssl证书。 登录集群任意节点，进入如下目录下载ca

查看更多 →