别名。skew hint的column不支持表达式，如果需要指定采用分布键为表达式的重分布存在倾斜，需要将重分布键指定为新的列，以新的列进行hint。 对于倾斜值，个数需为列数的整数倍并按列的顺序进行组合，组合的个数不能超过10个。如果各倾斜列的倾斜值的个数不一样，为了满足按列组

查看更多 →

101.32:9093表示kafka 服务器 的IP:port，XXX表示 FusionInsight 相应的版本号，xxx表示密码。 Kerberos+SSL模式配置 完成上文中Kerberos和SSL各自的服务端和客户端配置后，只需要修改运行参数中的端口号和协议类型即可启动Kerberos+SSL模式。

查看更多 →

101.32:9093表示kafka服务器的IP:port，XXX表示FusionInsight相应的版本号，xxx表示密码。 Kerberos+SSL模式配置 完成上文中Kerberos和SSL各自的服务端和客户端配置后，只需要修改运行参数中的端口号和协议类型即可启动Kerberos+SSL模式。

查看更多 →

person表的数据。 根据person表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打

查看更多 →

运行SparkPack企业ERP客户端推荐的电脑配置 推荐配置： 1）CPU： i5或者同等性能CPU以上 2）内存： 16GB及以上 3）可用硬盘空间： 500GB及以上 父主题： FAQ

查看更多 →

xml”文件指定任务默认使用的版本。只需设置适当的配置属性，用户就可以运行不同版本的MapReduce，而无需使用部署在集群中的版本。 图1 具有多个版本NodeManagers及Applications的集群 在图1中：可以看出，应用程序可以使用HDFS中的Hadoop jars，而无需使用本地版本。因此在滚动升级

查看更多 →

通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 版本号中包含hw-ei的依赖包请从华为开源镜像站下载 版本号中不包含hw-ei的依赖包

查看更多 →

xml”文件指定任务默认使用的版本。只需设置适当的配置属性，用户就可以运行不同版本的MapReduce，而无需使用部署在集群中的版本。 图1 具有多个版本NodeManagers及Applications的集群 在图1中：可以看出，应用程序可以使用HDFS中的Hadoop jars，而无需使用本地版本。因此在滚动升级

查看更多 →

查询table1表的数据。 根据table1表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打

查看更多 →

到启动程序的classpath路径下面。 如果修改了集群的 域名 ，那么core-site.xml将发生变化，需要下载最新的core-site.xml并放入到打包hive二次开发样例代码进程的classpath路径下面。 解决办法 下载集群Hive最新的客户端，获取最新的“core-site

查看更多 →

Manager中下载principal用户的认证凭证，样例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“

查看更多 →

在本地Windows中调测HDFS程序 （可选）在开发环境中（例如IntelliJ IDEA中），运行此样例代码需要设置运行用户，设置运行用户有两种方式，添加环境变量HADOOP_USER_NAME或者修改代码。设置环境变量方法具体如下： 选中需要运行的样例程序HdfsExample.j

查看更多 →

如何限制存储在ZKstore中的应用程序诊断消息的大小 问题 如何限制存储在ZKstore中的应用程序诊断消息的大小？ 回答 在某些情况下，已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中，不建议允许诊断消息无限增长。因此，需要有一个属性参数用于设置诊断消息的最大大小。 若您需要设置“yarn

查看更多 →

如何限制存储在ZKstore中的应用程序诊断消息的大小 问题 如何限制存储在ZKstore中的应用程序诊断消息的大小？ 回答 在某些情况下，已经观察到诊断消息可能无限增长。由于诊断消息存储在状态存储中，不建议允许诊断消息无限增长。因此，需要有一个属性参数用于设置诊断消息的最大大小。 如果您需要设置“yarn

查看更多 →

接收Kafka中数据，生成相应DataStreamReader。 进行分类统计。 计算结果，并进行打印。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt” ）下。 运行任务 在运行样例程序时需要指定

查看更多 →

服务器用户指南》。 您创建的弹性云服务器必须与Memcached实例属于同一个VPC，并配置相同的安全组，以确保弹性云服务器与缓存实例的网络是连通的。 如果弹性云服务器与Memcached实例不在相同VPC中，可以通过建立VPC对等连接方式连通网络，具体请参考常见问题：缓存实例是否支持跨VPC访问？

查看更多 →

通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user.keytab”，“/opt/female/krb5

查看更多 →

ava应用程序的开发。 开发流程中各阶段的说明如图1和表1所示。 图1 应用程序开发流程 表1 应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HBase的基本概念，了解场景需求，设计表等。 HBase 准备开发环境 HBase应用程序当前推荐使

查看更多 →

数据库的正常访问。 gs_dumpall gs_dumpall是一款用于导出数据库相关信息的工具，支持导出完整一致的集群数据库所有数据，同时不影响用户对数据库的正常访问。 gs_restore gs_restore是 GaussDB (DWS)提供的针对gs_dump导出数据的导入工

查看更多 →

查询table1表的数据。 根据table1表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。

查看更多 →

Manager中下载principal用户的认证凭证，样例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。

查看更多 →