main()”运行应用工程。 如果集群开启了ZooKeeper SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境配置文件中样例工程的“conf”配置文件目录中获取）的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce

查看更多 →

datasource.write.keygenerator.class 默认配置为org.apache.hudi.keygen.SimpleKeyGenerator ，也可以不配置配置为org.apache.hudi.keygen.ComplexKeyGenerator。 hoodie

查看更多 →

sql 在执行SQL语句前，请使用 MRS 集群管理员用户修改内存大小配置。 登录 FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”。 单击“全部配置”，并搜索“SPARK_DRIVER_MEMORY”。 修改参数值

查看更多 →

com/p/snappy/。 本章节适用于MRS 3.x及后续版本。 配置描述 为了使LZC压缩生效，需要在客户端的配置文件“core-site.xml”中（例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”）配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression

查看更多 →

java:498) org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:762) org.apache.spark.deploy.SparkSubmit$

查看更多 →

SSL通信加密，修改客户端配置文件“conf/flink-conf.yaml”。 security.ssl.enabled: false 方法2： 开启Flink SSL通信加密，security.ssl.enabled 保持默认。 正确配置SSL： 配置keystore或trus

查看更多 →

数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink 1.12）中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。

查看更多 →

mb和mapreduce.map.java.opts的值： 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同

查看更多 →

at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:342) at org.apache.hadoop.hdfs.server

查看更多 →

架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。

查看更多 →

HBase > 服务配置”，将“参数类别”的“基础配置”切换为“全部配置”，选择“HMaster > 自定义”，给参数“hbase.hmaster.config.expandor”新增名称为“hbase.regionserver.wal.codec”，值为“org.apache.hadoop

查看更多 →

已成功创建GeminiDB Redis实例，且实例状态为“正常”。 已创建弹性 云服务器 ，创建弹性云 服务器 的方法，请参见《弹性云服务器快速入门》中“购买弹性云服务器”章节。 弹性云服务器上已经安装GCC等编译工具。 创建的弹性云服务器与GeminiDB Redis实例要保证区域、可用区、VPC和安全组一致。

查看更多 →

操作场景 标签是弹性云服务器的标识。为弹性云服务器添加标签，可以方便用户识别和管理拥有的弹性云服务器资源。 您可以在创建弹性云服务器时添加标签，也可以在弹性云服务器创建完成后，在云服务器的详情页添加标签，您最多可以给弹性云服务器添加10个标签。 创建弹性云服务器时添加的标签，将同步

查看更多 →

管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面，选择“新建集群配置”，配置参数填写如下： 图2 新建集群配置 集群配置名：根据连接的数据源类型，用户可自定义便于记忆、区分的集群配置名。 上传集群配置：单击“添加文件”以选择本地的集群配置文件，然后通过操作框右侧的“上传文件”进行上传。

查看更多 →

exception | org.apache.flink.shaded.curator.org.apache.curator.framework.imps.CuratorFrameworkImpl (CuratorFrameworkImpl.java:566) org.apache.flink.shaded

查看更多 →

- "org.apache.kafka.common.serialization.StringSerializer" 定义拓扑的配置示例： config: #简单配置项 topology.workers: 1 #配置项值为列表，使用`[]`表示

查看更多 →

况下，推荐您优先使用V2接口。 商用 创建集群 2 支持多种异构虚拟机规格 MRS集群支持x86/ARM混合部署，支持弹性云服务器（E CS ）和 裸金属服务器 （BMS）混合部署 。 商用 自定义购买集群 2020年8月 序号 功能名称 功能描述 阶段 相关文档 1 支持IAM账户与集群用户自动同步

查看更多 →

管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面，选择“新建集群配置”，配置参数填写如下： 图2 新建集群配置 集群配置名：根据连接的数据源类型，用户可自定义便于记忆、区分的集群配置名。 上传集群配置：单击“添加文件”以选择本地的集群配置文件，然后通过操作框右侧的“上传文件”进行上传。

查看更多 →

ip>:<http-port>/jmx，如果该值超过4倍的限定值（4*1M），建议用户配置多个驱动器并重新启动HDFS。 恢复步骤： 在DataNode上配置多个数据目录。 示例：在原先只配置了/data1/datadir的位置 <property> <name>dfs.datanode

查看更多 →

配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark

查看更多 →

ler/jdk。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求：2019.1或其他兼容版本。 安装Scala Scala开发环境的基本配置。版本要求：2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求：1.5.4。 安装Maven 开发环

查看更多 →