Source) at org.apache.thrift.transport.TSaslClientTransport.handleSaslStartMessage(TSaslClientTransport.java:94) at org.apache.thrift.transport

查看更多 →

口（org.apache.kafka.clients.producer.*）往Kafka写数据，单条记录大小为1100055，超过了kafka配置文件server.properties中message.max.bytes=1000012。用户修改了Kafka服务配置中message

查看更多 →

配置Hudi通过IAM委托访问OBS 参考配置 MRS 集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

查看更多 →

com/p/snappy/。 本章节适用于MRS 3.x及后续版本。 配置描述 为了使LZC压缩生效，需要在客户端的配置文件“core-site.xml”中（例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”）配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression

查看更多 →

Jenkins依赖环境准备 安装maven 复制文件apache-maven-3.8.1-bin.tar.gz 到 /usr/local 解压 cd /usr/local tar -zxvf apache-maven-3.8.1-bin.tar.gz 备份 cp apache-maven-3

查看更多 →

java:498) org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:762) org.apache.spark.deploy.SparkSubmit$

查看更多 →

内不能完成同步过程，导致超时，各个ZooKeeper Server启动失败。 参考修改集群服务配置参数章节，进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值，直到ZooKeeperServer正常。

查看更多 →

mb和mapreduce.map.java.opts的值： 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同

查看更多 →

at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:342) at org.apache.hadoop.hdfs.server

查看更多 →

datasource.write.keygenerator.class 默认配置为org.apache.hudi.keygen.SimpleKeyGenerator ，也可以不配置配置为org.apache.hudi.keygen.ComplexKeyGenerator。 hoodie

查看更多 →

安全组入方向已放开8080端口。 操作步骤 软件安装。 执行以下命令安装Java。 dnf install java-1.8.0-openjdk 执行如下命令验证是否安装成功。 java -version 执行如下命令安装Tomcat。 dnf install tomcat Tomcat会被安装到“/usr/share/tomcat”目录。

查看更多 →

用 服务器 ，是Apache软件基金会项目中的一个核心项目，是一款比较流行的web应用服务器。本教程介绍如何在HCE 2.0上安装部署Tomcat。 准备工作 准备一台E CS ，并分配公网IP或者弹性公网IP（EIP）。 安全组入方向已放开8080端口。 操作步骤 软件安装。 执行以下命令安装Java。

查看更多 →

HBase > 服务配置”，将“参数类别”的“基础配置”切换为“全部配置”，选择“HMaster > 自定义”，给参数“hbase.hmaster.config.expandor”新增名称为“hbase.regionserver.wal.codec”，值为“org.apache.hadoop

查看更多 →

SSL通信加密，修改客户端配置文件“conf/flink-conf.yaml”。 security.ssl.enabled: false 方法2： 开启Flink SSL通信加密，security.ssl.enabled 保持默认。 正确配置SSL： 配置keystore或trus

查看更多 →

sql 在执行SQL语句前，请使用MRS集群管理员用户修改内存大小配置。 登录 FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”。 单击“全部配置”，并搜索“SPARK_DRIVER_MEMORY”。 修改参数值

查看更多 →

exception | org.apache.flink.shaded.curator.org.apache.curator.framework.imps.CuratorFrameworkImpl (CuratorFrameworkImpl.java:566) org.apache.flink.shaded

查看更多 →

- "org.apache.kafka.common.serialization.StringSerializer" 定义拓扑的配置示例： config: #简单配置项 topology.workers: 1 #配置项值为列表，使用`[]`表示

查看更多 →

数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink 1.12）中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。

查看更多 →

管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面，选择“新建集群配置”，配置参数填写如下： 图2 新建集群配置 集群配置名：根据连接的数据源类型，用户可自定义便于记忆、区分的集群配置名。 上传集群配置：单击“添加文件”以选择本地的集群配置文件，然后通过操作框右侧的“上传文件”进行上传。

查看更多 →

ip>:<http-port>/jmx，如果该值超过4倍的限定值（4*1M），建议用户配置多个驱动器并重新启动HDFS。 恢复步骤： 在DataNode上配置多个数据目录。 示例：在原先只配置了/data1/datadir的位置 <property> <name>dfs.datanode

查看更多 →

配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark

查看更多 →