配置redis连接，可以采用单节点模式或者哨兵模式 配置kafka连接以及kafka主题 ```yml # 服务端口 server: port: 9999 spring: # redis配置，单节点模式配置host和port；哨兵模式配置sentinel redis: database: 9

查看更多 →

exception | org.apache.flink.shaded.curator.org.apache.curator.framework.imps.CuratorFrameworkImpl (CuratorFrameworkImpl.java:566) org.apache.flink.shaded

查看更多 →

服务 > Oozie > 配置 > 全部配置”，在“自定义”的“oozie.site.configs”参数中添加如下四个配置项。修改完成后单击“保存”，在弹框中单击“确定”保存配置。 名称 值 参数说明 oozie.services.ext org.apache.oozie.service

查看更多 →

- "org.apache.kafka.common.serialization.StringSerializer" 定义拓扑的配置示例： config: #简单配置项 topology.workers: 1 #配置项值为列表，使用`[]`表示

查看更多 →

管理 > 连接管理 > 集群配置管理”。 在集群配置管理界面，选择“新建集群配置”，配置参数填写如下： 图2 新建集群配置 集群配置名：根据连接的数据源类型，用户可自定义便于记忆、区分的集群配置名。 上传集群配置：单击“添加文件”以选择本地的集群配置文件，然后通过操作框右侧的“上传文件”进行上传。

查看更多 →

ip>:<http-port>/jmx，如果该值超过4倍的限定值（4*1M），建议用户配置多个驱动器并重新启动HDFS。 恢复步骤： 在DataNode上配置多个数据目录。 示例：在原先只配置了/data1/datadir的位置 <property> <name>dfs.datanode

查看更多 →

java:1391) at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:340) at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:292) at org.apache.hadoop.fs

查看更多 →

配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于 MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark

查看更多 →

9版本为例。 下载apache-flume-1.9.0-bin.tar.gz。 安装flume。 解压apache-flume-1.9.0-bin.tar.gz到/opt/apache-flume-1.9.0-bin目录。 已部署Hadoop的环境：无需额外操作，部署Hadoop请参见Hadoop对接OBS。

查看更多 →

Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer > 自定义”，在hive-site.xml中增加以下配置： 属性名 属性值 hive.exec.pre.hooks org.apache.hadoop.hive.ql.hooks.ATSHook

查看更多 →

Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer > 自定义”，在hive-site.xml中增加以下配置： 属性名 属性值 hive.exec.pre.hooks org.apache.hadoop.hive.ql.hooks.ATSHook

查看更多 →

待读取数据大小和配置项“max.partition.fetch.bytes”值，若超过此配置项值，则抛出上述异常。 解决办法 在初始化建立Kafka消费者实例时，设置此配置项“max.partition.fetch.bytes”的值。 例如，参考本例，可以将此配置项设置为“5252880”：

查看更多 →

cfg文件 设置config参数 在使用虚拟机部署方式创建并部署组件时，您可以参考添加配置项设置一些配置项，ServiceStage会将设置的配置项以键值对的形式存储在${APP_HOME}/config/system.cfg文件中。您也可以预置一些配置参数在config里面，格式参考示例如下：

查看更多 →

org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:301) at org.apache.spark.rdd.RDD.iterator(RDD.scala:265) at org.apache.spark

查看更多 →

am.java:371) at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:71) at org.apache.spark.serializer.JavaSerializerInstance

查看更多 →

Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置： log4j

查看更多 →

main()”运行应用工程。 如果集群开启了ZooKeeper SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境中样例工程的“conf”配置文件目录中获取）的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce

查看更多 →

业”。 首先配置队列，Spark版本选择 3.3.1 及之后的版本。 可以选择配置作业名称，便于识别和筛选。 配置”应用程序”，路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交 DLI 作业所需的委托。自定义委托请参考创建DLI自定义委托 。 配置”主类（--c

查看更多 →

org.apache.flume.node.Application.getRestartComps(Application.java:467) 解决办法 若Flume数据写入的组件未启动，启动对应组件；若组件异常，请联系服务技术支持。 Sink未启动，检查配置文件是否配置正确，若

查看更多 →

import org.apache.spark.SparkConf; import org.apache.spark.SparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api

查看更多 →

当该值配置为“org.apache.hadoop.hbase.mapreduce.TsvImporterByteMapper”时，只在执行没有HBASE_CELL_VISIBILITY OR HBASE_CELL_TTL选项的批量加载命令时使用。使用“org.apache.hadoop

查看更多 →