镜像名称及版本。 依赖jar包（--jars） 运行spark作业依赖的jars。可以输入jar包名称，也可以输入对应jar包文件的OBS路径，格式为：obs://桶名/文件夹路径名/包名。 依赖python文件（--py-files） 运行spark作业依赖的py-files。

查看更多 →

etag String 依赖包唯一标志（MD5校验值） size Long 依赖包大小 name String 依赖包名 file_name String 依赖包文件名 description String 依赖包描述。 version Long 依赖包版本号 last_modified

查看更多 →

Streaming代码打成jar包提交到集群后报类找不到错误，通过以下两种方式依然不生效。 在提交Spark作业的时候使用--jars 命令引用类所在的jar包。 将类所在的jar包引入Spark Streaming的jar包。 原因分析 执行Spark作业时无法加载部分jar，导致找不到class。

查看更多 →

Job、 MRS MapReduce节点。 文件路径 是 当“资源位置”选择OBS时，文件路径选择OBS文件路径。 当“资源位置”选择HDFS时，文件路径选择MRS集群名称。 依赖包 否 当前只支持 DLI Spark节点。 选择已上传到OBS中的依赖Jar包。“类型”为“jar”或“pyFile”时，配置该参数。

查看更多 →

删除指定的依赖包（待废弃） 功能介绍 删除指定的依赖包 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/fgs/dependencies/{depend_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

据迁移操作。这个MapReduce任务配置直接从Spark任务配置里面提取，但是Spark任务的net.topology.node.switch.mapping.impl配置项不是hadoop的默认值，需要使用Spark的jar包，因此MapReduce会报类找不到。 处理步骤 方案一：

查看更多 →

启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/conf:$SPARK_HOME

查看更多 →

分批的处理间隔。 由于Spark Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同，如其他依赖包路径为“$SPARK_HOME/jars”，而Spark Streaming Kafka依赖包路径为“$SPARK_HOME/jars/streamingCli

查看更多 →

，分别存放了Spark-submit相关的执行脚本、配置文件和依赖包。 进入配置文件conf目录，修改“client.properties”中的配置项，（具体配置项参考表1）。 表1 DLI 客户端工具配置参数 属性项 必须配置 默认值 描述 dliEndPont 否 - DLI服务的 域名 。

查看更多 →

OPS06-05 实施依赖项遥测 风险等级 高 关键策略 依赖项遥测可以监控工作负载所依赖的外部服务和组件的运行状况及性能。提供有关与 DNS、数据库或第三方 API 等依赖项相关的可访问性、超时及其他关键事件的高价值指标采集。当对应用程序进行检测，以发布有关这些依赖项的指标、日志和跟

查看更多 →

RES08-01 减少强依赖项 系统内组件之间强依赖时，一个组件故障会对其他组件造成直接影响，影响系统可用性。 风险等级 中 关键策略 可以通过以下技术将强依赖项转换为非强依赖项： 提高关键依赖项的冗余级别，降低该关键组件不可用的可能性。 与依赖项的通信采用异步消息并支持超时重试

查看更多 →

file jar location 是 String 资源文件所在OBS路径，当类型为jar时，location为主Jar包所在路径。最多256个字符。示例：obs://myBucket/test.jar dependFiles 否 List<String> 主Jar包所依赖的JAR

查看更多 →

Structured Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同，如其他依赖包路径为“$SPARK_HOME/jars”，而Spark Streaming Structured Kafka依赖包路径为“$SPARK_HOME/jars/streami

查看更多 →

1-hw-ei-311001-SNAPSHOT.jar spark-token-provider-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 版本号中包含hw-ei的依赖包请从华为开源镜像站下载。 版本号中不包含hw-ei的依赖包都来自开源仓库，请从Maven中心仓获取。

查看更多 →

MRS集群组件如何管理和使用第三方jar包 MRS集群内部分组件支持使用自定义的第三方jar包来满足组件的定制化需求，如果用户应用在使用组件时调用了第三方jar包，可放置到每个节点上指定目录中，重启组件后该目录下的jar会被相应的组件程序自动加载。 放置目录为：组件安装节点的“<

查看更多 →

com/repository/maven/huaweicloudsdk/com/huawei/mrs/hadoop-plugins/ 将下载的jar包添加到命令或者jar包的依赖中。 父主题： 使用HDFS

查看更多 →

是 名称 添加的依赖名称，需与上传的依赖包中connector的连接名一致。不支持上传同名依赖包。 kafka 注册jar jar包的上传方式： 上传文件：添加本地的jar包 指定路径：已准备好的依赖文件的HDFS路径 上传文件 上传文件 注册jar选择为“上传文件”时，需通过该项上传本地jar文件。

查看更多 →

Java-SDK编译提示jar包冲突 问题现象 could not load a native library: netty_tcnative_osx_aarch_64 问题原因 netty-tcnative-boringssl-static版本太低。 解决方法 升级到以下版本即可解决。

查看更多 →

Structured Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同，如其他依赖包路径为“$SPARK_HOME/jars”，而Spark Structured Streaming Kafka依赖包路径为“$SPARK_HOME/jars/streami

查看更多 →

c4-*.jar，与开源postgre服务不兼容导致报错。 报错中type为12时：数据库的pg_hba.conf文件配置有误。 解决方案： 报错中type为5时：在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv /op

查看更多 →

开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。 您已经对Java语法具备一定的认识。 您已经对 弹性云服务器 的使用方式和MapReduce服务开发组件有一定的了解。

查看更多 →