Bundle 版将所有三方依赖打包并重定向至包内，不再依赖外部三方包，可避免因依赖冲突导致的问题，相应的 Bundle 版 SDK 占用的空间也更大（7M+）。 在使用普通版本的过程中遇到依赖冲突问题时，可参考 依赖缺失和依赖冲突的解决(Java SDK) 解决。 打开Maven工程的pom

查看更多 →

用户已上传到 DLI 资源管理系统的程序包名，用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名，用户自定义作业的其他依赖包。 示例“myGroup/test.jar,myGroup/test1.jar”。 dependency_files

查看更多 →

用户已上传到DLI资源管理系统的程序包名，用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名，用户自定义作业的其他依赖包。 示例“myGroup/test.jar,myGroup/test1.jar”。 dependency_files

查看更多 →

lass<extends InputFormat> cls) ->“mapreduce.job.inputformat.class” setJar(String jar) ->“mapreduce.job.jar” setOutputFormat(Class< extends OutputFormat>

查看更多 →

认证。 配置MapReduce应用安全认证 根据业务场景开发程序 根据实际业务场景开发程序，调用组件接口实现对应功能。 开发MapReduce应用 编译并运行程序 将开发好的程序编译运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译为Jar包后，提交到Linux节点上运行。

查看更多 →

打包Flink jar作业jar包时，为避免包信息冲突，不需要上传系统已有的内置依赖包。 内置依赖包请参考DLI内置依赖包。 其他依赖文件 用户自定义的依赖文件。其他依赖文件需要自行在代码中引用。 依赖文件的管理方式： 上传OBS管理程序包：提前将对应的依赖文件上传至OBS桶中。并在此处选择对应的OBS路径。

查看更多 →

在MapReduce任务运行过程中禁止重启HDFS服务，否则可能会导致任务失败。 运行统计样例程序 确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中，打开样例工程中“LocalRunner.java”工程，右键工程，选择“Run > LocalRunner.main()”运行应用工程。

查看更多 →

执行以下Yarn任务访问OBS： yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=NAMESERVICE

查看更多 →

file jar location 是 String 资源文件所在OBS路径，当类型为jar时，location为主Jar包所在路径。最多256个字符。示例：obs://myBucket/test.jar dependFiles 否 List<String> 主Jar包所依赖的J

查看更多 →

查看检查结果。包括以下几种情况： Share Lib存在Jar包缺失 如果检测到缺失Jar包，将输出“Share Lib jar file(s) not found on hdfs：”及缺失的Jar包信息。 如果Share Lib Jar包完整，将输出“All Share Lib jar file(s) found

查看更多 →

据迁移操作。这个MapReduce任务配置直接从Spark任务配置里面提取，但是Spark任务的net.topology.node.switch.mapping.impl配置项不是hadoop的默认值，需要使用Spark的jar包，因此MapReduce会报类找不到。 处理步骤 方案一：

查看更多 →

file jar location 是 String 资源文件所在OBS路径，当类型为jar时，location为主Jar包所在路径。最多256个字符。示例：obs://myBucket/test.jar dependFiles 否 List<String> 主Jar包所依赖的J

查看更多 →

参数 指定类的参数列表，参数之间使用空格分隔。 依赖jar包 用户自定义的依赖程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，包类型选择“jar”，具体请参考创建程序包。 其他依赖文件 用户自定义的依赖文件。在选择依赖文件

查看更多 →

key，如何处理？ 执行代码样例中，AK/SK认证的短信样例时，如果报错“Could not derive key”，建议排查jar包依赖是否冲突。 比如，jar包依赖是这样时： Maven: org.bouncycastle:bcpkix-jdk15on:1.68 Maven: org

查看更多 →

jar，不推荐使用gaussdbjdbc-JRE7.jar。 jdbc发布件jar包按照架构分类，gscejdbc.jar包必须与对应的部署环境一致才能使用，其他jar包无需与部署环境一致。 其他JDBC的jar包介绍请参见JDBC兼容性包。 驱动类 在创建数据库连接之前，需要加载数据库驱动类“com.huawei

查看更多 →

运行统计样例程序 确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中，打开样例工程中“LocalRunner.java”工程，右键工程，选择“Run LocalRunner.main()”运行应用工程。 运行多组件样例程序 将hive-site.xml、hbase-site

查看更多 →

} Job job = new Job(conf, "job name"); // 设置找到主任务所在的jar包。 job.setJar("D:\\job-examples.jar"); // job.setJarByClass(TestWordCount.class); // 设

查看更多 →

确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中，打开样例工程中“LocalRunner.java”工程，右键工程，选择“Run > LocalRunner.main()”运行应用工程。 运行多组件样例程序 在放置MapReduce工程样例的“../

查看更多 →

Web UI页面 查看MapReduce应用运行结果数据。 当用户在Linux环境下执行yarn jar mapreduce-example.jar命令后，可以通过执行结果显示正在执行的应用的运行情况。例如： yarn jar mapreduce-example.jar /tmp/mapred/example/input/

查看更多 →

使用Hue提交Oozie Mapreduce作业 操作场景 该任务指导用户通过Hue界面提交Mapreduce类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“MapReduce 作业”按钮，将其拖到操作区中。 在弹出的“MapReduce job”窗口中配置“Jar

查看更多 →

使用Hue提交Oozie Mapreduce作业 操作场景 该任务指导用户通过Hue界面提交Mapreduce类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“MapReduce 作业”按钮，将其拖到操作区中。 在弹出的“MapReduce job”窗口中配置“Jar

查看更多 →