生成Storm应用Jar包 操作场景 通过命令行生成示例代码的jar包。 操作步骤 在Storm示例代码根目录执行如下命令打包："mvn package"。执行成功后，将会在target目录生成storm-examples-1.0.jar。 父主题： 调测Storm应用

查看更多 →

如何获取Spark Jar包？ 华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），各服务样例工程依赖的jar包都可在华为开源镜像站下载，剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发

查看更多 →

降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下，通过调整如下参数值，降低客户端应用的失败率，保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm

查看更多 →

6.1.jar netty-3.10.6.Final.jar ant-1.10.9.jar hk2-locator-2.6.1.jar netty-all-4.1.86.Final.jar ant-launcher-1.10.9.jar hk2-utils-2.6.1.jar netty-buffer-4

查看更多 →

/opt/client source bigdata_env hadoop jar HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1-*.jar wordcount "/user/example/input/*"

查看更多 →

降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下，通过调整如下参数值，降低客户端应用的失败率，保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm

查看更多 →

续操作将不会再提示。 后续指引 完成Spark Jar作业快速入门操作后，如果您想了解更多关于Spark Jar作业相关操作，建议您参考以下指引阅读。 分类 文档 说明 界面操作 Spark Jar作业管理 提供Spark Jar作业管理界面功能介绍。 Spark程序包管理 针对

查看更多 →

"resource_type":"jar", "resource_name":"test_dli.jar", "status":"READY", "underlying_name":"test_dli.jar" }

查看更多 →

gsjdbc4-*.jar，与开源postgre服务不兼容导致报错。 报错中type为12时：数据库的pg_hba.conf文件配置有误。 解决方案： 报错中type为5时：在每台 MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv

查看更多 →

准备MapReduce开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。

查看更多 →

修改资源名称为test的资源内容，资源类型为jar，资源文件所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar，资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2

查看更多 →

Livy工具jar资源包到OBS桶路径下。 登录OBS控制台，在指定的OBS桶下创建一个存放Livy工具jar包的资源目录。例如：“obs://bucket/livy/jars/”。 进入3.a中 DLI Livy工具所在E CS 服务器的安装目录，获取以下jar包，将获取的jar包上传到1

查看更多 →

Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的

查看更多 →

sjdbc4-*.jar”，与开源PgSQL服务不兼容导致报错。 处理步骤 用户在“pg_hba.conf”文件配置白名单。 驱动重复，集群自带，将其余驱动清除，所有Core节点上的gsjdbc4 jar包去掉，在sqoop/lib目录下添加PgSQL Jar包即可。 mv /o

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

定公网才能保证作业正常运行。 sqoop实例一般分布在Master节点，但作业真正运行在分析节点，因此创建数据库连接，是和Master节点通信，作业是通过Yarn任务分发到分析节点执行。 检查Sqoop实例安装目录下是否放置数据库驱动jar包，并保证jar包路径正确，文件权限及属

查看更多 →

可以参考如下命令，通过QEMU启动guest虚拟机运行Huawei LiteOS，因为realview-pbx-a9工程默认使能了SMP（多核），所以启动虚拟机时也需要设置-smp参数：$ qemu-system-arm -machine realview-pbx-a9 -smp 4 -m 512M -kernel out/realvie

查看更多 →

导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例

查看更多 →

创建KafkaToKafka.properties程序包 创建Flink Jar作业并运行。 创建Flink Jar作业，在应用程序、其他依赖文件选择步骤3导入Flink Jar，并指定主类。 主要参数的填写说明： 所属队列：选择Flink Jar作业运行的队列。 应用程序：自定义的程序包 主类：指定 类

查看更多 →

client：driver进程在客户端运行，运行结果在程序运行后直接输出。 --deploy-mode cluster：driver进程在Yarn的ApplicationMaster（AM）中运行，运行结果和日志在Yarn的WebUI界面输出。 进入Spark客户端目录，使用java -cp命令运行代码。 java

查看更多 →