镜像名称及版本。 依赖jar包（--jars） 运行spark作业依赖的jars。可以输入jar包名称，也可以输入对应jar包文件的的OBS路径，格式为：obs://桶名/文件夹路径名/包名。 依赖python文件（--py-flies） 运行spark作业依赖的py-files

查看更多 →

通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt” ）下。 版本号中包含hw-ei的依赖包请从华为开源镜像站下载 版本号中不包含hw-ei的依赖包都来自开源仓库，请从Maven中心仓获取。

查看更多 →

启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 java -cp $SPARK_HOME/jars/*:$SPARK_HO

查看更多 →

etag String 依赖包唯一标志（MD5校验值） size Long 依赖包大小 name String 依赖包名 file_name String 依赖包文件名 description String 依赖包描述。 version Long 依赖包版本号 last_modified

查看更多 →

指定类的参数列表，参数之间使用空格分隔。 依赖jar包 用户自定义的依赖程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，包类型选择“jar”，具体请参考创建程序包。 其他依赖文件 用户自定义的依赖文件。在选择依赖文件之前需要将对应的文件上传

查看更多 →

分批的处理间隔。 由于Spark Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同，如其他依赖包路径为“$SPARK_HOME/jars”，而Spark Streaming Kafka依赖包路径为“$SPARK_HOME/jars/streamingCli

查看更多 →

第三方依赖JAR包 Go工程ZIP包目录示例 Example.zip 示例工程包 |--- testplugin.so 业务功能包 C#工程ZIP包目录示例 Example

查看更多 →

第三方依赖JAR包 Go工程ZIP包目录示例 Example.zip 示例工程包 |--- testplugin.so 业务功能包 C#工程ZIP包目录示例 Example

查看更多 →

开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。 您已经对Java语法具备一定的认识。 您已经对 弹性云服务器 的使用方式和MapReduce服务开发组件有一定的了解。

查看更多 →

如何在函数平台创建依赖包？ 登录FunctionGraph控制台，在左侧导航栏选择“函数 > 依赖包管理”，进入“依赖包管理”界面。 单击的“创建依赖包”，弹出“创建依赖包”对话框。 设置以下信息。 表1 依赖包配置参数说明 参数 说明 依赖包名称 自定义的依赖包名称，用于识别不同的依赖包。

查看更多 →

还需要为Spark作业指定对应参数。 Jar包资源 是 选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 运行程序参数 否 为本次执行的

查看更多 →

1-hw-ei-311001-SNAPSHOT.jar spark-token-provider-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 版本号中包含hw-ei的依赖包请从华为开源镜像站下载。 版本号中不包含hw-ei的依赖包都来自开源仓库，请从Maven中心仓获取。

查看更多 →

MRS 集群组件如何管理和使用第三方jar包 MRS集群内部分组件支持使用自定义的第三方jar包来满足组件的定制化需求，如果用户应用在使用组件时调用了第三方jar包，可放置到每个节点上指定目录中，重启组件后该目录下的jar会被相应的组件程序自动加载。 放置目录为：组件安装节点的“<

查看更多 →

删除指定的依赖包（待废弃） 功能介绍 删除指定的依赖包 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/fgs/dependencies/{depend_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

如何在容器中安装依赖包 在pycharm项目中打开Terminal窗口，在项目根目录执行以下命令安装依赖包。 pip install -r requirements.txt 安装成功后的示意图如图1所示。 图1 依赖包安装成功 父主题： 常见问题

查看更多 →

安装openoffice依赖启动项 yum install libXext.x86_64 yum groupinstall "X Window System" openoffice需要上传语言包(chinese.tar.gz为字体包) 能正常启动后需要kill掉，需要通过运行的jar去自启动。

查看更多 →

，通过Rest执行Hive命令，提交MapReduce任务。 Hive客户端 包括人机交互命令行Beeline、提供给JDBC应用的JDBC驱动、提供给Python应用的Python驱动、提供给MapReduce的HCatalog相关JAR包。 ZooKeeper集群 ZooKe

查看更多 →

请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看样例工程运行依赖包参考信息。 样例工程运行依赖包参考信息 Flink客户端lib目录、opt目录中都有flink jar包，其中lib目录中默认是flink核心jar包，opt目录中是对接外

查看更多 →

k上需要额外加载的jar包的路径，jar包需要放在spark所在服务器上。如果spark是集群环境，则每个节点都需要放入jar包，且路径相同。 Spark所需jar包 所需jar包在数据工厂4.4.1war包中lib目录下，复制即可。 表1 jar包 jar包 必须 说明 ecore-1

查看更多 →

Spark jar作业是否能访问DWS跨源表？ 可以访问。 详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本？ DLI 内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。

查看更多 →

c4-*.jar，与开源postgre服务不兼容导致报错。 报错中type为12时：数据库的pg_hba.conf文件配置有误。 解决方案： 报错中type为5时：在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv /op

查看更多 →