Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

资源的访问范围。 目前包括角色（粗粒度授权）和策略（细粒度授权）。具体的权限介绍和授权操作请参考《 数据湖探索 用户指南》。 创建队列。在“资源管理 > 队列管理”下，单击右上角“购买队列”，进入购买队列页面选择“通用队列”，即Spark作业的计算资源。 如果创建队列的用户不是管理员

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

如果未设置 MRS 作业名称且选择直连模式时，节点名称只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符，不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

SQL版本审批流部署流程 SQL版本是通过配置SQL语句和字段关系创建审批流程，相对于接口版本来说，配置简单、效率提升。 共享流模板到客户账号 将共享流模板复制到我的流模板 基于我的流模板创建流 父主题： SparkPack 企业ERP泛微OA集成指南

查看更多 →

集成企业微信身份源 OneAccess支持通过企业微信身份源导入用户和组织信息，实现OneAccess实时同步企业微信身份源中用户和组织信息。 本文主要介绍OneAccess集成企业微信身份源的方法。 配置流程 图1 配置流程 前提条件 请确保您已拥有企业微信开放平台账号管理员权限。

查看更多 →

依赖接口清单描述 企业微信OA接口 SparkPackERP接口 父主题： 开发指南

查看更多 →

流模板共享到客户账号 （5.4.1步骤联系sparkpack团队操作）登录华为云，进入 集成工作台 ，选择流编排-我的流模板，选择"SparkPackERP标准单据同步至企业微信_23-11-0”模板，点击共享 选择"新增共享"，输入客户的华为云账号 流模板共享成功 重复步骤1-3将

查看更多 →

String 云服务器 类型ID。 微版本2.47及以上版本不支持。 links Array of objects 云 服务器 类型相关标记快捷链接信息。 详情请参见表6。 微版本2.47及以上版本不支持。 vcpus Integer 该云服务器规格对应的CPU核数。 在微版本2.47及以上版本支持。

查看更多 →

有聚合（sum/avg/max/min）结果均为0。 只有在rollup和cube操作中对出现在group by中的字段进行聚合结果才是0，非rollup和cube操作其结果跟预期一致。 父主题： SQL和DataFrame

查看更多 →

修改stdms.callback.url中的ip和端口，配置为CIM数据汇聚管理平台的ip和端口 当使用minio存储日志时，配置log.server.enable为true，并配置日志服务（data-log-manage）的ip和端口； 当使用本地文件存储日志时，配置log.server

查看更多 →

Spark作业相关 完整样例代码和依赖包说明请参考：Python SDK概述。 提交批处理作业 DLI 提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

ension/dli/spark-jar/datasource/mongo/* 图2 创建Spark作业-高级配置 高级包括以下两项参数： 选择依赖资源：具体参数请参考表3。 计算资源规格：具体参数请参考表4。 Spark资源并行度由Executor数量和Executor CPU核数共同决定。

查看更多 →