将集群角色spark-role和上一步创建服务账号绑定，并指定default命名空间授予edit的clusterrole权限 kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

多保留20个文件，压缩存储。 日志大小和压缩文件保留个数可以在 FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

SQL版本审批流部署流程 SQL版本是通过配置SQL语句和字段关系创建审批流程，相对于接口版本来说，配置简单、效率提升。 共享流模板到客户账号 将共享流模板复制到我的流模板 基于我的流模板创建流 父主题： SparkPack 企业ERP泛微OA集成指南

查看更多 →

依赖接口清单描述 企业微信OA接口 SparkPackERP接口 父主题： 开发指南

查看更多 →

lyevent，请求体中添加创建流程所需结构： 响应体Json结构配置如下： 保存。 父主题： SparkPackERP和OA的接口封装到 集成工作台

查看更多 →

修改stdms.callback.url中的ip和端口，配置为CIM数据汇聚管理平台的ip和端口 当使用minio存储日志时，配置log.server.enable为true，并配置日志服务（data-log-manage）的ip和端口； 当使用本地文件存储日志时，配置log.server

查看更多 →

Spark作业相关 完整样例代码和依赖包说明请参考：Python SDK概述。 提交批处理作业 DLI 提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

ension/dli/spark-jar/datasource/mongo/* 图2 创建Spark作业-高级配置 高级包括以下两项参数： 选择依赖资源：具体参数请参考表3。 计算资源规格：具体参数请参考表4。 Spark资源并行度由Executor数量和Executor CPU核数共同决定。

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

success...') return { 'access_token': token } 父主题： 创建到SparkPackERP和OA集成链路

查看更多 →

有聚合（sum/avg/max/min）结果均为0。 只有在rollup和cube操作中对出现在group by中的字段进行聚合结果才是0，非rollup和cube操作其结果跟预期一致。 父主题： SQL和DataFrame

查看更多 →

实施指南 适用场景 前提条件 前期准备 集成流实施 其它说明 父主题： SparkPack 企业ERP企业微信集成指南

查看更多 →

B1->OA 正式单据审批 采购订单 OA->B1 当前列出的只是示例单据，其它单据场景参考后续实施内容进行修改配置。 父主题： SparkPack 企业ERP泛微OA集成指南

查看更多 →

23.11.0 23.9.0 初始版本 2024.11.20 24.11.0 24.1.0 增加sql版本实施流程 父主题： SparkPack 企业ERP泛微OA集成指南

查看更多 →