t，可前往地区和终端节点查询。 cp ~/spark-obs/conf/spark-defaults.conf.template ~/spark-obs/conf/spark-defaults.conf cat >> ~/spark-obs/conf/spark-defaults

查看更多 →

、RC和PARQUET）。 说明： PARQUET格式是一种列式存储格式，PARQUET要求Loader的输出字段名和SparkSQL表中的字段名保持一致。 Hive 1.2.0版本之后，Hive使用字段名称替代字段序号对ORC文件进行解析，因此，Loader的输出字段名和SparkSQL表中的字段名需要保持一致。

查看更多 →

“获取审批详情”，参数如图所示： 添加执行动作，选择连接器为创建的SparkPackERP连接器，执行动作为“微信-SparkPackERP数据转换”，参数如图所示（此步骤使用函数将企业微信数据结构转换成SparkPackERP数据结构，也可以封装一些有关审批信息的需要的字段）：

查看更多 →

适用场景 本文主要指导实施顾问如何实施SparkPackERP与企业微信的集成，当前支持的OA场景如下： 表1 基础场景 涉及单据 数据流向 草稿单据同步 采购申请（实施参考5.4.3.3.1） SparkPackERP->OA 草稿单据审批 采购申请（实施参考5.4.3.3.2与5

查看更多 →

箱就更好了。其他像163、QQ等免费邮箱服务不稳定，不一定可以发送邮件成功的。 公众号绑定成功（认证服务号），在微信群发时显示“用户查询错误”？ 您需要在管理后台的“微信管理>用户管理”中，单击“用户同步”，然后再群发信息。 当客户在留言板块留言时，如何设置可以通过邮件提醒网站所有者？

查看更多 →

资源的访问范围。 目前包括角色（粗粒度授权）和策略（细粒度授权）。具体的权限介绍和授权操作请参考《 数据湖探索 用户指南》。 创建队列。在“资源管理 > 队列管理”下，单击右上角“购买队列”，进入购买队列页面选择“通用队列”，即Spark作业的计算资源。 如果创建队列的用户不是管理员

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1

查看更多 →

如果未设置 MRS 作业名称且选择直连模式时，节点名称只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符，不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

集成企业微信身份源 OneAccess支持通过企业微信身份源导入用户和组织信息，实现OneAccess实时同步企业微信身份源中用户和组织信息。 本文主要介绍OneAccess集成企业微信身份源的方法。 配置流程 图1 配置流程 前提条件 请确保您已拥有企业微信开放平台账号管理员权限。

查看更多 →

如何使用PySpark连接MRS Spark？ 问： 如何在E CS 服务器 上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials

查看更多 →

0 23.11.0 增加 集成工作台 绑定 域名 步骤 2024.12.04 24.12.0 24.1.0 完善域名绑定和流实施方案 父主题： SparkPack 企业ERP企业微信集成指南

查看更多 →

SparkPack 企业ERP和钉钉集成 修订记录 应用场景介绍 集成方案设计 依赖接口清单描述 集成实施最佳实践 SQL版本审批流部署流程

查看更多 →

batchJob.asyncSubmit(); SparkJobStatus sparkJobStatus=batchJob.getStatus(); System.out.println(sparkJobStatus); } 查询批处理作业日志 DL

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（MRS 3.x之前版本）

查看更多 →

Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →