BY）、多表的关联（JOIN）等。 本示例通过创建MySQL CDC源表来监控MySQL的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS MySQL实例，具体步骤可参考：RDS MySQL快速入门。本示例创建的RDS MySQL数据库版本选择为：8.0。 已创建DWS

查看更多 →

Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的

查看更多 →

提交数据质量作业 提交数据质量作业API 查询全局特征配置 父主题： 作业相关API

查看更多 →

提交失败如何解决？ 提交失败，系统会返回resultCode，请参考下表中的解决方案进行检查。 resultCode值 错误码释义 解决方案 100001 接入认证失败 检查账号密码 100002 必选参数为空或缺少 检查消息体参数是否填写完整 100003 参数格式错误 检查消息体格式

查看更多 →

提交报错如何解决？ 请参考如下方法进行检查： 检查是否关闭了SSL校验。 检查接口地址是否正确。 接口地址格式：https://{IP:Port}/common/sms/sendTemplateMessage 其中，IP、Port需替换为对应的账号参数。 父主题： 调用API发送短信

查看更多 →

使用Get读取HBase数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

Spark作业使用咨询 Spark如何将数据写入到 DLI 表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？

查看更多 →

函数如何访问MySQL数据库？ 本章介绍如何访问MySQL数据库，具体操作步骤如下： 确认MySQL数据库是否搭建在VPC的网络中？ 是，为函数设置与MySQL数据库相同的VPC、子网，具体请参考函数配置VPC。 否，具体请参考如何配置外网访问？。 在函数模板中搜索mysql，根

查看更多 →

作业无法提交如何定位？ 问题背景与现象 通过 DataArts Studio 或者在 MRS 管理控制台无法提交作业。 问题影响 作业无法提交，业务中断。 处理步骤 确认异常来源。 查看作业日志中收到的错误码，确认错误码是属于APIG还是MRS。 若是公共APIG的错误码（APIG的错误

查看更多 →

多 域名 如何提交备案 2019年4月22日前的网站，如果一个网站下存在 多个域名 ，需要执行“添加域名”操作，将域名添加至备案的网站下。 2019年4月22日起一个网站只能提交一个域名，如多域名备案，在填写完一个网站信息后，单击“保存并继续添加网站”。 具体操作如下： 操作方法一： 填

查看更多 →

配置Spark读取HBase表数据 操作场景 Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 Spark On HBase 登录Manager界面，选择“集群

查看更多 →

通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

如何区分未读邮件？ 收件箱中邮件左侧有一个蓝色的圆点，表示该邮件未读；邮件左侧无蓝色圆点或者圆点程灰色，表示该邮件已读。 父主题： 邮件

查看更多 →

表示用来加密的KMS密钥ID。该参数可不配置。 当参数“fs.obs.server-side-encryption-type”配置为“SSE-KMS”且该参数未配置时，OBS会使用OBS服务的默认KMS密钥完成加密。 fs.obs.connection.ssl.enabled true 标识是否与OBS建立安全连接。

查看更多 →

使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据 操作场景 DLI Flink作业支持使用其他服务作为数据源和数据输出通道进行数据实时计算操作。 本例采用Kafka服务作为数据源通道，以RDS作为数据输出通道，介绍创建并提交Flink OpenSource

查看更多 →

如何提交紧急高优先作业？ 场景一：仿真工程师新建紧急高优先作业 仿真工程师还未提交作业，需要提交紧急高优先作业，可联系租户管理员生成优先码，并使用优先码提交紧急，具体方法如下。 租户管理员根据仿真工程师提供的资源队列信息和使用者信息，为仿真工程师生成优先码，具体操作请参见生成优先码。

查看更多 →

伙伴提交PO后如何取消？ 伙伴提交PO后无法取消，只能由PDM或BD驳回，如果BD已接受机会点，可以由BD在CRM进行取消。 父主题： 共享给华为（PO）

查看更多 →

是 无 String 数据库的URL。 table-name 是 无 String 读取数据库中的数据所在的表名。 driver 否 无 String 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 无 String 数据库认证用户名，需要和'password'一起配置。

查看更多 →

配置Spark读取HBase表数据 Spark On HBase Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 登录Manager界面，选择“集群

查看更多 →

Sqoop如何连接MySQL 用户问题 Sqoop如何连接MySQL数据库。 处理步骤 在集群上安装客户端，查看客户端“sqoop/lib”目录下是否有MySQL驱动包。 在客户端目录下加载环境变量。 source bigdata_env 执行Kerberos用户认证。 如果集群

查看更多 →

如何读取函数的请求头？ 函数入口中的第一个参数里面包含请求头，您可以打印函数执行结果，从而获取想要的字段。 如下图，event为函数入口的第一个参数，headers为请求头。 父主题： 函数执行

查看更多 →