Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的

查看更多 →

MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要 DLI 与MySQL建立增强型跨

查看更多 →

MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨

查看更多 →

数据读取 单表查询 多表连接查询 子查询表达式 WITH表达式 UNION操作符的使用

查看更多 →

流式上传（PUT上传） 使用场景 如果待上传的文本文件、图片、视频等资源小于5GB，您可以选择流式上传，即PUT操作的方式将对象上传到桶中。 PUT上传中参数通过请求头域传递，上传需在URL中指定对象名，请求行为如下所示： PUT /ObjectName HTTP/1.1 虽然O

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

Mysql数据库 介绍APM采集的Mysql数据库指标的类别、名称、含义等信息。 表1 Mysql数据库采集参数 参数名 数据类型 应用类型 默认值 Agent支持的起始版本 Agent支持的终止版本 描述 是否采集原始sql radio JAVA false 2.0.0 - 调

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

单击页面左上角的，选择“数据库 > 云数据库 RDS”，进入RDS信息页面。 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务登录界面。 图1 登录数据库 正确输入数据库用户名和密码，单击“登录”，即可进入您的数据库。 选择目标数据库，单击“SQL查询”，查询窗口中使用show

查看更多 →

读取模型 概述 读取spark pipeline model类型的模型文件。 输入 无 输出 spark pipeline model类型的模型对象 参数说明 参数 参数说明 input_model_path 模型文件所在的路径 样例 params = { "input_model_path":

查看更多 →

数据读取 单表查询 多表连接查询 WITH表达式 跨逻辑集群数据读写

查看更多 →

数据读取 单表查询 多表连接查询 WITH表达式

查看更多 →

如何读取函数的请求头？ 函数入口中的第一个参数里面包含请求头，您可以打印函数执行结果，从而获取想要的字段。 如下图，event为函数入口的第一个参数，headers为请求头。 父主题： 函数执行

查看更多 →

读取数据 概述 读取格式化的数据，支持csv、json、parquet等。 输入 无 输出 数据集 参数说明 参数 参数说明 input_file_path 数据文件的绝对路径、相对路径、目录路径或者文件路径均可 format 文件格式，支持csv等 has_header 是否包含表头

查看更多 →

作业开发 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？

查看更多 →

MySQL数据库兼容MySQL模式 MySQL数据库兼容性概述 数据类型 系统函数 操作符 字符集 排序规则 SQL 驱动 父主题： 分布式

查看更多 →

使用Sqoop Sqoop如何连接MySQL Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误 通过sqoop

查看更多 →

如何查看RDS for MySQL数据库的连接情况 您可以通过以下任意一种方式查看RDS for MySQL数据库的连接情况： 在RDS for MySQL实例上以管理员账户root执行以下命令，查看当前实例上正在运行的线程。 show full processlist; Id：线程ID标识，可通过kill

查看更多 →

如何查看 GaussDB (for MySQL)数据库的连接情况 您可以通过以下任意一种方式查看GaussDB(for MySQL)数据库的连接情况： 在GaussDB(for MySQL)实例上以管理员账户root执行以下命令，查看当前实例上正在运行的线程。 show full processlist;

查看更多 →

在页面左上角单击，选择“数据库 > 云数据库 GaussDB(for MySQL)”。 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务登录界面。 正确输入数据库用户名和密码，单击“登录”，即可进入您的数据库。 图1 登录数据库 选择目标数据库，选择“SQL操作

查看更多 →

Service，简称DAS）是一款专业的简化数据库管理工具，您可以通过数据管理服务SQL控制台查看数据库和系统的字符集。 操作步骤 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面左上角单击，选择“数据库 > 云数据库 GaussDB(for MySQL)”。 在“实例管理”页面

查看更多 →