如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE

查看更多 →

AstroZero脚本支持使用哪些语言和库？ 在AstroZero脚本中执行sql语句时，可以不用@useObject修饰数据对象吗？ 在AstroZero脚本中，如何返回zip压缩文件内容？ 如何通过AstroZero脚本，导出xls文件让用户下载？ AstroZero脚本中是否支持m

查看更多 →

如何执行后台逻辑 什么是执行后台逻辑 在标准页面执行后台逻辑，即在标准页面组件的事件中，调用其他服务补充和实现当前事件的行为。 例如，在员工信息录入页面中，在信息“提交”按钮的“点击”事件中，调用API，将表单中的员工信息发送到数据库进行保存。或者调用在标准页面中的服务编排或脚本，并对需要保存的信息进行预处理。

查看更多 →

入账号，用于连接目标机器（选择的资源）。 资源 选择需要使用的资源机器，在机器上执行作业脚本。 选择脚本 选择执行脚本。 脚本参数 输入脚本参数。 分批执行 作业类型选择虚拟机时，可以选择是否分批执行，如勾选，还需要设置每次下发的数量或百分数，并且支持选择失败后暂停确认。 作业描述

查看更多 →

图1 脚本控制台 配置快速脚本运维信息。 表1 快速脚本运维参数说明 参数 说明 执行脚本 输入针对主机资源需执行的脚本。 可选择“脚本管理”中脚本内容，也可新上传本地脚本文件。 脚本参数 （可选）自定义脚本参数。 执行账户 “选择”已创建的SSH协议类型资源账户或账户组。 “重置”已选择的资源账户或账户组。

查看更多 →

读取文件报错，如何正确读取文件 问题现象 创建训练作业如何读取“json”和“npy”文件。 训练作业如何使用cv2库读取文件。 如何在MXNet环境下使用torch包。 训练作业读取文件，出现如下报错： NotFoundError (see above for traceback):

查看更多 →

设置服务编排的入参和出参 拖拽“基本”下的“脚本”图元至画布中。 单击，设置页面参数。 将服务编排中的变量赋值给脚本中的输入参数，脚本中的输出参数赋值给服务编排中的变量。 图9 配置脚本 表8 脚本配置参数说明 参数 参数说明 脚本 调用的脚本名称，选择“命名空间_ResourceListScript”。

查看更多 →

AstroZero支持连接第三方数据库吗？ 如何关闭业务阈值邮件提醒功能？ 应用后端开发 如何区分不同账户间的数据库对象？ 如何刷新AstroZero对象的布局页面？ 如何彻底删除AstroZero对象目录树中的数据？ 在AstroZero服务编排、工作流或脚本中，邮件发送功能不可用？

查看更多 →

在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 移动脚本或脚本目录。 方式一：通过右键的“移动”功能。 在脚本目录中选择需要移动的脚本或脚本文件夹，右键单击脚本或脚本文件夹名称，选择“移动”。 图1 移动 在弹出的“移动脚本”或“移动目录”页面，配置如表1所示的参数。 图2 移动脚本 图3 移动目录

查看更多 →

生成可执行文件 需要Linux开发环境，可利用CLion远程调试或者将工程打包到 Linux服务器 上编译生成可执行文件 编译生成可执行文件(MyCApp)，可以通过CLion之间编译生成，也可以通过在Linux 服务器 上通过命令行生成。 下面提供在Linux服务器使用命令行生成的方法。

查看更多 →

执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于 MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H

查看更多 →

执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H

查看更多 →

上传数据库驱动文件 操作场景 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取事件推送至Kafka。通过CDLService WebUI创建数据库连接时，可将数据库对应的驱动文件通过界面上传，方便统一管理。 前提条件 已获取待连接数据库对应的驱动Jar包。

查看更多 →

执行Python脚本报错：Agent need to be updated？ 问题原因 创建的主机连接的 CDM 集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题： 数据开发

查看更多 →

创建节点时执行安装前/后脚本 应用现状 在创建节点时，对于需要在节点上安装一些工具或者进行安全加固等操作时，可以使用安装前/后脚本实现。本文为您提供正确使用安装前/后脚本的指导，帮助您了解和使用安装前/后脚本。如果有进阶的安装脚本使用需求，可以将脚本存放在OBS中，避免脚本字符数超

查看更多 →

数据库执行语句函数 与数据库服务器的连接成功建立，便可以使用这里描述的函数执行SQL查询和命令。 PQexec PQprepare PQresultStatus PQclear 父主题： libpq接口参考

查看更多 →

数据库执行语句函数 与数据库服务器的连接成功建立，便可以使用这里描述的函数执行SQL查询和命令。 PQclear PQexec PQexecParams PQexecParamsBatch PQexecPrepared PQexecPreparedBatch PQfname PQgetvalue

查看更多 →

数据库执行语句函数 与数据库服务器的连接成功建立，便可以使用这里描述的函数执行SQL查询和命令。 PQexec PQprepare PQresultStatus PQclear 父主题： libpq接口参考

查看更多 →

数据库执行语句函数 与数据库服务器的连接成功建立，便可以使用这里描述的函数执行SQL查询和命令。 PQclear PQexec PQexecParams PQexecParamsBatch PQexecPrepared PQexecPreparedBatch PQprepare 父主题：

查看更多 →

数据库执行语句函数 与数据库服务器的连接成功建立，便可以使用这里描述的函数执行SQL查询和命令。 PQexec PQprepare PQresultStatus PQclear 父主题： libpq接口参考

查看更多 →

数据库执行语句函数 与数据库服务器的连接成功建立，便可以使用这里描述的函数执行SQL查询和命令。 PQclear PQexec PQexecParams PQexecParamsBatch PQexecPrepared PQexecPreparedBatch PQprepare PQfnumberEx

查看更多 →