如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE

查看更多 →

如何删除影像文件 删除影像文件方式通常有以下两种： 在“影像列表”中，搜索影像并删除。 删除对应的影像上传任务。 父主题： 常见问题

查看更多 →

MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要 DLI 与MySQL建立增强型跨

查看更多 →

如何执行后台逻辑 什么是执行后台逻辑 在标准页面执行后台逻辑，即在标准页面组件的事件中，调用其他服务补充和实现当前事件的行为。 例如，在员工信息录入页面中，在信息“提交”按钮的“点击”事件中，调用API，将表单中的员工信息发送到数据库进行保存。或者调用在标准页面中的服务编排或脚本，并对需要保存的信息进行预处理。

查看更多 →

读取文件报错，如何正确读取文件 问题现象 创建训练作业如何读取“json”和“npy”文件。 训练作业如何使用cv2库读取文件。 如何在MXNet环境下使用torch包。 训练作业读取文件，出现如下报错： NotFoundError (see above for traceback):

查看更多 →

设置服务编排的入参和出参 拖拽“基本”下的“脚本”图元至画布中。 单击，如图9所示，设置页面参数。 将服务编排中的变量赋值给脚本中的输入参数，脚本中的输出参数赋值给服务编排中的变量。 图9 配置脚本 表8 脚本配置参数说明 参数 参数说明 脚本 调用的脚本名称，选择“命名空间_ResourceListScript”。

查看更多 →

生成可执行文件 需要Linux开发环境，可利用CLion远程调试或者将工程打包到 Linux服务器 上编译生成可执行文件 编译生成可执行文件(MyCApp)，可以通过CLion之间编译生成，也可以通过在Linux 服务器 上通过命令行生成。 下面提供在Linux服务器使用命令行生成的方法。

查看更多 →

执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括HDFS的客户端。例如安装目录为“/opt/client”。

查看更多 →

执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于 MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H

查看更多 →

在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 移动脚本或脚本目录。 方式一：通过右键的“移动”功能。 在脚本目录中选择需要移动的脚本或脚本文件夹，右键单击脚本或脚本文件夹名称，选择“移动”。 图1 移动 在弹出的“移动脚本”或“移动目录”页面，配置如表1所示的参数。 图2 移动脚本 图3 移动目录

查看更多 →

上传一个视频文件需要多久？ 一个视频文件上传所需时间与文件的大小、本地网络状态等有关，此外，若下发的上传任务过多，还需要排队处理。正常情况下，上传一个1GB大小的视频文件，所耗时间在2分钟以内。 父主题： 上传问题

查看更多 →

数据库的应用程序SQL脚本。DSC不需要连接数据库，可在离线模式下实现零停机迁移。在 GaussDB (DWS)中通过执行迁移后的SQL脚本即可恢复数据库，从而实现线下数据库轻松上云。 DSC支持迁移Teradata、Oracle、Netezza、MySQL和DB2数据库的SQL脚本。 下载DSC

查看更多 →

修改SQL语句指定到具体字段（需要修改脚本）。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 原来的脚本： sqoop import --connect 'jdbc:mysql://10.160.5.65/huawei_pos_online_00

查看更多 →

将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理

查看更多 →

bk_user ，进入自定义脚本目录，然后执行vi mysql_freeze.sh，打开MySQL示例冻结脚本。 将下图所示的MYSQL_USER与MYSQL_PASSWORD修改为实际值，其中MYSQL_PASSWORD为步骤1的屏幕输出。 也可以使用sed命令来直接进行修改：

查看更多 →

GDS导入数据时，脚本执行报错：out of memory 问题现象 在使用GDS导入数据时，脚本执行报错“out of memory”。 原因分析 使用copy命令或者导入数据时，源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现，比如引号，文件格式异常导致系统识别的单行数据过大超过1GB。

查看更多 →

执行脚本任务失败，提示 ：agent not found 问题现象 在E CS 执行脚本任务时失败，系统提示“agent not found”。 可能原因 没有正确安装UniAgent。 UniAgent为非“运行中”状态。 解决方法 检查UniAgent的状态，UniAgent状态

查看更多 →

使用执行shell脚本创建并部署通用应用 基于执行shell脚本实现通用的应用部署。 该模板涉及的部署步骤如下所示： 下载软件包 执行部署脚本 健康测试 该模板需要填写的参数如表1所示。 表1 模板参数说明 参数 说明 host_group 该应用部署的目标环境。 package_url

查看更多 →

执行DLI脚本，报Invalid authentication怎么办？ 可能原因 执行DLI脚本，提示报错信息Invalid authentication，可能是由于权限不足引起的。 解决方案 请确认当前用户在IAM中是否具有DLI Service User或者DLI Service

查看更多 →

执行磁盘初始化脚本后，Oralce、MySQL和SQL Server等数据库系统日志出现Msg 823错误怎么办？ 问题描述 云服务器 新增磁盘，开机自动执行磁盘初始化脚本后，Oralce、MySQL和SQL Server等数据库系统日志Msg 823错误。 可能原因 磁盘初始化脚

查看更多 →

为Python 2.7安装PyMySQL依赖包，并指定此依赖包的安装路径为本地的/tmp/pymysql下，可以执行如下命令。 pip install PyMySQL --root /tmp/pymysql 执行成功后，执行以下命令。 cd /tmp/pymysql/ 进入子目录直到si

查看更多 →