TABLE来释放空间）；如果没有可删除的历史数据，需要进行磁盘扩容。 针对大量排序查询导致的临时文件过大，建议进行优化SQL查询。 应用中存在大量的排序查询，产生了大量的临时文件。 短期内大量增、删、改，产生大量binlog文件占用空间。 由于大量的事务和写入操作产生了大量的binlog日志文件。

查看更多 →

数据库迁移 为什么要采用mysqldump和pg_dump工具迁移 使用mysqldump导出大表的注意事项 mysqldump的6大使用场景的导出命令 RDS for MySQL实例迁移中，大量binlog文件导致数据盘空间不足 RDS支持导入哪些数据库引擎的数据

查看更多 →

目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader

查看更多 →

RDS for MySQL与 GaussDB (for MySQL)的区别 GaussDB(for MySQL)拥有较好的性能、扩展性和易用性，详情请参见表1。 表1 GaussDB(for MySQL)与RDS for MySQL的差异 类别 RDS for MySQL GaussDB(for

查看更多 →

不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。 值为“true”时，分区列的值为null的数据会被处理； 值为“false”时，分区列的值为null的数据不会被处理。 true

查看更多 →

DDL进度显示 功能介绍 大表的DDL操作往往会比较耗时，社区版MySQL无法感知整个DDL的进行阶段与该阶段的进度，可能给用户带来很大的困扰。 针对以上问题，华为云RDS for MySQL推出了DDL进度显示特性，用户可以通过查询“INFORMATION_SCHEMA.INN

查看更多 →

Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie

查看更多 →

数据空间占用过大。 由于大量的事务和写入操作产生了大量的RDS for MySQL Binlog日志文件。 应用中存在大量的排序查询，产生了过多的临时文件。 解决方案 随着业务数据的增加，原来申请的数据库磁盘容量可能会不足，建议用户扩容磁盘空间，确保磁盘空间足够。 如果原有规格的磁盘已是最大，请先升级规格。

查看更多 →

不建议分区列选择类型为float或double的字段，因为精度问题，可能导致分区列字段的最小值、最大值所在记录无法导入。 id 分区列空值 配置对数据库列中为null值记录的处理方式。 值为“true”时，分区列的值为null的数据会被处理； 值为“false”时，分区列的值为null的数据不会被处理。 true

查看更多 →

HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS

查看更多 →

如何在导入Hive表时指定输出的文件压缩格式？ 问题现象 如何在导入Hive表时指定输出的文件压缩格式？ 处理步骤 当前Hive支持以下几种压缩格式： org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress

查看更多 →

参数类型 备注 filePath 是 String OBS中源文件存放的绝对路径。 modelName 是 String 选择需要使用的规则名称，例如：fiber。 outputPath 是 String OBS中结果文件的存放路径。 bucketName 是 String OBS桶名称。

查看更多 →

导入 GS_142010105 错误码： out of memory. 解决方案：1.请确保 CS V文件中的引号是成对的。 2.请检查报价选项是否合理。 3.检查单行数据是否超过1GB。您可以根据实际情况手动删除该行。 level： ERROR GS_142050163 错误码： connection

查看更多 →

diate的日志文件转移到done目录 否 MR任务日志丢失 /tmp/mr-history 固定目录 存储预加载历史记录文件的路径 否 MR历史任务日志数据丢失 /tmp/hive-scratch 固定目录 Hive运行时生成的临时数据，如会话信息等 否 当前执行的任务会失败 /user/{user}/

查看更多 →

数据空间占用过大。 由于大量的事务和写入操作产生了大量的RDS for MySQL Binlog日志文件。 应用中存在大量的排序查询，产生了过多的临时文件。 解决方案 随着业务数据的增加，原来申请的数据库磁盘容量可能会不足，建议用户扩容磁盘空间，确保磁盘空间足够。 如果原有规格的磁盘已是最大，请先升级规格。

查看更多 →

internalReleaseLease(FSNamesystem.java:3937) 根因分析：被上传的文件损坏，因此会上传失败。 验证办法：cp或者scp被拷贝的文件，也会失败，确认文件本身已损坏。 解决办法 文件本身损坏造成的此问题，采用正常文件进行上传。 父主题： 使用HDFS

查看更多 →

Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie

查看更多 →

OBS目录导入数据规范说明 导入数据集时，使用存储在OBS的数据时，数据的存储目录以及文件名称需满足ModelArts的规范要求。 当前只有“图像分类”、“物体检测”、“图像分割”、“文本分类”和“声音分类”标注类型支持按标注格式导入。 其中，“表格”类型的数据集，支持从OBS、

查看更多 →

快速模式，利用了数据库的导入工具，如MySQL的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。 -direct-split-size 在使用上面direct直接导入的基础上，对导入的流按字节数分块，特别是使用直连模式从PostgreSQL导入数据时，可以将

查看更多 →

对按照时间特征存储和访问的大表设计成分区表。 分区键一般选离散度高、常用于查询过滤条件中的时间类型的字段。 分区间隔一般参考高频的查询所使用的间隔，需要注意的是针对列存表，分区间隔过小（例如按小时）可能会导致小文件过多的问题，一般建议最小间隔为按天。 场景6：行存表求count值 某行存大表频繁全

查看更多 →

您可以导入本项目或使用其他项目中的数据生成数据库。 选择好文件后，通过设置数据的分隔符、跳过的行数来设置有效数据的起始位置。 常见的分隔符有“;”、“,”、“\t”，除此之外您也可以使用其他分隔符。以图1为例，分隔符为制表符，创建数据库时，分隔符填写为“\t”，有效数据从第2行开始，跳过文件行数填写为1。

查看更多 →