使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格式增

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格式增

查看更多 →

字段压缩 为了减少数据页面存储空间占用，节省成本， GaussDB (for MySQL)推出细粒度的字段压缩，提供ZLIB和ZSTD两种压缩算法，用户可以综合考虑压缩比和压缩解压性能影响，选择合适的压缩算法，对不频繁访问的大字段进行压缩。同时，字段压缩特性提供自动压缩的能力，帮助用户更方便地使用此特性。

查看更多 →

案例：调整中间表存储方式 现象描述 在GaussDB中行存表天然的使用行执行引擎，列存表天然的使用列执行引擎。如果一个SQL语句涉及的表既有行存表又有列存表，系统会自动选择行执行引擎。由于列执行引擎的性能(除indexscan相关的算子)比行执行引擎性能要好很多，因此一般建议使用

查看更多 →

案例：调整中间表存储方式 在GaussDB(DWS)中行存表使用行执行引擎，列存表使用列执行引擎。如果一个SQL语句涉及的表既有行存表又有列存表，系统会自动选择行执行引擎。由于列执行引擎的性能(除indexscan相关的算子)比行执行引擎性能要好很多，因此一般建议使用列存表。特别

查看更多 →

数据压缩 概述 将数据压缩后到本地文件系统。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 无 参数说明 参数 子参数 参数说明 data_delimeter - 数据分割符

查看更多 →

OLTP表压缩 GS_ILM GS_ILM_OBJECT GS_ILM_JOBDETAIL GS_ILM_PA RAM GS_ILM_POLICY GS_ILM_TASK GS_ILM_TASKDETAIL GS_ILM_TICKER 父主题： 系统表

查看更多 →

OLTP表压缩 GS_ILM GS_ILM_JOBDETAIL GS_ILM_OBJECT GS_ILM_PARAM GS_ILM_POLICY GS_ILM_TASK GS_ILM_TASKDETAIL GS_ILM_TICKER 父主题： 系统表

查看更多 →

OLTP表压缩 GS_ADM_ILMDATAMOVEMENTPOLICIES GS_ADM_ILMOBJE CTS GS_ADM_ILMPOLICIES GS_ADM_ILMEVALUATIONDETAILS GS_ADM_ILMPARAMETERS GS_ADM_ILMRESULTS

查看更多 →

配置智能压缩 开启智能压缩功能时，CDN会自动压缩您的静态文件。智能压缩能够有效缩小传输文件的大小，提升传输效率，减少带宽消耗。智能压缩包含Gzip压缩和Brotli压缩，Brotli压缩的性能比Gzip压缩提升约15%~25%。 注意事项 智能压缩默认对格式为 .js、.html、

查看更多 →

OLTP表压缩 GS_ADM_ILMDATAMOVEMENTPOLICIES GS_ADM_ILMOBJECTS GS_ADM_ILMPOLICIES GS_ADM_ILMEVALUATIONDETAILS GS_ADM_ILMPARAMETERS GS_ADM_ILMRESULTS

查看更多 →

使用ZSTD_JNI压缩算法压缩Hive ORC表 操作场景 ZSTD_JNI是ZSTD压缩算法的native实现，相较于ZSTD而言，压缩读写效率和压缩率更优，并允许用户设置压缩级别，以及对特定格式的数据列指定压缩方式。 目前仅ORC格式的表支持ZSTD_JNI压缩方式，而普通的ZS

查看更多 →

来讲，压缩级别越高，压缩比也越大，压缩时间也越长；反之亦然。实际压缩比取决于加载的表数据的分布特征。 table.compress.level指定表数据同一压缩级别下的不同压缩水平，它决定了同一压缩级别下表数据的压缩比以及压缩时间。对同一压缩级别进行了更加详细的划分，为用户选择压

查看更多 →

Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFi

查看更多 →

OBS的数据冗余存储方式是什么？ OBS采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。 在满足同等可靠性要求的前提下，EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶，在AZ内的节点间使用EC算法做数据冗余；“多AZ”的桶在AZ内

查看更多 →

Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFi

查看更多 →

如何通过专线方式对接云下存储网关？ 在 VPC终端节点 服务中购买API网关的终端节点（com.myhuaweicloud.cn-north-4.api）。 单击已购买的终端节点名称，在“基本信息”中获取“节点IP”。 配置线下网关的/etc/hosts，将csg的 域名 指向到该IP地址。

查看更多 →

配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet

查看更多 →

如何制作镜像压缩包？ 使用docker save命令可将容器镜像制作成tar或tar.gz文件压缩包，具体命令格式如下： docker save [OPTIONS] IMAGE [IMAGE...] OPTIONS说明：--output、-o，表示导出到文件。 示例： $ docker

查看更多 →

配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet

查看更多 →

存储 存储是保存数据的对象，通常来说，同一种设备的数据会保存在同一个存储中。存储中定义了设备的标签与设备的属性。其中设备ID（deviceId）就是最常用的一种标签（tag）。一个标签包括标签名与标签值，例如设备ID：标签名为 deviceId，而它的标签值则是具体的某个设备ID

查看更多 →