使用ZSTD_JNI压缩算法压缩Hive ORC表 操作场景 ZSTD_JNI是ZSTD压缩算法的native实现，相较于ZSTD而言，压缩读写效率和压缩率更优，并允许用户设置压缩级别，以及对特定格式的数据列指定压缩方式。 目前仅ORC格式的表支持ZSTD_JNI压缩方式，而普通

查看更多 →

安装链代码时提示解压失败？ 问题现象 安装链代码失败，提示：链代码文件解压失败，可能原因是压缩包格式或内容错误，或未包含有效的链代码文件。 解决方法 检查链代码文件的zip包格式，建议使用WinRAR工具或Linux自带的zip工具打包链代码文件。 父主题： 链代码管理类

查看更多 →

击“解压”。 解压全部文件数量限制为一万个文件；解压部分文件数量限制为999个文件。 如果在压缩文件时设置了加密密码，未设置对文件目录进行加密，则解压时需要输入加密密码。 未勾选文件时单击“解压”，默认解压压缩包内当前目录下所有文件。 无法解压超过20GB的压缩包。 在“解压到”

查看更多 →

安装配置JDK、上传并解压 安装配置JDK 执行安装jdk命令 yum install java-1.8.0-openjdk 配置环境变量 # vim /etc/profile #JDK export JAVA_HOME=/usr/lib/jvm/java export CLASSPATH=

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

数据压缩类型，当前支持的压缩算法： lz4：综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy：其目标不是最大限度压缩或者兼容其他压缩格式，而是旨在提供高速压缩速度和合理的压缩率。 zstd：一种新的无损压缩算法，旨在提供快速压缩，并实现高压缩比。 lz4 父主题：

查看更多 →

Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题： 使用Hive

查看更多 →

是 String 文件id,调用文件盒子上传文件接口时，返回体返回的id即为上传文件成功的文件ID。 表2 Query参数 参数 是否必选 参数类型 描述 agent-id 是 String 进入AI原生应用引擎，在左侧导航栏选择“Agent编排中心 > 我的Agent”，选择“我创建的”页签，选择列表操作列的“更多

查看更多 →

Xz压缩文件 19 Gzip文件 44 Zip压缩文件 20 Hdf文件 45 Zlib压缩文件 21 He5文件 46 Zstd压缩文件 22 Iso-19139地理信息文件 47 Zstd字典文件 23 Iso压缩文件 48 Z压缩文件 24 Jar文件 49 可执行文件 25

查看更多 →

文件管理文件下载 功能介绍 文件管理文件下载 调用方法 请参见如何调用API。 URI GET /v2/keystore/download 表1 Query参数 参数 是否必选 参数类型 描述 name 是 String 文件名 domain_id 是 String 租户ID id

查看更多 →

删除文件管理文件 功能介绍 删除文件管理文件 调用方法 请参见如何调用API。 URI DELETE /v2/keystore/{keystore_id}/delete 表1 路径参数 参数 是否必选 参数类型 描述 keystore_id 是 String 文件秘钥Id 请求参数

查看更多 →

文件盒子上传文件 功能介绍 在文件盒子中上传文件，基于上传文件问答。 URI POST https://aiae.appstage.myhuaweicloud.com/v1/routes/open/fileBox/upload 请求参数 表1 请求Header参数 参数 是否必选

查看更多 →

服务，其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryServer进程时，内存大小就已经定了。因此当日志文件很大时，加载解析这些文件就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。

查看更多 →

服务，其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryServer进程时，内存大小就已经定了。因此当日志文件很大时，加载解析这些文件就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。

查看更多 →

CloudTable HBase集群支持哪些压缩算法？ 当前CloudTable HBase集群支持的压缩算法有LZ4、SNAPPY、ZSTD、BZIP2、LZO和GZ。 父主题： 通用类

查看更多 →

MRS 集群内节点是否支持降配操作？ 不同版本的Hive之间是否可以兼容？ 数据存储在OBS和HDFS有什么区别？ 10亿级数据量场景的解决方案有哪些？ zstd压缩算法有什么优势？

查看更多 →

withBodyCompressEnabled(true) .withBodyCompressType(CompressionType.ZSTD) // 配置压缩算法，当前支持lz4和zstd，默认值为lz4 // 以下配置失败时的重试次数 .withProperty(DISConfig

查看更多 →

如何导入大文件到Notebook中？ 大文件（大于100MB的文件） 针对大文件，建议使用OBS服务上传文件。使用OBS客户端，将本地文件上传至OBS桶中，然后使用ModelArts SDK从OBS下载文件至Notebook本地。 使用OBS客户端上传文件的操作指导：上传文件。 使用ModelArts

查看更多 →

Browser。 单击待上传文件或文件夹的桶。 单击“上传”，系统弹出“上传对象”对话框，如图1所示。 您可以选择文件上传，详见4；也可以选择文件夹上传，详见5。 图1 上传对象 单击“选择文件”，打开本地浏览框。选择待上传文件后，单击“打开”。 您最多可同时选择500个文件或文件夹进行上传。

查看更多 →

移动文件或文件夹 移动文件或文件夹的实现方式：复制文件或文件夹到指定位置，然后删除原有文件或文件夹。 批量移动文件数量超过万级别时，建议使用obsutil工具，详见复制对象和删除对象。 前提条件 用户需要有待操作文件的ACL读写权限。 操作步骤 登录OBS Browser。 选中待配置的桶，进入桶界面。

查看更多 →

搜索文件或文件夹 OBS Browser支持按前缀搜索文件或文件夹。 操作步骤 登录OBS Browser。 单击目标文件或文件夹所在的桶。 单击。 父主题： 对象管理

查看更多 →