对象存储服务 OBS     

对象存储服务(Object Storage Service)是一款稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。

 
 

    文件压缩存储 更多内容
  • 方案概述

    企业业务系统将文件压缩后上传至此桶; 在对象存储服务(OBS)上创建一个目标桶,企业业务系统从该桶中获取解压后的文件; 在 函数工作流 服务(FunctionGraph)上创建一个Python语言的解压函数,当有压缩包上传到OBS服务上的源桶时,自动触发该函数解压文件并保存到目标桶。

    来自:帮助中心

    查看更多 →

  • CarbonData

    多次的Push down优化,从而对TB级数据查询进行最快响应。 高效率数据压缩:CarbonData使用轻量级压缩和重量级压缩的组合压缩算法压缩数据,可以减少60%~80%数据存储空间,大大节省硬件存储成本。 关于CarbonData的架构和详细原理介绍,请参见:https://carbondata

    来自:帮助中心

    查看更多 →

  • 配置HTTP源端参数

    com/object-key 列表文件 选择“是”,将待上传的文本文件中所有URL对应的文件拉取到OBS,文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中,这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm

    来自:帮助中心

    查看更多 →

  • 配置HTTP源端参数

    com/object-key 列表文件 选择“是”,将待上传的文本文件中所有URL对应的文件拉取到OBS,文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中,这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm

    来自:帮助中心

    查看更多 →

  • 列举压缩包目录

    String 解压后的文件ID,注:仅解压文件后返回 name String 文件文件夹在压缩包内全路径 fileSize Long 文件大小,(单位B) type Integer 请参考文件类型fileType的定义 1:内容 2:目录 updatedAt Long 文件修改毫秒时间戳

    来自:帮助中心

    查看更多 →

  • 存储配置

    parquet.compression.ratio 随着记录从日志文件移动到parquet,预期会进行额外压缩的比例。 用于merge_on_read存储,以将插入内容发送到日志文件中并控制压缩parquet文件的大小。 0.35 父主题: Hudi常见配置参数

    来自:帮助中心

    查看更多 →

  • 在线预览和解压压缩包

    进入文件列表页面。例如:进入个人空间文件列表页面。 在“分享给我”、“回收站”、“查看分享链接”页面不支持在线预览和解压压缩包。 在文件列表右上角“全部类型”下拉框中选择“压缩包”过滤出压缩文件。 单击待预览压缩文件文件名,系统自动生成压缩包预览页面,用户可以看到压缩包内的全部文件压缩文件时设置了加

    来自:帮助中心

    查看更多 →

  • CarbonData基本原理

    的Push down优化,从而对TB级数据查询进行最快响应。 高效率数据压缩:CarbonData使用轻量级压缩和重量级压缩的组合压缩算法压缩数据,可以减少60%~80%数据存储空间,很大程度上节省硬件存储成本。 CarbonData索引缓存 服务器 为了解决日益增长的数据量给dr

    来自:帮助中心

    查看更多 →

  • MySQL配置

    compress.level 指定表数据同一压缩级别下的不同压缩水平,它决定了同一压缩级别下表数据的压缩比以及压缩时间。对同一压缩级别进行了更加详细的划分,为用户选择压缩比和压缩时间提供了更多的空间。总体来讲,此值越大,表示同一压缩级别下压缩比越大,压缩时间越长;反之亦然。 0 1 2 3

    来自:帮助中心

    查看更多 →

  • 开始使用

    开始使用 登录华为云对象存储服务控制台,选择快速部署步骤3创建的OBS桶,上传日志文件压缩包(注意:上传文件需为“zip”格式压缩文件,若不是会导致日志文件上传LTS失败。)。 图1 上传日志压缩文件 登录华为云云日志服务控制台,选择快速部署步骤3创建的日志组名称,单击进入,即可查看日志流。

    来自:帮助中心

    查看更多 →

  • Hive ORC数据存储优化

    ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。

    来自:帮助中心

    查看更多 →

  • 开始使用

    开始使用 登录华为云对象存储服务控制台,选择快速部署步骤3创建的OBS桶,上传日志文件压缩包(注意:上传文件需为“zip”格式压缩文件,如果不是会导致日志文件上传LTS失败。)。 图1 上传日志压缩文件 登录华为云云日志服务控制台,选择快速部署步骤3创建的日志组名称,单击进入,即可查看日志流。

    来自:帮助中心

    查看更多 →

  • Hive ORC数据存储优化

    ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。

    来自:帮助中心

    查看更多 →

  • 备份原理及方案

    支持将备份文件存放到另一个区域存储,某一区域的实例故障后,可以在异地区域使用备份文件在异地恢复到新的RDS实例,用来恢复业务。 下载备份文件 下载全量备份文件 包含使用OBS Browser+下载、直接浏览器下载、按地址下载三种方式。 下载增量备份文件 支持下载单个增量备份文件。 备份费用

    来自:帮助中心

    查看更多 →

  • 设置应用日志策略

    Hourly:每小时扫描一次日志文件。如文件超过20MB,会将其压缩到一个历史文件中并转储到日志所在目录下,并清空原文件。 Daily:每天扫描一次日志文件。如文件超过20MB,会将其压缩到一个历史文件中并转储到日志所在目录下,并清空原文件。 Weekly:每周扫描一次日志文件。如文件超过20MB,

    来自:帮助中心

    查看更多 →

  • zstd的压缩比有什么优势?

    zstd的压缩比有什么优势? 问: zstd的压缩比有什么优势? 答: zstd的压缩比orc好一倍,是开源的。 具体请参见https://github.com/L-Angel/compress-demo。 CarbonData不支持lzo, MRS 里面有集成zstd。 父主题: 产品咨询类

    来自:帮助中心

    查看更多 →

  • 备份原理及方案

    支持将备份文件存放到另一个区域存储,某一区域的实例故障后,可以在异地区域使用备份文件在异地恢复到新的RDS实例,用来恢复业务。 下载备份文件 下载备份文件 包含使用OBS Browser+下载、直接浏览器下载、按地址下载三种方式。 备份费用 备份都是以压缩包的形式存储在对象存储服务上

    来自:帮助中心

    查看更多 →

  • ClickHouse日志管理规则

    日志归档规则 ClickHouse日志启动了自动压缩归档功能,缺省情况下,当日志大小超过100MB的时(此日志文件大小可进行配置),会自动压缩压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件压缩文件保留个数可以在Manager界面中配置。

    来自:帮助中心

    查看更多 →

  • 开始使用

    传预测数据文件或者预测数据文件压缩包(会自动解压上传到当前OBS同级目录下)。 暂不支持OBS上传KMS加密的预测数据文件文件解压 压缩包的类型只支持zip和tar,压缩文件名及其路径不能含中文。 单个压缩包解压后文件最大不超过200MB。 预测文件 预测数据文件仅支持 CS V文件。

    来自:帮助中心

    查看更多 →

  • 制作插件包

    插件包升级时,会删除运行目录的所有文件,注意持久化文件存储。插件包的运行路径为{installer_dir}/IoTEdge/downloaded-job/run/{moduleId}/{appVersion}/。 当前插件包的大小限制为最大500M。 程序内对于文件的访问使用相对目录访问(因为程序的安装目录是不确定的)。

    来自:帮助中心

    查看更多 →

  • 开始使用

    暂不支持OBS上传KMS加密的预测数据文件文件解压 压缩包的类型只支持zip和tar,压缩文件名及其路径不能含中文。 单个压缩包解压后文件最大不超过200MB。 预测文件 预测数据文件仅支持CSV文件。 CSV文件格式需为此步骤下载的预测数据文件格式,可根据实际需求参考源码注释进行修改。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了