e模型可以是Key列和Value列。分桶列可以和Partition列相同或不同。 分桶列的选择，是在查询吞吐和查询并发之间的一种权衡： 如果选择多个分桶列，则数据分布更均匀。如果一个查询条件不包含所有分桶列的等值条件，那么该查询会触发所有分桶同时扫描，这样查询的吞吐会增加，单个查

查看更多 →

分桶统计 概述 对数据集的某些列，进行分桶，即直方图统计。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 输出 统计结果数据集 参数说明 参数 子参数 参数说明 select_columns_str

查看更多 →

数据分区和分桶 Doris支持两层的数据划分。第一层是Partition（分区），支持Range（按范围）和List（按枚举值）的划分方式。第二层是Bucket（分桶），仅支持Hash的划分方式。分区和分桶都是对数据进行横向分割。 也可以仅使用一层分区。使用一层分区时，只支持Bu

查看更多 →

OBS.Bucket 模型说明 OBS.Bucket用于部署华为云的 对象存储服务 的桶资源。对象存储服务提供海量安全、高可靠、低成本的数据存储能力，桶是其存放对象的容器。 模型属性 表1 模型定义属性说明 属性 是否必选 描述 location 否 创建OBS桶所在的region 参数类型：string

查看更多 →

Bucket调优示例 创建Bucket索引表调优 Hudi表初始化 实时任务接入 离线Compaction配置 父主题： Hudi应用开发规范

查看更多 →

数据量非常小的事实表 这种可以在预估很长一段时间的数据增长量的前提下使用非分区表预留稍宽裕一些的桶数来提升读写性能。 确认表内桶数 Hudi表的桶数设置，关系到表的性能，需要格外引起注意。 以下几点，是设置桶数的关键信息，需要建表前确认。 非分区表 单表数据总条数 = select count(1)

查看更多 →

如果OLAP表没有更新类型的字段，将表的数据分桶模式设置为RANDOM，则可以避免严重的数据倾斜（数据在导入表对应的分区的时候，单次导入作业每个batch的数据将随机选择一个tablet进行写入）。 当表的分桶模式被设置为RANDOM时，因为没有分桶列，无法根据分桶列的值仅对几个分桶查询，对表进行查询的

查看更多 →

配置日志记录 当一个桶启用了日志记录功能后，OBS自动将该桶的日志按照固定的命名规则，生成一个对象写入用户指定的桶。 前提条件 日志投递用户组对目标桶具有“写入权限”和“查看ACL权限”。权限设置方法请参见配置桶ACL。 操作步骤 登录OBS Browser。 选中待配置的桶，单击“更多

查看更多 →

如何处理作业的OBS Bucket没有授权？ DLI 更新委托后，将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委托权限需求，都需自定义DLI委托。

查看更多 →

【格式】 obs:*:*:bucket:桶名称 【说明】 对于桶资源，IAM自动生成资源路径前缀obs:*:*:bucket: 通过桶名称指定具体的资源路径，支持通配符*。例如： obs:*:*:bucket:*表示任意OBS桶，obs:*:*:bucket:examplebucket表

查看更多 →

个桶的日志记录功能后，OBS会自动对这个桶的访问请求记录日志，并生成日志文件写入用户指定的桶（即目标桶）中。 日志文件存放位置需要在开启桶日志功能时指定，可以存放到您拥有的，且与开启日志功能的桶位于同一区域的任一存储桶，当然也包括开启日志功能的桶本身。为了更有效的管理日志，建议您

查看更多 →

如何获取源端桶权限和目的端桶权限？ 源端桶权限获取 以华为云OBS源端桶为例，如果源端桶为其他云服务商，请联系对应的云服务商工程师。 源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。 源端权限获取方式分为两种，可任选一种方式获取。 基于系统策略获取OBS

查看更多 →

个桶的日志记录功能后，OBS会自动对这个桶的访问请求记录日志，并生成日志文件写入用户指定的桶（即目标桶）中。 日志文件存放位置需要在开启桶日志功能时指定，可以存放到您拥有的，且与开启日志功能的桶位于同一区域的任一存储桶，当然也包括开启日志功能的桶本身。为了更有效的管理日志，建议您

查看更多 →

omfiter机制，将布隆索引内容写入到Parquet文件的footer中。 Bucket索引：在写入数据过程中，通过主键进行Hash计算，将数据进行分桶写入；该索引写入速度最快，但是需要合理配置分桶数目；Flink、Spark均支持该索引写入。 状态索引：Flink引擎独有索引

查看更多 →

BUCKET_NAME OBS桶的名称 是 考虑到桶名会作为访问 域名 的一部分，需要参与域名解析，因此桶名需要满足DNS域名规范。OBS系统在接受创桶请求时，会对桶名进行严格的检查，具体规则如下： 需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。用户删除桶后，立即创建同名桶或并行文件系统会创建失败，需要等待30分钟才能创建。

查看更多 →

出于分析或审计等目的，用户可以开启日志记录功能。通过访问日志记录，桶的拥有者可以深入分析访问该桶的用户请求性质、类型或趋势。当用户开启一个桶的日志记录功能后，OBS会自动对这个桶的访问请求记录日志，并生成日志文件写入用户指定的桶（即目标桶）中。 桶日志上传会产生相应的PUT请求费用，PUT请求费用的具体说明请参考请求费用。

查看更多 →

GET类请求次数 该指标用于统计所有桶及桶中对象的GET请求次数。 单位：次 ≥ 0 counts 桶 1分钟 put_request_count PUT类请求次数 该指标用于统计所有桶及桶中对象的PUT请求次数。 单位：次 ≥ 0 counts 桶 1分钟 first_byte_latency

查看更多 →

据分布均匀和查询吞吐均衡。 数据均匀是为了避免某些桶的数据存在倾斜影响数据均衡和查询效率。 查询吞吐利用查询SQL的分桶剪裁优化避免了全桶扫描，以提升查询性能。 分桶列的选取：优先考虑数据较为均匀且常用于查询条件的列作为分桶列。 可使用以下方法分析是否会导致数据倾斜： SELECT

查看更多 →

对单个IAM用户授予桶的读写权限 场景介绍 本案例介绍如何为华为云账号下的某个IAM用户授予OBS桶的读写权限。 推荐配置方法 对单个IAM用户授予资源级别权限，推荐使用桶策略。 配置须知 本案例预置的“桶读写”模板允许指定IAM用户对整个桶及桶内所有对象执行除以下权限以外的所有权限：

查看更多 →

由于缓存的存在，授予OBS相关的策略后，大概需要等待10~15分钟策略才能生效。 验证 使用IAM用户登录OBS控制台。 可以在桶列表中看到所有的桶。选择目标桶example-002，进入目标桶。 图2 查看桶列表 配置完成进入桶后仍然会出现无权限相关提示，属于正常现象，因为控制台还调

查看更多 →

控制概述章节。 桶策略是作用于所配置的OBS桶及桶内对象的，您可以通过桶策略可为IAM用户或其他账号授权桶及桶内对象的操作权限。当不同的桶对于不同的IAM用户有不同的访问控制需求时，需使用桶策略分别授权IAM用户不同的权限。 调用设置桶策略接口，您可为指定桶设置桶策略。 接口约束

查看更多 →