Bucket调优示例 创建Bucket索引表调优 Hudi表初始化 实时任务接入 离线Compaction配置 父主题： DLI Hudi开发规范

查看更多 →

bucketlist text 被锁定的bucket在所属bucket组中的位置。 bucket_group smallint 被锁定的bucket所在的bucket组。 示例： gaussdb=# SELECT * FROM bucket_lock_status(); database

查看更多 →

GS_BUCKET_LOCKS GS_BUCKET_LOCKS视图存储各打开事务所持有的bucket锁信息。仅支持分布式下的CN查询。 表1 GS_BUCKET_LOCKS字段 名称 类型 引用 描述 node_name text - 节点名称。 database oid PG_DATABASE

查看更多 →

/1024/1024 分区表桶数 = 单分区数据量大小(G)/2G，再后向上取整，最小设置1个桶 需要使用的是表的总数据大小，而不是压缩以后的文件大小 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 父主题： Bucket调优示例

查看更多 →

数据量非常小的事实表 这种可以在预估很长一段时间的数据增长量的前提下使用非分区表预留稍宽裕一些的桶数来提升读写性能。 确认表内桶数 Hudi表的桶数设置，关系到表的性能，需要格外引起注意。 以下几点，是设置桶数的关键信息，需要建表前确认。 非分区表 单表数据总条数 = select count(1)

查看更多 →

对于桶资源，IAM自动生成资源路径前缀obs:*:*:bucket: 通过桶名称指定具体的资源路径，支持通配符*。例如： obs:*:*:bucket:*表示任意OBS桶。 object 对象 【格式】 obs:*:*:object:桶名称/对象名称 【说明】 对于对象资源，IAM自动生成资源路径前缀obs:*:*:object:

查看更多 →

范围为桶名为examplebucket的桶。 被授权用户需要在控制台或OBS Browser+操作时，需要给指定桶添加obs:bucket:ListBucket权限。 选择“特定资源 > object”指定对象资源 【格式】 指定目录下对象：obs:*:*:object:桶名称/前缀/*

查看更多 →

先删除桶的事件触发器。主要有以下两个场景： 场景1：触发器源桶和函数执行输出目标桶是同一个桶的无限循环 案例1：使用Data+内置函数触发“无限循环” 用户创建一条Data+工作流workflowA，在工作流中使用了内置的“媒资转码”函数，且配置“媒资转码”函数的转码输出桶为ta

查看更多 →

对象迁移成功 问题描述 阿里云整桶迁移时，对象名称中带“/”的对象都迁移失败。查看迁移日志、列举对象、获取元数据都是成功的，但在获取对象（getObject）时报404，No such key。 问题分析 出现该问题，是因为源端阿里云待迁移OSS桶的“基础设置>静态页面”选项中设

查看更多 →

A*B/1024/1024。 预估Hudi表桶数D，D = MAX（取整(C/2), 1） 预估桶数要使用未压缩的数据量来预估，不能以源表中的压缩文件大小为准，比如parquet文件。 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 父主题： SparkOnHudi场景操作指导

查看更多 →

查询桶属性 功能说明 查询单个桶的基本属性，包括桶的默认存储类型、桶的区域、桶的版本号、桶是否支持文件接口、桶的可用区、桶中对象数量、桶的存储用量以及桶的配额。 命令结构 Windows操作系统 obsutil stat obs://bucket [-acl] [-bf=xxx]

查看更多 →

提示OBS Bucket没有授权怎么办？ DLI更新委托后，将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委托权限需求，都需自定义DLI委托。

查看更多 →

omfiter机制，将布隆索引内容写入到Parquet文件的footer中。 Bucket索引：在写入数据过程中，通过主键进行Hash计算，将数据进行分桶写入；该索引写入速度最快，但是需要合理配置分桶数目；Flink、Spark均支持该索引写入。 状态索引：Flink引擎独有索引

查看更多 →

，因此通常使用非分区表性能更好。 确认表内桶数。 使用Hudi BUCKET表时需要设置Bucket桶数，桶数设置关系到表的性能，需要格外引起注意。 非分区表桶数 = MAX（单表数据量大小（G）/2G*2，再向上取整，4）。 分区表桶数 = MAX（单分区数据量大小（G）/2G*2，再后向上取整，1）。

查看更多 →

如图1所示。 桶选择创建OBS桶中创建的“input_bucket”桶。 事件选择“通过页面或Put请求创建或覆盖桶对象”和“使用Post请求创建或覆盖桶对象”。 图1 创建OBS应用事件源 单击“确定”，完成触发器创建。 OBS应用事件源创建以后，当有文件上传或更新至dew-b

查看更多 →

。这样会导致结果是，每天的数据会写入到全月的Bucket桶中，那就是4*30 = 120个桶。如果采用月分区，分区桶的个数= 3GB * 30 /2GB = 45个桶 ，这样写入的数据桶数减少到了45个桶。在有限的计算资源下，写入的桶数越少，性能越高。 父主题： Hudi数据表设计规范

查看更多 →

，因此通常使用非分区表性能更好。 确认表内桶数。 使用Hudi BUCKET表时需要设置Bucket桶数，桶数设置关系到表的性能，需要格外引起注意。 非分区表桶数 = MAX（单表数据量大小（G）/2G*2，再向上取整，4）。 分区表桶数 = MAX（单分区数据量大小（G）/2G*2，再后向上取整，1）。

查看更多 →

个桶的日志记录功能后，OBS会自动对这个桶的访问请求记录日志，并生成日志文件写入用户指定的桶（即目标桶）中。 日志文件存放位置需要在开启桶日志功能时指定，可以存放到您拥有的，且与开启日志功能的桶位于同一区域的任一存储桶，当然也包括开启日志功能的桶本身。为了更有效的管理日志，建议您

查看更多 →

大概需要等待10~15分钟策略才能生效。 验证 使用IAM用户登录OBS控制台。 可以在桶列表中看到所有的桶。选择目标桶example-002，进入目标桶。 图2 查看桶列表 配置完成进入桶后仍然会出现无权限相关提示，属于正常现象，因为控制台还调用了其他高级配置的接口，但此时已可以正常完成文件夹中允许的操作。

查看更多 →

桶清单配置的源桶和目标桶必须归属同一个账号。 桶清单配置的源桶和目标桶必须归属同一个区域。 桶清单中配置的目标桶不能开启桶默认加密。 功能限制： 只支持生成 CS V格式的清单文件。 桶清单筛选条件目前仅支持设置为所有对象或指定前缀的对象。 同一个桶中多条清单规则的筛选条件不能彼此包含： 如果已经

查看更多 →

，因此通常使用非分区表性能更好。 确认表内桶数。 使用Hudi BUCKET表时需要设置Bucket桶数，桶数设置关系到表的性能，需要格外引起注意。 非分区表桶数 = MAX（单表数据量大小（G）/2G*2，再向上取整，4）。 分区表桶数 = MAX（单分区数据量大小（G）/2G*2，再后向上取整，1）。

查看更多 →