判断使用分区表还是非分区表 根据表的使用场景一般将表分为事实表和维度表： 事实表通常整表数据规模较大，以新增数据为主，更新数据占比小，且更新数据大多落在近一段时间范围内（年或月或天），下游读取该表进行ETL计算时通常会使用时间范围进行裁剪（例如最近一天、一月、一年），这种表通常可以通

查看更多 →

OBS.Bucket 模型说明 OBS.Bucket用于部署华为云的 对象存储服务 的桶资源。对象存储服务提供海量安全、高可靠、低成本的数据存储能力，桶是其存放对象的容器。 模型属性 表1 模型定义属性说明 属性 是否必选 描述 location 否 创建OBS桶所在的region 参数类型：string

查看更多 →

Bucket调优示例 创建Bucket索引表调优 Hudi表初始化 实时任务接入 离线Compaction配置 父主题： Hudi应用开发规范

查看更多 →

GS_BUCKET_LOCKS GS_BUCKET_LOCKS视图存储各打开事务所持有的bucket锁信息。仅支持分布式下的CN查询。 表1 GS_BUCKET_LOCKS字段 名称 类型 引用 描述 node_name text - 节点名称。 database oid PG_DATABASE

查看更多 →

提示OBS Bucket没有授权怎么办？ DLI 更新委托后，将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委托权限需求，都需自定义DLI委托。

查看更多 →

型。Hudi外表支持的最大列数为5000列。 例如，对于 MRS 上的Hudi表，可以使用spark-sql来查询原始表定义： 1 SHOW create table rtd_mfdt_int_currency_t; 编写DWS表定义 非bucket表 复制MRS表所有列的定义，做

查看更多 →

type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。 根据表的使用场景一般将表分为事实表和维度表： 事实表通常整表数据规模较大，以新增数据为主，更新数据占比小，且更新数据大多落在近一段时间范围内（年或月或天），下游读取该表进行ET

查看更多 →

type和hoodie.bucket.index.num.buckets属性可进行配置。 判断使用分区表还是非分区表。 根据表的使用场景一般将表分为事实表和维度表： 事实表通常整表数据规模较大，以新增数据为主，更新数据占比小，且更新数据大多落在近一段时间范围内（年或月或天），下游读取该表进行ET

查看更多 →

置为1：4~1：8。 针对bucket表的写入资源配置，建议给的CPU核心数量不小于桶数目 （分区表每次可能写入多个分区，理想情况下建议给的CPU核心数量=写入分区*分桶数；实际配置的core小于这个值，写入性能线性下降）。 示例： 当前表bucket数为3，同时写入分区数为2，

查看更多 →

内存对象所属的模式，"pkg_bucket" 与"func_bucket"显示为"NULL"。 type text 对象类型： "pkg_bucket"：代表该对象为package对象的父节点。 "func_bucket"：代表该对象为函数或存储过程的父节点。 "pkg"：代表该对象为package对象。

查看更多 →

开启log列裁剪，提升mor表查询效率 mor表读取的时候涉及到Log和Parquet的合并，性能不是很理想。可以开启log列裁剪减少合并时IO读取开销 SparkSQL执行查询，先执行： set hoodie.enable.log.column.prune=true; Spark加工Hudi表时其他参数优化

查看更多 →

策略。 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。

查看更多 →

hilens:project:getProject - 获取模型转化作业列表 GET hilens:model:getConvertJobList - 获取已开发的技能列表 GET hilens:project:getProjectList - 获取技能模型列表 GET hilens:model:getModelList

查看更多 →

策略。 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。

查看更多 →

项目ID DLI服务所在区域的项目ID。 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看

查看更多 →

如果不赋值则默认获取所有桶和并行文件系统列表。 表3 BucketType 常量名 原始值 说明 OBJECT OBJECT 对应类型为对象存储桶。 POSIX POSIX 对应类型为并行文件系统（POSIX）。 返回结果说明 表4 返回结果列表 参数名称 参数类型 描述 output

查看更多 →

项目ID DLI服务所在区域的项目ID。 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看

查看更多 →

获取租户下桶列表 功能介绍 查询租户下桶列表。 URI URI格式 GET /softcomai/datalake/dataplan/v1.0/obs/getbuckets 参数说明 无。 请求 请求样例 GET https://ipaddr:port/softcomai/datalake/dataplan/v1

查看更多 →

内存对象所属的模式，"pkg_bucket" 与"func_bucket"显示为"NULL"。 type text 对象类型： "pkg_bucket"：代表该对象为package对象的父节点。 "func_bucket"：代表该对象为函数或存储过程的父节点。 "pkg"：代表该对象为package对象。

查看更多 →

桶相关授权项 表1 桶相关授权项列表 权限 对应API接口 授权项（Action） IAM项目（Project） 企业项目（Enterprise Project） 列举全部桶 获取桶列表 obs:bucket:ListAllMyBuckets √ √ 创建桶 创建桶 obs:bucket:CreateBucket

查看更多 →

e_conf描述如下表： 字段名 类型 约束 说明 date const char * 如果没有days元素，且没有transition, noncurrent_version_days, noncurrent_version_transition，则必选 表示针对最新版本的对象

查看更多 →