OBS桶管理 OBS桶授权及取消授权

查看更多 →

添加OBS资产 对OBS资产进行云资产委托授权后，参考此章节将您的OBS资产添加到DSC服务，进行敏感数据识别和脱敏。 前提条件 已完成OBS资产委托授权，参考云资产委托授权/停止授权进行操作。 添加自有OBS桶/其他桶，需要开通且已使用过OBS服务，开通OBS服务请参见开通并使用OBS。

查看更多 →

OBS数据访问 在E CS 上通过内网访问OBS 通过Nginx反向代理访问OBS

查看更多 →

OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移

查看更多 →

支持增量同步上传、下载和复制对象。 支持复制单个对象或按对象名前缀批量复制多个对象。 支持移动单个对象或按对象名前缀批量移动多个对象。 支持对失败的上传、下载、复制等任务进行恢复。 日志记录 支持在客户端配置日志记录，记录对桶和对象的操作日志，方便统计与分析。 obsutil目前暂不支持

查看更多 →

0。新创建桶时桶默认会存储到OBS 3.0，桶的版本为OBS 3.0，但以前创建的桶仍存储在OBS 2.0。 OBS的基础特性和功能在OBS 3.0和OBS 2.0都支持。但一些新特性仅在OBS 3.0支持，比如图片处理、跨域区域复制等。 您可以通过OBS Console或Head Bucket接口来确认桶存储在OBS

查看更多 →

动态卸载OBS 功能介绍 卸载后，OBS存储中的对象保持不变，Notebook容器中无法再操作OBS对象。 接口约束 暂无约束 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。

查看更多 →

返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 父主题： 节点参考

查看更多 →

的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS， CSS ，HIVE，CUSTOM和 DLI 类型。 确定 单击“确认”，保存节点输入功能的参数配置。

查看更多 →

知前按告警降噪规则对告警进行处理，处理完成后再发送通知，避免产生告警风暴。 告警降噪功能分为分组、去重、抑制、静默四部分。 去重为内置策略，服务后台会自动检验告警内容是否一致实现去重的效果，用户无需手动创建规则。 图1 告警降噪流程图 分组、抑制、静默需手动创建规则，创建方式见下方文档说明。

查看更多 →

可靠性不高。建议使用ClickHouseBalancer或者其他负载均衡服务，均衡查询负载，提升可靠性。 用近似去重（uniqCombined、uniq）替代精确去重。 ClickHouse提供多种近似去重算法，通过count_distinct_implementation配置，

查看更多 →

单击界面右上角的图标，选择“数据处理 > 时序数据处理 > 时序数据重采样”，界面新增“时序数据重采样”内容。 对应参数说明，如表4所示。 表4 时序数据重采样参数说明 参数 参数说明 时间列 时序数据的时间字段。 重采样频率 重采样时间频率，如“5H”。 时间频率单位说明： S：秒 min：分钟

查看更多 →

选集中相同产品颜色的物品进行去重，留下召回分数高的物品。 item_id_ignore_length 否 String 要忽略的物品ID末尾长度，例如：候选集中有两个物品为SKU_A000123和SKU_A000456，指定忽略长度为3，则对该物品去重，留下召回分数高的物品。。 表8

查看更多 →

当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据重复的情况下，执行关联子查询，会提示异常，必须对子查询的结果做去重处理，比如max(),min()。 该参数设置为false： 不管子查询中数据重复与否，执行关联子查询时，都需要对子查询的结果去重，比如max(),min()，否则提示异常。

查看更多 →

上传文件到环境关联的obs桶中。gcs obs upload FILENAME [params]upload可以简写为up，即：gcs obs up FILENAME [params]上传后未发现文件，请在数据存储中，确认是否使用了正确的桶。不支持本地文件夹上传上传文件到OBS桶：示例执行结果：OBS 中显示上传文件：

查看更多 →

OBS.Bucket 模型说明 OBS.Bucket用于部署华为云的 对象存储服务 的桶资源。对象存储服务提供海量安全、高可靠、低成本的数据存储能力，桶是其存放对象的容器。 模型属性 表1 模型定义属性说明 属性 是否必选 描述 location 否 创建OBS桶所在的region 参数类型：string

查看更多 →

OBS管理概述 ModelArts SDK 1.1.3支持对OBS进行管理，主要涵盖上传下载文件和文件夹。具体包括如下操作： 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹 父主题： OBS管理

查看更多 →

参数名 取值范围 默认值 是否允许修改 作用范围 successfulJobsHistoryLimit 无 无 允许 - 失败任务记录数量 参数名 取值范围 默认值 是否允许修改 作用范围 failedJobsHistoryLimit 无 无 允许 - 父主题： 定时任务

查看更多 →

OBS桶管理 获取用户OBS桶列表 获取用户OBS桶内对象 文件下载 父主题： 数据管理

查看更多 →

Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“ 数据湖 ”存储。

查看更多 →

Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：

查看更多 →