典型场景：从SFTP 服务器 导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFTP

查看更多 →

列存表支持的数据类型 列存表支持的数据类型如表1所示。 表1 列存表支持的数据类型 类别 数据类型 长度 是否支持 Numeric Types smallint 2 支持 integer 4 支持 bigint 8 支持 decimal -1 支持 numeric -1 支持 real

查看更多 →

列存表支持的数据类型 列存表支持的数据类型如表1所示。 表1 列存表支持的数据类型 类别 数据类型 长度 是否支持 Numeric Types smallint 2 支持 integer 4 支持 bigint 8 支持 decimal -1 支持 numeric -1 支持 real

查看更多 →

OBS导入数据简介 导入方式 OBS导入数据方式分为“OBS目录”和“Manifest文件”两种。 OBS目录：指需要导入的数据集已提前存储至OBS目录中。此时需选择用户具备权限的OBS路径，且OBS路径内的目录结构需满足规范，详细规范请参见OBS目录导入数据规范说明。当前只有“

查看更多 →

能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。 从过去的经典AI，到今天人人谈论的大模型，自动驾驶，我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长，对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战：随着企业使用

查看更多 →

能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。 从过去的经典AI，到今天人人谈论的大模型，自动驾驶，我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长，对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战：随着企业使用

查看更多 →

error_table_name）写入表customer_address_err。 根据以上信息，创建的外表如下所示： 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1 2 3 4 5 6 7 8 9 10 11

查看更多 →

列存表支持的数据类型 列存表支持的数据类型如表1所示。其他未列举的数据类型，暂不支持。 表1 列存表支持的数据类型 类别 数据类型 描述 长度 数值类型 smallint 小范围整数，别名为INT2。 2 integer 常用的整数，别名为INT4。 4 bigint 大范围的整数，别名为INT8。

查看更多 →

使用Flink Jar写入数据到OBS开发指南 概述 DLI 提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。

查看更多 →

使用Loader从HBase导出数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权访问

查看更多 →

BS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性

查看更多 →

华为云 MRS 对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台

查看更多 →

如何查看表是行存还是列存？ 表的存储方式由建表语句中的ORIENTATION参数控制，row表示行存，column表示列存。 8.1.2及之前版本，不指定ORIENTATION参数，默认为row行存。 8.1.3版本后，支持通过GUC参数default_orientation控制

查看更多 →

云原生3.0 云原生3.0数仓-存算分离 本实验指导用户创建 GaussDB (DWS)新一代Serverless云原生数仓，并体验Serverless存算分离架构下的极致查询。 2h 云原生3.0数仓-湖仓一体 本实验指导用户创建GaussDB(DWS)新一代Serverless云原生数仓，通过EXTERNAL

查看更多 →

通过浏览器访问该APIG触发器中的调用URL，即可访问预签名URL直传OBS的前端界面，进行上传操作（详细操作规则参考前端页面规则设置）。 图4 上传文件到OBS页面 到OBS 对象存储服务 页面查找创建的桶，打开并查看上传过的文件。 图5 在对应OBS桶查看上传过的文件 父主题： 实施步骤

查看更多 →

使用Loader从HDFS/OBS导入数据到HBase 操作场景 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权访

查看更多 →

BS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性

查看更多 →

OBS数据管理 OBS数据管理，需要创建表用来保存并管理数据。 前提条件 已申请集群。 已获取服务运维岗位权限，权限申请操作请参见申请权限。 新建表 进入运维中心工作台。 在顶部导航栏选择自有服务。 单击，选择“运维 > 监控服务（ServiceInsight）”。 选择左侧导航栏的“运维数据开发

查看更多 →

OBS数据管理 OBS数据管理，需要创建表用来保存并管理数据。 前提条件 已申请集群。 已获取服务运维岗位权限，权限申请操作请参见申请权限。 新建表 进入运维中心工作台。 在顶部导航栏选择自有服务。 单击，选择“运维 > 监控服务（ServiceInsight）”。 选择左侧导航栏的“运维数据开发

查看更多 →

从OBS导入数据 OBS导入数据简介 OBS目录导入操作 OBS目录导入数据规范说明 Manifest文件导入操作 Manifest文件导入规范说明 父主题： 数据接入

查看更多 →

存算分离类 没有/tmp目录权限导致执行访问OBS的作业报错 使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败

查看更多 →