error_table_name：用于记录数据格式错误信息的错误表表名。并行导入结束后查询此错误信息表，能够获取详细的错误信息。 更多参数，详细使用请参见容错性参数。 根据前面步骤确定的参数，创建OBS外表。外表的创建语法以及详细使用，请参考CREATE FOREIGN TABLE (OBS导入导出)。 示例 在Ga

查看更多 →

创建OBS表 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 父主题： Spark SQL语法参考（即将下线）

查看更多 →

创建OBS表 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 父主题： 表相关

查看更多 →

指定导出数据文件是否包含标题行，标题行一般用来描述表中每个字段的信息。 OBS导出数据时不支持该参数为true，使用缺省值false，不需要设置，表示导出的数据文件第一行不是标题行（即表头）。 根据以上信息，创建的外表如下所示： 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配

查看更多 →

OBS转储时区表 名称 Name id timezone 国际日期变更线西 International Date Line West Etc/GMT+12 UTC-12:00 协调世界时-11 Coordinated Universal Time-11 Etc/GMT+11 UTC-11:00

查看更多 →

创建OBS表时正确指定OBS路径 场景概述 创建OBS表时，OBS路径须指定到数据库下的具体表层路径。路径格式为：obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《 数据湖探索 Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle

查看更多 →

查询OBS桶列表 功能介绍 查询OBS桶列表。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/obs/buckets 表1 路径参数

查看更多 →

参数类型 描述 total Integer OBS桶总数。 obs_buckets Array of ObsBuckets objects OBS桶列表，详情请参见ObsBuckets字段数据结构说明。 数组长度：0 - 256 表3 ObsBuckets 参数 参数类型 描述 bucket_name

查看更多 →

OBS 对象存储服务 （Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。详情参考帮助文档。本次实践，使用OBS来存储xxxx服务平台上传的图片、文件或者通过接口调用生成的json文件。 登录华为云OBS管理控制台

查看更多 →

obsbuckets 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目ID 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 偏移量，表示从此偏移量开始查询，偏移量不能小于0 最小值：0 最大值：100

查看更多 →

查询失败， 服务器 端错误 { "error_code" : "RTC.00002xxx", "error_msg" : "InternalError" } 状态码 状态码 描述 200 获取OBS桶列表成功 400 获取OBS桶列表失败 401 获取OBS桶列表失败，携带的X-Auth-Token错误

查看更多 →

SERDEPROPERTIES：Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新

查看更多 →

SERDEPROPERTIES：Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新

查看更多 →

查询OBS桶对象列表 功能介绍 查询OBS桶对象列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/obs/buckets/{bucket_name}

查看更多 →

DLI 表与OBS表的区别 DLI表表示数据存储在本服务内部，用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中，源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能，性能相较于外表性能更好，但是会收取存储费用。 父主题： 使用咨询

查看更多 →

用户导表到OBS报“path obs://xxx already exists”错误 用户可新建一个不存在的OBS目录或手动删除已存在的OBS目录，再重新提交作业。删除已存在的OBS目录后，目录下的所有数据将会被删除。请谨慎执行此删除操作。 父主题： 作业运维报错

查看更多 →

保存为DLI OBS表 概述 保存数据到用户的DLI外表（OBS表）。 保存为DLI外表时，对vector类型的数据转换为array类型，如果无需保存vector数据，可在该算子前添加数据集选择列算子。 输入 参数 子参数 参数说明 inputs dataframe inputs

查看更多 →

字符。 只有Hive OBS表支持在建表时指定多字符的分隔符，Hive DLI表不支持在建表时指定多字符的分隔符。 指定了多字符分隔的表不支持INSERT、IMPORT等写数语句。如需添加数据，请将数据文件直接放到表对应的OBS路径下即可，例如示例7：创建表并设置多字符的分割符中

查看更多 →

OBS表压缩率较高 当Parquet/Orc格式的OBS表对应的文件压缩率较高时（跟文本相比，超过5倍压缩率），建议在提交导入数据到DLI表作业时，在submit-job请求体conf字段中配置“dli.sql.files.maxPartitionBytes=33554432”，

查看更多 →

此字段携带请求ID号，以便任务跟踪。 表4 响应Body参数 参数 参数类型 描述 count Integer 对象的总数 objects Array of ObsObject objects OBS文件 表5 ObsObject 参数 参数类型 描述 file_name String 对象名 size Integer

查看更多 →

LOCATION：分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 所要修改位置的表分区必须是已经存在的，否则将报错。 “partition_specs”中的参数默认带有“(

查看更多 →