更新时间:2024-11-06 GMT+08:00

OBS连接

介绍

通过OBS连接,可以对对象存储服务(Object Storage Service,简称OBS)抽取或加载文件,支持CSV、JSON和二进制格式。

连接样例

本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。

{
    "links": [
        {
            "link-config-values": {
                "configs": [
                    {
                        "inputs": [
                            {
                                "name": "linkConfig.storageType",
                                "value": "OBS"
                            },
                            {
                                "name": "linkConfig.obsBucketType",
                                "value": "PFS"
                            },
                            {
                                "name": "linkConfig.server",
                                "value": "10.121.16.183"
                            },
                            {
                                "name": "linkConfig.port",
                                "value": "443"
                            },
                            {
                                "name":"linkConfig.accessKey",
                                "value": "<YOUR AK>"
                            },
                            {
                                "name":"linkConfig.securityKey",
                                "value":"<YOUR SK>"
                            }
                        ],
                        "name": "linkConfig"
                    }
                ]
            },
            "name": "obs_link",
            "connector-name": "obs-connector"
        }
    ]
}

连接参数

参数

是否必选

类型

说明

linkConfig.storageType

String

对象存储的类型。

linkConfig.obsBucketType

String

OBS桶类型。

  • 对象桶:OB。
  • 并行文件系统:PFS。
说明:

桶类型分为对象桶和并行文件系统,对象桶过滤文件会比较慢,建议客户使用并行文件桶。

linkConfig.server

String

OBS服务器的终端节点(Endpoint)。

linkConfig.port

String

数据传输协议端口,https是443,http是80。

linkConfig.accessKey

String

访问标识(AK)。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。

linkConfig.securityKey

String

密钥(SK)。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。