配置UDF部署工作区

前提条件

• 已安装Aura DataFrame SDK。具体操作，请参见Aura DataFrame SDK获取与安装。
• 已创建AuraJobV2端点，并获取端点名称。具体操作，请参见创建Aura引擎端点。
• 已创建LakeFormation实例，并在该实例中创建Catalog及数据库。具体操作，请参见创建LakeFormation实例并规划元数据。
• 已创建并行文件系统。具体操作，请参见创建并行文件系统。
• 代码中涉及os.getenv()中的参数已配置到环境变量。
• 运行时环境要求Python版本为3.11。

示例

import os
from aura_frame.multimodal import ai_lake

target_database = "test"
#连接AuraJobV2端点，具体参数说明，请参见建立与AuraJobV2端点的连接。
con = ai_lake.connect(
    aura_endpoint=os.getenv("aura_endpoint"),         # AuraJobV2端点所在的终端节点（Endpoint）
    aura_endpoint_id=os.getenv("aura_endpoint_id"),    # AuraJobV2端点ID
    aura_endpoint_name=os.getenv("aura_endpoint_name"),# AuraJobV2端点名称
    aura_workspace_id=os.getenv("aura_workspace_id"),  # 工作空间ID
    lf_catalog_name=os.getenv("lf_catalog_name"),      # LakeFormation Catalog名称
    access_key=os.getenv("access_key"),                # 访问密钥ID（AK）
    secret_key=os.getenv("secret_key"),                # 访问密钥（SK）
    default_database=target_database,                       # LakeFormation数据库名称
    use_single_cn_mode=True,   # 是否开启单CN模式
    logging_level=logging.INFO # 设置日志级别
)
try:
    con.set_function_staging_workspace(
        obs_directory_base=os.getenv("obs_directory_base"),  # OBS中UDF的存储路径
        obs_bucket_name=os.getenv("obs_bucket_name"),        # OBS的名称
        obs_server=os.getenv("obs_server"),                  # OBS终端节点（Endpoint）
        access_key=os.getenv("access_key"),                  # 访问密钥ID（AK）
        secret_key=os.getenv("secret_key"),                  # 访问密钥（SK）
    )
    print("UDF部署工作区配置完成")
finally:
    con.close()

相关文档

Session APIs