快速开始：使用Aura端点运行DataFrame或SQL作业

操作场景

AI DataLake支持提交DataFrame或SQL作业至Aura端点中运行，支持使用Python编辑器和DataArts Studio开发作业，DataArts Studio开发作业详细操作，请参见快速上手使用AI DataLake查询数据。

本章节为您演示如何使用Python编辑器提交DataFrame作业，包括以下操作：

1.创建一张data_frame_test_create_table表，表中包含col_a（int）和col_b（str）两列。

2. 向表中插入数据。

3. 查询表中插入的数据。

4. 删除表中的数据。

前提条件

• 已创建工作空间，详细操作请参见创建工作空间。
• 已创建计算资源，详细操作请参见购买预留资源池。
• 已创建Aura端点，详细操作请参见创建Aura引擎端点。
• 已获取用户的AK、SK信息。
  1. 在管理控制台页面，鼠标移动至右上方的用户名，在下拉列表中选择“我的凭证”。
  2. 单击“访问密钥”页签，单击“新增访问密钥”，输入验证码或密码。
  3. 单击“确定”，生成并下载访问密钥。在.csv文件中获取用户的AK、SK信息。

使用Python编辑器提交DataFrame作业至Aura端点运行

在Python环境下运行以下代码，即可实现DataFrame作业提交至Aura端点运行。相关端点信息通过ai_lake.connect()函数进行配置，同时建立与Aura端的连接。

ai_lake.connect()相关参数说明请参见表1。

ai_lake.connect()有两种不同的API接口，根据api_version参数的取值分为两种建立连接的方式，该参数默认为v2。

api_version="v1"：需要传入aura_endpoint_id，lf_instance_id和lf_catalog_name。

from aura_frame.multimodal import ai_lake

conn = ai_lake.connect(
    aura_endpoint="xxx",
    aura_endpoint_id="endpoint-id",
    aura_workspace_id="workspace-id",
    lf_catalog_name="lf-name",
    lf_instance_id="lf-id",
    access_key='ak-xxxx',
    secret_key='sk-xxxx',
    default_database="postgres",
    use_single_cn_mode=True,
    api_version="v1"
)

api_version="v2"：需要传入aura_endpoint_name和lf_catalog_name。

from aura_frame.multimodal import ai_lake

conn = ai_lake.connect(
    aura_endpoint="xxx",
    aura_endpoint_name="endpoint_name",
    aura_workspace_id="workspace-id",
    lf_catalog_name="lf-name",
    access_key='ak-xxxx',
    secret_key='sk-xxxx',
    default_database="postgres",
    use_single_cn_mode=True,
    api_version="v2"
)

使用示例：

import ibis
from aura_frame.multimodal import ai_lake

def aura_connection():
    conn = ai_lake.connect(
        aura_endpoint="xxx",
        aura_endpoint_name="endpoint_name",
        aura_workspace_id="workspace-id",
        lf_catalog_name="lf-name",
        access_key='ak-xxxx',
        secret_key='sk-xxxx',
        default_database="postgres",
        use_single_cn_mode=True,
        api_version="v2"
    )
    return conn

if __name__ == "__main__":
    table_name = "data_frame_test_create_table"
    db = "dataframe_test"
    set_schema_sql = "set current_schema=dataframe_test"
    # get connection
    aura_con = aura_connection()
    aura_connsql(set_schema_sql)
    aura_conndrop_table(table_name, database=db, force=True)
    
    # create table
    aura_conncreate_table(table_name, schema={"col_a": ibis.dtype("int64"), "col_b": ibis.dtype("string")}, database=db)
    
    # insert rows
    aura_connsql("INSERT INTO dataframe_test.data_frame_test_create_table VALUES(1, 's1'), (2, 's2'), (3, 's3')")

    # select rows
    ds = aura_connload_dataset(table_name, database=db)
    ds.select_columns([ds.col_a, ds.col_b]).show(3)
    
    # drop table
    aura_conndrop_table(table_name, database=db)
    aura_connclose()