快速开始

前提条件

• 已创建工作空间，详细操作请参见创建工作空间。
• 已创建计算资源，详细操作请参见购买预留资源池。
• 已创建Aura端点，详细操作请参见创建Aura引擎端点。
• 已获取用户的AK、SK信息。
  1. 在管理控制台页面，鼠标移动至右上方的用户名，在下拉列表中选择“我的凭证”。
  2. 单击“访问密钥”页签，单击“新增访问密钥”，输入验证码或密码。
  3. 单击“确定”，生成并下载访问密钥。在.csv文件中获取用户的AK、SK信息。

安装Aura DataFrame SDK

pip install huawei_aura_frame-3.3.0-py3-none-any.whl 

如果您需要了解SDK的隐私数据处理策略，请参见华为云SDK隐私声明。

注意：

• Python版本推荐使用3.11。
• 公测期间，SDK安装包请联系运维人员获取。

使用Aura DataFrame

1. 创建会话，入参请参考表1。

   from aura_frame.multimodal import ai_lake
   import logging
   import os
   conn = ai_lake.connect(
       aura_endpoint=os.getenv("aura_endpoint"), 
       aura_endpoint_name=os.getenv("aura_endpoint_name"),
       aura_workspace_id=os.getenv("aura_workspace_id"), 
       lf_catalog_name=os.getenv("lf_catalog_name"), 
       access_key=os.getenv("access_key"),
       secret_key=os.getenv("secret_key"), 
       use_single_cn_mode=True,  # 表示是否开启单CN模式
       logging_level=logging.INFO # 设置日志级别
   )
   
   conn.set_function_staging_workspace(
       obs_directory_base=os.getenv("obs_directory_base"),
       obs_bucket_name=os.getenv("obs_bucket_name"),
       obs_server=os.getenv("obs_server"),
       access_key=os.getenv("access_key"),
       secret_key=os.getenv("secret_key"),
   )

2. 加载数据集。

   import pandas as pd
   target_database = "test"
   df = pd.DataFrame({
       'a': [1],
       'b': [3],
       'c': [1]
   })
   ds = conn.from_pandas(df)
   ds.show()

      a  b  c
   0  1  3  1

3. 数据加工。

   import ibis.expr.datatypes as dt
   import aura_frame as aura
   
   func_signature = aura.Signature(
       parameters=[
           aura.Parameter(name="start", annotation=int),
           aura.Parameter(name="endnum", annotation=int),
           aura.Parameter(name="step", annotation=int)
       ],
       return_annotation=dt.Struct({"col1": int}),
   )
   
   @aura.udf.python(database=target_database, signature=func_signature)
   def py_generate_series(start, endnum, step):
       current = start
       while current <= endnum:
           yield {'col1': current}
           current += step
   
   conn.delete_function("py_generate_series", database=target_database)
   
   fn = conn.create_table_function(
       py_generate_series,
       name="py_generate_series",
       database=target_database,
       signature=func_signature
   )
   ds = ds.flat_map(
       fn=fn,
       on=[ds.a, ds.b, ds.c],
       as_col='new_col'
   )
   ds.show()

      a  b  c  new_col
   0  1  3  1   1
   1  1  3  1   2
   2  1  3  1   3

4. 关闭会话。

   connclose()