更新时间:2023-06-14 GMT+08:00

开发一个Python脚本

本章节介绍如何在数据开发模块上开发并执行Python脚本示例。

环境准备

  • 开通弹性云服务器,并创建ECS,ECS主机名为“ecs-dgc”。

    本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带的Python环境,您可登录主机后使用python命令确认服务器的Python环境。

  • 已开通数据集成增量包,CDM集群名为“cdm-dlfpyhthon”提供数据开发模块与ECS主机通信的代理。
  • 请确保ECS主机与CDM集群网络互通,互通需满足如下条件:
    • CDM集群与ECS主机同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见《虚拟私有云(VPC) 使用指南》中的“添加路由信息”章节,配置安全组规则请参见《虚拟私有云(VPC) 使用指南》中的“安全组 > 添加安全组规则”章节。
    • CDM集群与ECS主机处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
    • 此外,您还必须确保该ECS主机与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。

约束限制

  • Python脚本暂不支持脚本参数及作业参数。

建立主机数据连接

开发Python脚本前,我们需要建立一个到弹性云服务器ECS的连接。

  1. DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。

    图1 选择管理中心

  2. 在管理中心页面,单击“数据连接”,进入数据连接页面。

    图2 创建数据连接

  3. 单击“创建数据连接”,进入“创建数据连接”页面中。

    图3 创建数据连接

  4. 参见表1配置相关参数,创建主机连接名称为“python_test”的数据连接。

    表1 主机连接

    参数

    是否必选

    说明

    数据连接名称

    主机连接的名称,只能包含字母,数字,中划线或者下划线。

    主机地址

    主机的地址。

    请参见《弹性云服务器用户指南》的查看云服务器详细信息页获取。

    绑定Agent

    需要选择CDM集群,CDM集群提供Agent。

    端口

    主机的SSH端口号。

    用户名

    主机的登录用户名。

    登录方式

    选择主机的登录方式:

    • 密钥对
    • 密码

    密钥对

    主机的登录方式为密钥对时,用户获取并上传其私钥文件至OBS,在此处选择对应的OBS路径。“登录方式”“密钥对”时,显示该配置项。

    说明:

    此处上传的私钥文件需为PEM格式,并且上传的私钥文件和主机上配置的公钥是一个密钥对。

    密钥对密码

    如果密钥对未设置密码,则不需要填写该配置项。

    密码

    主机的登录方式为密码时,填写主机的登录密码。

    主机连接描述

    主机连接的描述信息。

    关键参数说明:

  5. 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。
  6. 测试通过后,单击“确定”,完成数据连接的创建。

开发Python脚本

  1. “数据开发 > 脚本开发”模块中创建一个Python脚本,脚本名称为“python_test”
  2. 在编辑器中编辑Python语句并选择主机连接,单击“提交并解锁”。
  3. 单击“运行”执行Python语句
  4. 查看脚本运行结果。