更新时间:2026-09-28 GMT+08:00
分享

准备本地开发环境

当预置算子无法满足数据处理需求时,您可以开发自定义算子。在开发算子之前,需要先准备本地开发环境。本文介绍如何安装开发工具和算子开发SDK。

安装开发工具和算子开发SDK

  1. 下载并安装PyCharm IDEA(Community版即可)或您习惯的Python IDE。
  2. 安装Python 3.10。
    1. 在Python官网下载Python 3.10.x安装包,安装时勾选Add Python to PATH。
    2. 安装完成后在终端验证:
      python --version

      预期输出:

      Python 3.10.x
  3. 安装Python包通用管理工具pip。如果Python安装过程中没有安装通用包管理工具pip,则参见pip官网完成pip安装。

    以Windows环境为例,在本地环境执行命令pip --version,显示如下内容说明pip已安装。

    C:\Users\xxxx>pip --version
    pip xx.x.x from D:\Python\py310\lib\site-packages\pip (python 3.10)
  4. 配置pip源。以Windows环境为例,配置pip源方法如下:
    1. 新建pip文件夹。启动cmd,输入set命令,查看APPDATA路径。并在APPDATA对应路径下创建pip文件夹。文件内容示例如下:
      C:\Users\xxx>set
      ALLUSERSPROFILE=C:\ProgramData
      APPDATA=C:\Users\xxx\AppData\Roaming
    2. 在pip文件夹中创建一个名为pip的文本文件,并将后缀名由“.txt”改为“.ini”。文件内容示例如下:

      其中,index-url为pip源IP地址,使用时需自行替换。本示例以华为源为例,具体如下:

      [global]
      index-url = https://mirrors.huaweicloud.com/repository/pypi/simple  
      trusted-host = mirrors.huaweicloud.com  
      disable-pip-version-check = true
      timeout = 120
      [install] 
      ignore-installed = true
      no-dependencies = yes
  5. 安装算子开发SDK。
    1. 下载Modelarts数据精炼开发自定义算子SDK软件包。
    2. pip安装SDK。命令如下:
      pip install modelarts_data_refiner-1.0.0-py3-none-any.whl
    3. 安装完成后,验证安装是否成功。
      python -c "from modelarts.data.refiner.op.base_op import Mapper, Filter, BatchMapper, BatchFilter, Generator; print('SDK安装成功')"

      预期输出:

      SDK安装成功

相关文档