更新时间:2026-09-28 GMT+08:00
准备本地开发环境
当预置算子无法满足数据处理需求时,您可以开发自定义算子。在开发算子之前,需要先准备本地开发环境。本文介绍如何安装开发工具和算子开发SDK。
安装开发工具和算子开发SDK
- 下载并安装PyCharm IDEA(Community版即可)或您习惯的Python IDE。
- 安装Python 3.10。
- 在Python官网下载Python 3.10.x安装包,安装时勾选Add Python to PATH。
- 安装完成后在终端验证:
python --version
预期输出:
Python 3.10.x
- 安装Python包通用管理工具pip。如果Python安装过程中没有安装通用包管理工具pip,则参见pip官网完成pip安装。
以Windows环境为例,在本地环境执行命令pip --version,显示如下内容说明pip已安装。
C:\Users\xxxx>pip --version pip xx.x.x from D:\Python\py310\lib\site-packages\pip (python 3.10)
- 配置pip源。以Windows环境为例,配置pip源方法如下:
- 新建pip文件夹。启动cmd,输入set命令,查看APPDATA路径。并在APPDATA对应路径下创建pip文件夹。文件内容示例如下:
C:\Users\xxx>set ALLUSERSPROFILE=C:\ProgramData APPDATA=C:\Users\xxx\AppData\Roaming
- 在pip文件夹中创建一个名为pip的文本文件,并将后缀名由“.txt”改为“.ini”。文件内容示例如下:
其中,index-url为pip源IP地址,使用时需自行替换。本示例以华为源为例,具体如下:
[global] index-url = https://mirrors.huaweicloud.com/repository/pypi/simple trusted-host = mirrors.huaweicloud.com disable-pip-version-check = true timeout = 120 [install] ignore-installed = true no-dependencies = yes
- 新建pip文件夹。启动cmd,输入set命令,查看APPDATA路径。并在APPDATA对应路径下创建pip文件夹。文件内容示例如下:
- 安装算子开发SDK。
- 下载Modelarts数据精炼开发自定义算子SDK软件包。
- pip安装SDK。命令如下:
pip install modelarts_data_refiner-1.0.0-py3-none-any.whl
- 安装完成后,验证安装是否成功。
python -c "from modelarts.data.refiner.op.base_op import Mapper, Filter, BatchMapper, BatchFilter, Generator; print('SDK安装成功')"预期输出:
SDK安装成功
父主题: 开发自定义算子