更新时间:2024-08-08 GMT+08:00
分享

使用AutoGenome镜像

AutoGenome是Notebook镜像,利用AutoML等技术帮助科研工作者在基因组学数据上端到端实现深度学习网络搜索,训练,评估,预测和解释的工具包。

使用AutoGenome镜像的详细步骤如下所示:

步骤1:订阅镜像

使用AutoGenome镜像前,需要您在资产市场中订阅该镜像。

  1. “资产市场”中查找“autogenome”镜像。
  2. 单击界面右侧“订阅”图标,订阅该镜像。

    订阅的镜像将显示在“项目管理 > 镜像”页面的镜像列表中。

步骤2:创建Notebook

  1. “项目管理 > 开发”页面单击“创建Notebook”,参考表 参数说明填写信息。
    表1 参数说明

    参数名称

    说明

    名称

    Notebook的名称。

    描述

    Notebook的简要描述。

    镜像类型

    选择“自定义”镜像。

    工作环境

    选择“autogenome”镜像。

    CPU

    设置CPU为8.0核。

    GPU

    设置GPU为1.0。

    内存

    设置内存大于50G。

    存储路径

    单击“存储路径”右侧文件夹图标,设置用于存储Notebook数据的OBS路径。如果想直接使用已有的文件或数据,可将数据提前上传至对应的OBS路径下。

    包含本项目桶最多挂载6个,不包含本项目桶最多挂载5个。

    用户在Notebook列表的所有文件读写操作是基于所选择的OBS路径下的内容操作。

  2. 参数填写无误后,单击“立即创建”,创建Notebook。

步骤3:预览AutoGenome案例

  1. 打开创建的Notebook
  2. 在Notebook的根目录下的“AutoGenome-Examples”文件夹中,包含使用AutoGenome进行分析的示例,可供参考。
    图1 AutoGenome-Examples

    表2 AutoGenome示例

    示例名称

    说明

    single_cell_rfcn_densenet.ipynb

    基于RFCN-DenseNet和表达谱对单细胞发育时期进行分类。

    pbmc_res_vae.ipynb

    基于Res-VAE和表达谱对单细胞数据降维。

步骤4:使用AutoGenome

Notebook包含了端到端使用AutoGenome的代码,您可以使用Notebook案例复现AutoGenome示例的结果。

  1. 以“pbmc_res_vae.ipynb”为例,用户可以打开相应的代码集,直接运行该Notebook,也可以调整代码集中的代码,进行二次开发。
    图2 基于Res-VAE和表达谱对单细胞数据降维
  2. 使用该Notebook时需要运行相应的代码模块,运行步骤如下所示。
    1. 环境配置:加载AutoGenome以及辅助绘图的软件包。
    2. 读取配置文件:通过json文件配置输入和输出路径。
    3. 模型训练:针对提供的数据和模型参数,AutoGenome会搜索得到最优的神经网络结构。训练过程经过模型搜索阶段和模型训练阶段,在模型搜索阶段,根据json文件中的配置参数,对于选定的模型参数会训练一定步数,搜索得到较好结果的参数进行后续训练。训练过程中可选择在验证数据集上进行评估,评估结果更好的模型参数将会保留。
    4. 提取降维之后数据:完成模型训练后,生成降维后的结果数据。

    当您在运行AutoGenome示例出现“Warning:restart the kernel and run the notebook again!”时,请单击Notebook工具栏中的按钮,重启Notebook环境,并重新执行出现告警的代码。

  3. 您可以在Notebook工作目录中上传数据,使用AutoGenome工具。数据上传下载请参见数据的上传和下载

    对于非挂载目录以外的目录下的文件,重启Notebook后会消失。例如,上传文件至Notebook的根目录下,该文件并不在被挂载的obs路径中,重启Notebook,该文件会消失。

    图3 Upload上传数据

相关文档