自然语言处理套件（使用文本分类工作流开发应用）

准备工作

注册华为帐号，开通华为云，并完成套件申请、访问授权配置等准备工作，详情请见准备工作。

步骤1：准备数据

在开发应用之前，您需要自行准备训练数据集并上传至OBS桶及文件夹中。由于数据安全原因，本样例不提供具体的样例数据，仅提供样例数据要求。

本样例使用已标注数据训练模型，数据集要求如下：

• 文件格式要求为txt或者csv，文件大小不能超过8MB。
• 以换行符作为分隔符，每行数据代表一个标注对象。
• 每个分类标签需要准备5个及以上数据，为了训练出效果较好的模型，建议每个分类标签准备100个以上的数据。

• 文本分类的标注对象和标注内容在一个文本文件内，标注对象与标注内容之间，多个标注内容之间可分别指定分隔符。
  例如，文本文件的内容如下所示。标注对象与标注内容之间采用Tab键分隔。

  手感很好，反应速度很快，不知道以后怎样   positive
  三个月前买了一个用的非常好果断把旧手机替换下来尤其在待机方面秒杀  positive
  没充一会电源怎么也会发热呢音量健不好用回弹不好  negative
  算是给自己的父亲节礼物吧物流很快下单不到24小时就到货了耳机更赞有些低音炮的感觉入耳很紧不会掉棒棒哒  positive

1. 按上文要求准备训练数据集，并保存至本地，训练数据命名为“test.txt”。
2. 登录OBS服务，创建桶和文件夹，用于存放数据集。

   创建名称为“mapro-nlp”的OBS桶。

   创建名称为“data-in”的文件夹用于存放训练数据集。

   创建名称为“data-out”的文件夹用于存放输出的数据集。

   创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常访问，请务必确保创建的OBS桶与ModelArts Pro服务在同一区域。

3. 参考上传文件，使用单个文件上传方式将本地准备的训练数据“test.txt”文件上传至OBS路径“mapro-nlp/data-in”下。

步骤2：新建应用

1. 登录ModelArts Pro控制台，单击“自然语言处理套件”卡片的“进入套件”。

   默认进入“应用开发>工作台”页面的“我的应用”页签。

   图1 进入套件
   
2. 在“我的应用”页签下，单击“新建应用”。

   进入“新建应用”页面。

   图2 新建应用
   
3. 填写应用的“基本信息”、“工作流配置”和“资源配置”。
   • 基本信息
     按图3和表1填写基本信息。

     图3 基本信息
     

     表1 基本信息参数说明

     参数	说明	推荐填写
     应用名称	必填参数，支持输入中英文、数字、下划线及中划线。	本样例可输入“中文文本分类应用”。
     应用负责人	选填参数，应用负责人的姓名。	本样例可不填。
     应用描述	选填参数，应用的简短描述。	本样例填写“这是关于文本分类的应用”。

   • 工作流配置
     按图4和表2填写工作流配置。

     图4 工作流配置
     

     表2 工作流配置参数说明

     参数	说明	推荐填写
     所属行业	单击，选择应用所属行业。	本样例选择“通用”。
     选择工作流	选择开发应用的预置工作流。	本样例选择“通用文本分类工作流”。

   • 资源配置
     按图5和表3填写资源配置。

     图5 资源配置
     

     表3 资源配置参数说明

     参数	说明	推荐填写
     数据处理资源	用于数据处理的资源池和资源类型。 “公共资源池”：提供公共的大规模计算集群，资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”：提供独享的计算资源，不与其他用户共享，更加高效。使用专属资源池需要在ModelArts创建专属资源池。	本样例选择“公共资源池”、“CPU：2核8GiB”。
     模型训练资源	用于模型训练的资源池和资源类型。 “公共资源池”：提供公共的大规模计算集群，资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”：提供独享的计算资源，不与其他用户共享，更加高效。使用专属资源池需要在ModelArts创建专属资源池。	本样例选择“公共资源池”。
     部署方式	选择应用的部署方式，当前通用文本分类工作流仅支持“在线部署”。	本样例选择“在线部署”。

4. 确认信息后，单击右下角的“确定”。

   成功新建应用，进入“应用开发”页面。

步骤3：选择数据

1. 在应用开发的“数据选择”页面，单击“新建数据集”。

   右侧弹出“新建数据集”页面。

2. 按表4填写数据集基本信息，然后单击“确定”。
   图6 新建数据集
   

   表4 新建数据集参数说明

   参数	说明	推荐填写
   数据集名称	待新建的数据集名称。支持输入中英文、数字、下划线及中划线。	本样例填写“test”。
   描述	数据集简要描述。	-
   数据集状态	上传的训练数据可以是已标注的数据，也可以是未标注的数据。 您可以根据自身业务选择“数据集状态”是“已标注数据集”还是“未标注数据集”。 数据集模板可在选择“数据集状态”后，单击下方的“文本分类已标注数据模板”或“文本分类未标注数据模板”，下载数据集模板至本地查看。	本样例使用已标注的数据集，所以选择“已标注数据集”。 如果您想手动修改标签，可单击数据集操作列的“标注”，进入数据集概览页单击右上角的“开始标注”，在“数据标注”页面手动标注数据，详细的操作指导请参考标注数据。
   数据集输入位置	训练数据存储至OBS的位置。 单击“数据集输入位置”右侧输入框，在弹出的“数据集输入位置”对话框中，选择“OBS桶”和“文件夹”，然后单击“确定”。	选择步骤1：准备数据中提前上传数据集的OBS路径“mapro-nlp/data-in”。
   数据集输出位置	待新建的数据集存储至OBS的位置。 单击“数据集输出位置”右侧的“修改”，在弹出的“数据集输出位置”对话框中，选择“OBS桶”和“文件夹”，然后单击“确定”。	选择步骤1：准备数据中提前创建好的输出数据集的OBS路径“mapro-nlp/data-out”。

3. 勾选已上传的数据集。

   服务进行标签解析，统计训练数据集中各个标签的样本数。

   您可以选择打开“合并标签”开关，将样本数量较少的标签在模型训练中进行合并，以达到更优训练效果。

   图7 数据选择
   
4. 单击右下角“下一步”。

   进入应用开发的“模型训练”页面。

步骤4：训练模型

1. 在应用开发的“模型训练”页面，勾选模型训练所使用的“预训练模型”。

   当前服务提供预置预训练模型“BERT”、“TinyBERT”、“FastText”。本样例使用“FastText”模型。

2. 在参数配置，填写“学习率”和“训练轮次”。

   本样例使用“学习率”为“0.00001”，“训练轮次”为“3”。

3. 单击右下角的“开始训练”，开始训练模型。

   模型训练一般需要运行一段时间，等模型训练完成后，可查看“训练详情”、“准确率变化情况”和“误差变化”。

   图8 训练详情
   
4. 模型训练完成后，单击右下角的“下一步”。

   进入应用开发的“模型评估”页面。

步骤5：评估模型

1. 在应用开发的“模型评估”页面，您可以针对当前版本的模型进行整体评估和详细评估。

   “整体评估”左侧显示当前模型的“版本”、“标签数量”、“验证集数量”。

   “整体评估”右侧显示当前模型的评估参数值，包括“精准率”、“召回率”、“F1值”。

   图9 整体评估
   
2. 在应用开发的“模型评估”页面，您可以搜索查看测试集中数据模型预测结果。

   “详细评估”左侧在搜索框中搜索标签，右侧显示正确标签所对应样本的正确标签和预测标签，您可以对比正确标签和预测标签，判断当前模型预测该样本是否预测正确。

   例如搜索框内输入标签“1”，下方会显示正确标签为“1”的样本中，预测正确的样本数在验证集中的占比。右侧显示正确标签为“1”的样本信息，包括样本的正确标签和预测标签。

   图10 详细评估
   
3. 单击右下角的“发布部署”。

   进入应用开发的“服务部署”页面。

步骤6：部署服务

在应用开发“服务部署”页面，按表5填写服务的相关参数，然后单击“部署”。

图11 服务部署

部署成功后，页面显示“服务部署成功”。您可以单击“查看应用监控”，进入应用监控页面查看监控信息，详情请见监控应用。