开始使用

安全组规则修改（可选）

安全组实际是网络流量访问策略，包括网络流量入方向规则和出方向规则，通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。

如果您的实例关联的安全组策略无法满足使用需求，比如需要添加、修改、删除某个TCP端口，请参考以下内容进行修改。

• 添加安全组规则：根据业务使用需求需要开放某个TCP端口，请参考添加安全组规则添加入方向规则，打开指定的TCP端口。
• 修改安全组规则：安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则，来修改安全组中不合理的规则，保证云服务器等实例的网络安全。
• 删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。

• 该方案通过 1717 端口访问 Easy Dataset 平台，默认开放ip为 0.0.0.0/0，即对所有公网 IP开放访问。 由于平台当前无需登录认证即可访问，建议部署完成后根据实际使用场景修改安全组规则，将ip段限制为可信公网 IP或指定网段，以降低安全风险。
• 该方案使用22端口CloudShell方式远程登录云服务器，默认已配置IP地址白名单，若需远程登录云服务器，可直接使用CloudShell远程登录。

Easy Dataset模型配置

1. 在实时部署日志查看页单击“进入服务“按钮或在部署完成后的输出页复制Easy Dataset访问链接到浏览器，进入Easy Dataset平台。
   图1 部署进度日志进入服务位置
   
   图2 输出页Easy Dataset访问链接
   
   图3 Easy Dataset首页
   

2. 创建项目：单击首页“创建项目”按钮，填写项目名称，进行项目创建。
   图4 创建项目页面
   

3. 项目模型配置：单击项目进入，单击更多按钮，进入项目设置。
   图5 Easy Dataset首页项目位置
   
   图6 项目设置所在位置
   

4. 单击模型配置-添加模型开始配置模型，接下来以已有API Key（OpenAI兼容）为示例进行演示。
   图7 模型配置页面
   

5. 依次填写接口地址、API密钥，如何填写详见说明。提供商可以任意填写。
   图8 OpenAI-API-Compatible
   
   

   模型配置华为云MaaS为样例：API base URL固定填写："https://api.modelarts-maas.com/openai/v1”，API key填写：“准备工作”中创建API key或使用已有API key；

   选择模型需要注意：模型已经开通，查询地址：华为云MaaS平台模型列表。

6. 在填写好接口地址、API密钥后单击刷新模型列表，单击模型ID进行模型选择，保存模型。
   图9 模型选择页面
   

7. 在模型配置页面可以看到配置好的模型。
   图10 模型配置完毕
   

8. 模型测试：单击已配置模型右侧紫色图标进行模型测试，输出成功则模型配置正常。
   图11 模型测试按钮位置
   
   图12 模型测试成功页面
   

Easy Dataset生成数据集使用指南

1. 返回数据文件处理页面，单击右侧红色图标进行模型选择。
   图13 数据源文件处理页面
   
   图14 模型选择页面
   

2. 选择文档进行上传。
   图15 上传文档页面（选择基础PDF解析方法）
   

3. 等待文档解析完成，选择所有文本块，单击批量生成问题。
   图16 批量生成问题位置
   

4. 单击顶部导航栏右侧图标-任务管理中心，查看当前任务进度。
   图17 任务进度界面
   

5. 待问题生成任务结束后，单击顶部导航栏-问题，全选所有的问题，选择右侧自动生成数据集（以生成单轮对话数据集为例）。
   图18 单轮问答数据集界面
   

6. 待答案生成任务结束后，单击顶部导航栏-数据集-单轮问答数据集，查看生成的单轮问答数据集。
   图19 单轮问答数据集界面
   

7. 单击问题查看问题回答详情，在右上角确认数据集（确认数据集不是必备操作，仅用于平台记录已确认的情况，不影响后续导出，未确认的数据集也能导出）。
   图20 查看问题回答详情位置
   
   图21 问题回答详情页
   

8. 单击右侧导出按钮，选择所需格式，导出生成的数据集。
   图22 导出生成数据集页面
   

Easy Dataset生成评估集使用指南

1. 单击顶部导航栏-更多-项目设置，单击任务配置。下滑到测试集生成设置，根据需求设置各类题型比例。
   图23 项目设置所在位置
   
   图24 测试集生成设置页面
   

2. 选择所有文本块，单击自动任务中自动生成评估集。
   图25 自动生成评估集位置
   

3. 待评估集生成任务结束后，单击顶部导航栏-评估-评估数据集，查看生成的评估数据集。
   图26 生成评估数据集界面
   

4. 单击顶部导航栏-评估-自动评估任务，创建任务，进行模型评估。
   图27 自动评估任务位置
   

5. 选择测试模型、题目类型、题目数量，单击开始评估进行模型评估。若题目类型包含简单题/开放题，则需选择教师模型进行评分（参考模型配置添加所需模型）。
   图28 创建评估任务页面
   

6. 单击模型评估任务，查看模型能力评估，可单击单种题型查看。
   图29 模型评估任务页面
   
   图30 模型能力评估页面
   

7. 单击顶部导航栏-评估-人工盲测任务，创建任务，进行对比两个模型的回答质量。
   图31 人工盲测任务位置
   

8. 单击顶部导航栏-评估-人工盲测任务，创建任务，进行两个模型的回答质量对比。
   图32 人工盲测任务创建页面
   

9. 在下方对两个模型生成回答进行人工评价。
   图33 人工盲测任务页面
   

10. 在人工盲测任务结束后，查看盲测结果。
    图34 盲测结果页面