文档首页> > 快速入门

快速使用DIS

更新时间: 2018-11-14 11:18
  • Data Ingestion Service(DIS)是华为云提供的实时数据接入服务。它提供了灵活数据采集、高效数据传输、实时数据分发能力,让您可以轻松构建基于实时数据的分析和应用。

  • 用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。通过DIS用户可以完成数据轻松上云及数据在云上自由流动。

  • 本使用指南,指导用户通过DIS Agent采集数据并上传数据至DIS。

Step1 登录管理控制台

步骤

① 登录 华为云控制台
② 在控制台页面中选择“服务列表 > EI企业智能 > 数据接入服务”。

Step2 创建DIS实例

步骤

① 单击”购买接入通道“。
② 配置通道信息。
配置“通道名称”,该名称用户可以使用默认值。
选择“分区数量”,用户可以根据分区计算,由数据流折算出分区数量。
选择“生命周期”,该周期为数据在DIS中缓存的时间,以天为单位。
选择”源数据类型“。
③ 确认规格后,单击”提交“。
④在”通道管理“页面,可查看已创建的实例。

1

创建DIS实例

创建DIS实例

单击图片可查看原图

Step3 安装DIS Agent

步骤

① 从 这里 获取最新的dis-agent-XXX.zip包。
② 在您的工作目录解压DIS Agent压缩包。

Step4 配置DIS Agent

步骤

① 在“dis-agent-XXX\conf”目录中打开“agent.yml”进行数据采集配置。
② 获取“ProjectId”、“AK”、“SK”、”DISStream“信息配置“agent.yml”文件。
a.登录华为云数据接入服务页面,单击右上角的用户名,然后选择“我的凭证”。根据对应区域,例如“华为-北京1”,在“项目列表”页签中获取匹配的ProjectId。
b.在“管理访问密钥”页签中,单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器会自动下载一个“credentials.csv”,文件为csv格式,以英文逗号分隔,中间的为AK,最后一个为SK。
c.将已创建的DIS实例名称配置至“agent.yml”文件的DISStream处。
③ 配置Agent数据采集来源。
在您的工作目录创建要监控的文件,当该文件的内容增长时,增长的数据会通过DIS实例从用户侧上传到云上的DIS。

1

配置agent.yml文件

配置agent.yml文件

2

获取ProjectId和密钥

获取ProjectId和密钥

单击图片可查看原图

Step5 启动Agent上传数据

步骤

①在“dis-agent-XXX\bin”目录中,双击“start-dis-agent.bat”,启动DIS Agent。
若控制台前几行中打印出如下日志表示启动成功。
[INFO ] (main) com.bigdata.dis.agent.Agent Agent: Startup completed in XXX ms.
② 构造数据并上传,向“AgentData\test.txt”文件中追加数据并保存。
数据上传成功,在命令行提示:*records / * files sent successfully to destinations.

Step6 查看数据上传结果

步骤

① 进入数据接入服务,在“通道管理”页面,单击已创建的DIS实例名称,进入通道监控页面。
② 在通道监控页面可查看数据上传输入流量和输入记录,则表明数据已从用户机器上传至云上的DIS。

1

查看结果

查看结果

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

在文档使用中是否遇到以下问题







请至少选择或填写一项反馈信息

字符长度不能超过100

反馈内容不能为空!

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区
点我,12·12惊喜等着你哦~