数据接入服务 DIS

调用说明 数据接入服务 提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题： 使用前必读

查看更多 →

“/”，且首尾字符不能为空格。 Apache 为通道增加标签 在购买接入通道页，为通道增加标签。 登录管理控制台。 在控制台页面中选择“服务列表 > 大数据 > 数据接入服务 DIS”。 单击“购买接入通道”，进入“购买接入通道”页面。 “高级配置”页签，选择“现在配置”，展开标签页。 输入新添加标签的键和值。

查看更多 →

（可选）开通数据接入资源DIS 在使用推荐系统之前，数据接入服务（Data Ingestion Service，简称DIS）采集用户实时日志，在计算引擎中消费实时日志并做近线处理。 登录华为云。在华为云“产品”页签，选择“大数据>数据接入服务DIS”，进入DIS产品页。单击“进入控制台”，开始使用DIS。

查看更多 →

server.url 数据接入服务服务端控制通道IP地址。 必填 10.94.168.93 collection.server.port 数据接入服务服务端控制通道端口。 保持默认 30081 collection.server.data.url 数据接入服务服务端数据通道IP地址。

查看更多 →

DIS Flink Connector概述 DIS Flink Connector是数据接入服务（DIS）提供的一个sdk。 DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题： 使用DIS Flink Connector上传与下载数据

查看更多 →

DIS Logstash Plugin概述 DIS Logstash Plugin是数据接入服务（DIS）为Logstash开发的插件，包含DIS Input与DIS Output。 DIS Input用于从DIS服务下载数据到Logstash。 DIS Output用于将Logstash中的数据上传到DIS服务。

查看更多 →

Kafka Adapter概述 dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据

查看更多 →

DIS Flume Plugin概述 DIS Flume Plugin是数据接入服务（DIS）为Flume开发的插件，包含DIS Source与DIS Sink。 DIS Source用于从DIS服务下载数据到Flume Channel。 DIS Sink用于将Flume Channel中的数据上传到DIS服务。

查看更多 →

DIS Spark Streaming概述 DIS Spark Streaming是数据接入服务（DIS）提供的一个sdk，支持将DIS作为数据源创建DStream对接SparkStreaming。 DIS Spark Streaming使用流程如图1所示。 图1 DIS Spark

查看更多 →

DIS Agent概述 DIS Agent是数据接入服务（DIS）提供的一个客户端程序，具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/ CS V)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题：

查看更多 →

具体含义如下： obs_adm： DLI 获得访问和使用OBS的委托权限。 dis_adm：访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）DIS Administrator权限。 ctable_adm：访问和使用CloudTable（ 表格存储服务 ）的CloudTable

查看更多 →

登录到DIS管理控制台，在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建，请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的DIS通道和Flink作业处于统一区域。 如果DIS通道已创建，则检查确保DIS通道和Flink流作业是否处于同一区域。

查看更多 →

Kafka Adapter概述 dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据

查看更多 →

可用于关键日志信息收集进行应用监控。 数据接入服务 DIS 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据

查看更多 →

案例概述 本手册基于 函数工作流 服务实践所编写，用于指导您使用函数工作流服务实现处理DIS数据的功能。 场景介绍 使用数据接入服务（DIS）采集IOT实时数据流，需要将采集到的数据进行处理（比如格式转换），然后存储到 表格存储 服务（CloudTable Service）中，使用Fun

查看更多 →

”。 图1 配置测试事件 在“配置测试事件页”，输入配置信息，如图2所示。 配置测试事件：选择“创建新的测试事件”。 事件模板：选择“数据接入服务（DIS）”。 事件名称：输入您自定义的事件名称，此处以“dis-test”为例。 图2 测试事件 单击“创建”，完成测试事件配置。 父主题：

查看更多 →

。 单击“数据接入服务”，开通服务。 创建访问密钥。 DIS通过用户账户中的AK和SK进行签名验证，确保通过授权的账户才能访问指定的DIS资源。 登录DIS控制台。 单击页面右上角的用户名，选择“我的凭证”。 “我的凭证”页面，单击“管理访问密钥”区域下方的“新增访问密钥”。 根

查看更多 →

片缩略图。相关内容请参考 对象存储服务 用户指南。 数据接入服务（DIS） 构建FunctionGraph函数定期轮询DIS数据流中的新记录，例如网站点击流、财务交易记录、社交媒体源、IT日志和位置跟踪事件等。相关内容请参考数据接入服务用户指南。 云日志服务（LTS） 构建Funct

查看更多 →

删除“元数据管理与数据处理（旧版本）”服务章节。 2021-02-28 修改如下章节： 创建解析任务 启动解析任务 云地采集服务更名为：数据接入服务。 2021-02-08 云地采集服务：根据软件界面，更新全部内容。 2021-01-30 根据软件界面，更新内容。 修改如下章节： 设置项目信息

查看更多 →

支持的监控指标 功能说明 本节定义了数据接入服务上报云监控的监控指标的命名空间，监控指标列表和维度，用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称

查看更多 →

时间的日志数据将会被自动删除，对于需要长期存储的日志数据（日志持久化），LTS提供转储功能，可以将日志转储至对象存储服务（OBS）或者数据接入服务（DIS）中长期保存。 有关WAF日志配置到LTS的详细操作，请参见防护日志记录到LTS。 有关LTS日志转储至OBS的详细操作，请参见LTS日志转储至OBS。

查看更多 →