# 数据接入服务 DIS

> 实时数据接入、处理、转储服务

## 产品介绍

- [图解数据接入服务DIS](https://support.huaweicloud.com/productdesc-dis/dis_07_0011.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [什么是数据接入服务DIS](https://support.huaweicloud.com/productdesc-dis/dis_07_0001.md): 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从多种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。DIS实时从多种数据源采集数据。DIS连续传输数据
- [应用场景](https://support.huaweicloud.com/productdesc-dis/dis_07_0002.md): 将大量滚动日志文件传输到云端做备份，用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件，提高数据处理性能。通过在车载设备中集成IoTDA，并配置数据转发到DIS，实时上传车辆状态、监控数据，采用云上数据分析系统进行实时分析、检测，动态掌握设备状况，实现汽车故障提前感知。
- [DIS有哪些功能](https://support.huaweicloud.com/productdesc-dis/dis_01_0003.md): DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外，DIS还可在云区域同步复制数据，为您提供数据高可用性和数据持久性。DIS分为4个功能模块，各模块功能如下：服务控制面完成服务的开通、删除、配置操作，并将用户信息同步到数据面。完成数据面资源的申请与自动部署。完成服务的开通、删
- [计费说明](https://support.huaweicloud.com/productdesc-dis/dis_07_0010.md): DIS根据您的消息数量和使用分区时长计费。DIS提供按需计费和包年包月计费方式供您灵活选择，使用越久越便宜。按需计费DIS默认为按需计费方式，即按实际使用的时长收费，以小时为单位，每小时整点结算，不设最低消费标准。按需计费方式下各计费项的具体价格，请参见产品价格详情。您可以通过DIS提供的价格计算器，根据您的业务诉求，来快速计算出购买DI
- [权限管理](https://support.huaweicloud.com/productdesc-dis/dis_07_0004.md): 如果云账号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用数据接入服务的其它功能。IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。关于IAM的详细介绍，请参见《IAM产品介绍》。默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组
- [与其他服务的关系](https://support.huaweicloud.com/productdesc-dis/dis_07_0005.md): 介绍DIS与其他服务的关系。对象存储服务（Object Storage Service，简称OBS）在用户购买接入通道时选择数据转储至OBS，用户上传的数据会存储至对象存储服务（OBS）。统一身份认证服务（Identity and Access Management，简称IAM）统一身份认证服务为DIS提供了用户鉴权功能。对象存储服务（O
- [使用限制](https://support.huaweicloud.com/productdesc-dis/dis_07_0006.md): 使用DIS前，您需要认真阅读并了解以下使用限制。建议使用支持的浏览器登录DIS。Google Chrome：48.0及更高版本Mozilla FireFox：43.0及更高版本Internet Explorer：9.0及更高版本当使用Internet Explorer 9.0时可能无法登录DIS管理控制台，原因是某些Windows系统例如
- [基本概念](https://support.huaweicloud.com/productdesc-dis/dis_07_0007.md): 通道名称：租户创建的逻辑单位，用以区分不同租户实时数据的集合，创建通道时指定。在用户发送或者接收实时数据时，需要指定通道名称。分区数：分区（Partition）是DIS数据通道的基本吞吐量单位。创建数据通道时，您将指定所需的分区数量。记录：记录（Record）是存储在DIS通道中的数据单元。记录由序列号、分区键和数据块组成。数据块是您的数
- [区域和可用区](https://support.huaweicloud.com/productdesc-dis/dis_07_0009.md): 我们用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属R
- [配额说明](https://support.huaweicloud.com/productdesc-dis/dis_07_0008.md): 创建通道应用的基础设施如下：普通通道分区高级通道分区普通通道分区高级通道分区其配额查看及修改请参见关于配额。

## 快速入门

- [DIS使用流程简介](https://support.huaweicloud.com/qs-dis/dis_01_0009.md): DIS的使用流程如下：步骤1：开通DIS通道用户使用DIS前需要先开通DIS通道。步骤2：准备DIS应用开发环境用户开发DIS应用程序前，首先需要安装应用开发工具。然后获取SDK和样例工程，并导入到用户的开发环境中。步骤3：发送数据到DIS基于数据上传业务开发应用程序，并运行程序，实现数据上传功能。数据上传过程中可在Console控制台查
- [步骤1：开通DIS通道](https://support.huaweicloud.com/qs-dis/dis_01_0601.md): 用户可以基于云管理平台Web界面开通DIS通道。使用DIS前需要注册公有云账户，再开通DIS。
- [步骤2：准备DIS应用开发环境](https://support.huaweicloud.com/qs-dis/dis_01_0602.md): 用户开发DIS应用程序前，首先需要安装和配置应用开发环境。获取SDK和样例工程，并导入到用户的开发环境中。JDK(1.8版本或以上版本)工具已安装成功。Eclipse工具已安装成功。打开Eclipse工具，选择“Window > Preferences”，弹出“Preferences”窗口。在左侧菜单栏单击“Java”，显示如图1所示内容
- [步骤3：发送数据到DIS](https://support.huaweicloud.com/qs-dis/dis_01_0603.md): 将用户本地数据通过DIS通道不断上传至DIS服务。目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS），具体存储位置在新增转储任务的“数据转储”中配置。DIS为临时存储器，存储在DIS中的数据最长保留时间为3中配置的生命周期的值。样例工程为DIS SDK桶中下载的“huaweicloud-sd
- [步骤4：从DIS获取数据](https://support.huaweicloud.com/qs-dis/dis_01_0604.md): 从DIS服务中下载数据。样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。出现类似信息表示下载数据成功：
- [获取认证信息](https://support.huaweicloud.com/qs-dis/dis_01_0043.md): AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在IAM中创建，可在我的凭证 > 访问密钥页面下载生成。项目ID表示租户的资源。用户可在“我的凭证 > API凭证”页面下查看项目列表中不同Region对应的项目ID。请参见终端节点及区域说明。
- [连接OBS](https://support.huaweicloud.com/qs-dis/dis_01_0045.md): DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。用户在新增转储任务时可设置”数据转储地址”。当数据转储设置为OBS时，DIS会将通道数据周期性导入OBS。
- [自动创建委托](https://support.huaweicloud.com/qs-dis/dis_01_0135.md): 用户创建DIS通道，选择将数据转储到对象存储服务（Object Storage Service，简称OBS）中，需要通过创建IAM委托授权DIS服务去访问用户的OB资源。使用账号首次进入界面添加转储任务时，系统会自动弹出创建委托界面。单击 “同意授权”则平台会自动创建委托。委托授权成功后，隶属于该账号下的IAM子用户也可添加转储任务。
- [入门实践](https://support.huaweicloud.com/qs-dis/dis_01_0235.md): 当您参考开通DIS、从DIS获取数据等一系列操作后，可以根据自身的业务需求使用DIS提供的一系列常用实践。

## 用户指南

- [创建用户并授权使用DIS](https://support.huaweicloud.com/usermanual-dis/dis_01_0112.md): 如果您需要对您所拥有的数据接入服务（DIS）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以：根据企业的业务组织，在您的华为云账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用DIS资源。根据企业用户的职能，设置不同
- [DIS使用流程简介](https://support.huaweicloud.com/usermanual-dis/dis_01_0009.md): DIS的使用流程如下：步骤1：开通DIS通道用户使用DIS前需要先开通DIS通道。步骤2：准备DIS应用开发环境用户开发DIS应用程序前，首先需要安装应用开发工具。然后获取SDK和样例工程，并导入到用户的开发环境中。步骤3：发送数据到DIS基于数据上传业务开发应用程序，并运行程序，实现数据上传功能。数据上传过程中可在Console控制台查
- [步骤1：开通DIS通道](https://support.huaweicloud.com/usermanual-dis/dis_01_0601.md): 用户可以基于云管理平台Web界面开通DIS通道。使用DIS前需要注册公有云账户，再开通DIS。
- [步骤2：准备DIS应用开发环境](https://support.huaweicloud.com/usermanual-dis/dis_01_0602.md): 用户开发DIS应用程序前，首先需要安装和配置应用开发环境。获取SDK和样例工程，并导入到用户的开发环境中。JDK(1.8版本或以上版本)工具已安装成功。Eclipse工具已安装成功。打开Eclipse工具，选择“Window > Preferences”，弹出“Preferences”窗口。在左侧菜单栏单击“Java”，显示如图1所示内容
- [步骤3：发送数据到DIS](https://support.huaweicloud.com/usermanual-dis/dis_01_0603.md): 将用户本地数据通过DIS通道不断上传至DIS服务。目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS），具体存储位置在新增转储任务的“数据转储”中配置。DIS为临时存储器，存储在DIS中的数据最长保留时间为3中配置的生命周期的值。样例工程为DIS SDK桶中下载的“huaweicloud-sd
- [步骤4：从DIS获取数据](https://support.huaweicloud.com/usermanual-dis/dis_01_0604.md): 从DIS服务中下载数据。样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。出现类似信息表示下载数据成功：
- [获取认证信息](https://support.huaweicloud.com/usermanual-dis/dis_01_0043.md): AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在IAM中创建，可在我的凭证 > 访问密钥页面下载生成。项目ID表示租户的资源。用户可在“我的凭证 > API凭证”页面下查看项目列表中不同Region对应的项目ID。请参见终端节点及区域说明。
- [连接OBS](https://support.huaweicloud.com/usermanual-dis/dis_01_0045.md): DIS可以向对象存储服务（Object Storage Service，简称OBS）上传数据。已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。用户在新增转储任务时可设置”数据转储地址”。当数据转储设置为OBS时，DIS会将通道数据周期性导入OBS。
- [自动创建委托](https://support.huaweicloud.com/usermanual-dis/dis_01_0135.md): 用户创建DIS通道，选择将数据转储到对象存储服务（Object Storage Service，简称OBS）中，需要通过创建IAM委托授权DIS服务去访问用户的OB资源。使用账号首次进入界面添加转储任务时，系统会自动弹出创建委托界面。单击 “同意授权”则平台会自动创建委托。委托授权成功后，隶属于该账号下的IAM子用户也可添加转储任务。
- [通道列表简介](https://support.huaweicloud.com/usermanual-dis/dis_01_0011.md): 通道列表中可查看当前用户的已创建的所有通道信息。通道信息包括：名称/ID：用户发送或者接收数据时，需要指定通道名称，通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。状态：通道的运行状态。通道类型：普通和高级。普通通道单分区容量：最高发送速度可达1MB/s或1000条记录/s（达到任意一种速度上限才会被
- [查看通道监控信息](https://support.huaweicloud.com/usermanual-dis/dis_01_0012.md): 用户可以通过控制台查看通道的监控信息，支持按照App维度监控App在通道中消费的数据信息。游标范围所定义的时间段，隶属于监控面板设置的时间段子集。
- [变更源数据类型](https://support.huaweicloud.com/usermanual-dis/dis_01_0048.md): 源数据Schema作为通道下特定转储任务进行数据转换的依据，如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema，也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。单击需要查看的通道名称。进入所选通道的管理页面。单击源数据类型后的，从下拉框中选择对应的源数
- [管理源数据Schema](https://support.huaweicloud.com/usermanual-dis/dis_01_0049.md): 源数据Schema，即用户的JSON或CSV数据样例，用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet。创建源数据Schema有如下三个入口：创建通道同时开启Schema开关，创建源数据Schema，参见图1。创建通道时，关闭Sc
- [管理通道标签](https://support.huaweicloud.com/usermanual-dis/dis_01_0050.md): 标签是通道的标识。为通道添加标签，可以方便用户识别和管理拥有的通道资源。您可以在创建通道时添加标签，也可以在通道创建完成后，在通道的详情页添加标签，您最多可以给通道添加10个标签。标签共由两部分组成：“标签键”和“标签值”，其中，“标签键”和“标签值”的命名规则如表1所示。在购买接入通道页，为通道增加标签。登录管理控制台。在控制台页面中选
- [管理App](https://support.huaweicloud.com/usermanual-dis/dis_01_0076.md): App表示应用程序标识符。当多个应用程序分别消费同一通道的数据时，为区分不同应用程序的消费检查点，使用App作为标识。您可以创建App，也可进入通道管理页面，查看接入该通道的App详情。进入App管理页面，单击创建App，输入对应的名称，完成创建。可查看接入该通道的App名称，ID和创建时间。您也可通过单击清空Checkpoints，将A
- [授权管理](https://support.huaweicloud.com/usermanual-dis/dis_01_0077.md): 通过添加授权策略，可实现被授权的其他用户拥有DIS通道的上传和下载权限。选择授权模式，再在被授权用户文本框中，设置用户信息。支持通配符“*”，表示授权所有账号；支持添加多账号，用“,”隔开支持授权某账号下的特定用户，输入账号名，单击“查询用户”按钮，选择用户。
- [调试通道](https://support.huaweicloud.com/usermanual-dis/dis_01_0120.md): 用户在创建通道成功后 ，可在界面进行简单的上传和下载操作，验证通道的可用性。通道分区状态为ACTIVE（可用）时，同时支持上传和下载。通道分区状态为DELETED（删除中）时，仅支持下载，不支持上传。系统提示上传数据成功，并在界面回显当前数据上传成功记录的序列号。上传数据输入的序列号，需要在分区的数据有效范围内。分区的数据有效范围，可以通
- [弹性伸缩分区](https://support.huaweicloud.com/usermanual-dis/dis_01_0401.md): 用户在创建通道成功后，随着业务的发展和变化，对通道容量有了新的需求。弹性伸缩分区可以对已经创建成功的通道进行分区扩容或者分区缩容以满足用户这一需求，支持自动和手动扩缩容两种方式。每个通道在一小时内仅可操作实现10次自动扩容、10次手动扩容、1次缩容（包含手动缩容和自动缩容）操作。进行弹性伸缩分区后，有如下注意事项：上传数据时，不建议设置数
- [删除通道](https://support.huaweicloud.com/usermanual-dis/dis_01_0013.md): 通道删除后不再收取费用，也无法恢复，请谨慎操作。
- [检查与配置DNS信息](https://support.huaweicloud.com/usermanual-dis/dis_01_0301.md): 默认情况下，弹性云服务器已经配置了两个外网DNS服务器。如果弹性云服务器未绑定弹性IP，或者用户不同意使用该弹性IP来传输AEI_Register.sh工具和fisclient程序在使用过程中产生的流量，则需要编辑“/etc/resolv.conf”文件，新增DNS服务器。示例如下，其中XXX.XXX.XXX.XXX为DNS服务器的IP地
- [DIS Agent概述](https://support.huaweicloud.com/usermanual-dis/dis_01_0021.md): DIS Agent是数据接入服务（DIS）提供的一个客户端程序，具有如下功能：持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。DIS Agent安装流程如图1所示。
- [安装前准备](https://support.huaweicloud.com/usermanual-dis/dis_01_0022.md): Linux x86-64（64位）服务器，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等。Windows 7及以上版本。请参见JRE地址下载JRE。Linux服务器安装请参考如下步骤：使用root用户，进入/opt目录。cd /opt创建目录“jre”。mkdir -p jre设置JDK安装目录的权限
- [安装DIS Agent](https://support.huaweicloud.com/usermanual-dis/dis_01_0023.md): 已安装PuTTY工具。unzip dis-agent-X.X.X.zipcd dis-agent-X.X.X
- [配置DIS Agent](https://support.huaweicloud.com/usermanual-dis/dis_01_0024.md): DIS Agent配置文件格式为“YAML”，各配置项与值之间必须以英文格式的“冒号+空格”形式分隔。agent.yml文件模板可从“dis-agent”压缩包中获取，内容示例如下。具体配置项说明请参见表1。配置完成之后，请将agent.yml中flows下面无用的示例配置删除或者使用#注释（比如只配置了一个DISStream，则将下面的
- [启动DIS Agent](https://support.huaweicloud.com/usermanual-dis/dis_01_0025.md): cd /opt/dis-agent-x.x.x/bash bin/start-dis-agent.sh如果需要启动多个DIS Agent进程，则新启的Agent进程需要通过-c指定配置文件以及-n参数指定名称。bash bin/start-dis-agent.sh -c config/anotherAgent.yml -n another
- [验证DIS Agent](https://support.huaweicloud.com/usermanual-dis/dis_01_0026.md): cd /opt/dis-agent-X.X.X/logstail -100f dis-agent.log显示如下信息，表示Agent正常运行。Agent: Startup completed in xx msAgent运行异常，常见问题原因和处理方法如下：HttpClientErrorException: 400 Bad Request可
- [停止DIS Agent](https://support.huaweicloud.com/usermanual-dis/dis_01_0027.md): cd /opt/dis-agent-X.X.X/bash bin/stop-dis-agent.sh请确保使用bash执行脚本，否则使用sh、./ 等方式启动脚本，可能由于系统默认shell的差异导致启动失败。显示类似如下内容，表示正在停止中。“xxxxx”表示进程ID。显示类似如下内容，表示Agent进程已停止。强制停止Agent进程操
- [DIS Flume Plugin概述](https://support.huaweicloud.com/usermanual-dis/dis_01_0029.md): DIS Flume Plugin是数据接入服务（DIS）为Flume开发的插件，包含DIS Source与DIS Sink。DIS Source用于从DIS服务下载数据到Flume Channel。DIS Sink用于将Flume Channel中的数据上传到DIS服务。DIS Flume Plugin安装流程如图1所示。
- [安装DIS Flume Plugin前准备](https://support.huaweicloud.com/usermanual-dis/dis_01_0030.md): 检查AK/SKAK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在IAM中创建，可在页面下载生成。AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在IAM中创建，可在页面下载生成。检查项目IDProjectID表示租户
- [安装Plugin](https://support.huaweicloud.com/usermanual-dis/dis_01_0031.md): 已安装PuTTY工具。cd ${FLUME_HOME}unzip dis-flume-plugin-X.X.X.zipcd dis-flume-pluginbash install.shDIS Flume Plugin安装在${FLUME_HOME}/plugin.d/dis-flume-plugin目录下，安装完成后，显示类似如下内容，
- [配置Plugin](https://support.huaweicloud.com/usermanual-dis/dis_01_0032.md): DIS Flume Plugin分为Source与Sink插件，安装包中的dis-flume-plugin.conf.template文件列出了配置方法，本节介绍各种插件的配置项具体含义。dis-flume-plugin.conf.template只是一个dis插件的配置样例，并不是实际运行Flume时会读取的配置文件。Flume自身提供
- [验证Plugin](https://support.huaweicloud.com/usermanual-dis/dis_01_0033.md): 可基于Flume自带的flume-conf.properties.template修改，文件样例如下所示：agent.sources = dissource agent.channels = memoryChannel agent.sinks = loggerSink # 定义 Source (使用dis source，从DIS读取数据)
- [卸载Plugin(可选)](https://support.huaweicloud.com/usermanual-dis/dis_01_0034.md): cd ${FLUME_HOME}cd dis-flume-plugindos2unix install.shbash install.sh uninstall出现类似如下提示，表示卸载成功。
- [DIS Logstash Plugin概述](https://support.huaweicloud.com/usermanual-dis/dis_01_0094.md): DIS Logstash Plugin是数据接入服务（DIS）为Logstash开发的插件，包含DIS Input与DIS Output。DIS Input用于从DIS服务下载数据到Logstash。DIS Output用于将Logstash中的数据上传到DIS服务。DIS Logstash Plugin安装流程如图1所示。
- [安装DIS Logstash Plugin前准备](https://support.huaweicloud.com/usermanual-dis/dis_01_0095.md): 检查AK/SKAK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。检查项目IDProjectID表示租户的资源，每个Region都有一个唯一的项目ID。可在页面查看不同Region对应
- [在线安装DIS Logstash Plugin](https://support.huaweicloud.com/usermanual-dis/dis_01_0097.md): 安装DIS Logstash Plugin有在线和离线安装两种方式：在线安装无需下载插件包，直接连接公网即可安装。已安装PuTTY工具。cd ${LOGSTASH_HOME}bin/logstash-plugin install logstash-input-dis安装完成后，显示类似如下内容，表示安装成功。cd ${LOGSTASH_H
- [离线安装DIS Logstash Plugin](https://support.huaweicloud.com/usermanual-dis/dis_01_0098.md): 安装DIS Logstash Plugin有在线和离线安装两种方式：离线安装需要获取插件包并执行安装脚本。已安装PuTTY工具。cd ${LOGSTASH_HOME}unzip dis-logstash-plugins-X.X.X.zipcd logstash-pluginsbash install.sh –p ${LOGSTASH_HO
- [配置DIS Logstash Plugin](https://support.huaweicloud.com/usermanual-dis/dis_01_0099.md): DIS Logstash Plugins 分为Input与Output插件，本节介绍插件的各个配置项具体含义。配置模板如下：（该模板为从DIS通道下载数据写入本地文件）配置模板如下：（该模板为读取本地文件数据并上传到DIS通道）
- [验证DIS Logstash Plugin](https://support.huaweicloud.com/usermanual-dis/dis_01_0100.md): 其中 -f 为用户编写的配置文件路径。向input指向的通道上传数据，如果Logstash没有报错且output端能正常获取到数据，表示下载正常。其中 -f 为用户编写的配置文件路径。向Logstash的input端输入数据，如果Logstash没有报错数据可以正常上传到指向的通道，表示上传正常。
- [卸载DIS Logstash Plugin(可选)](https://support.huaweicloud.com/usermanual-dis/dis_01_0101.md): cd ${LOGSTASH_HOME}cd logstash-pluginsbash uninstall.sh –p ${LOGSTASH_HOME}出现类似如下提示，表示卸载成功。
- [Kafka Adapter概述](https://support.huaweicloud.com/usermanual-dis/dis_01_0036.md): dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。目前只支持Java版本。
- [准备环境](https://support.huaweicloud.com/usermanual-dis/dis_01_0037.md): 如果已有maven工程，在pom.xml中使用如下依赖即可。在https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。此zip包中有两个目录。huaweicloud-dis-kafka-adapter-X.X.X目录下是所有依
- [上传数据](https://support.huaweicloud.com/usermanual-dis/dis_01_0038.md): “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud.dis.adapter.kafka.clients.pr
- [数据下载的消费模式](https://support.huaweicloud.com/usermanual-dis/dis_01_0067.md): 同Kafka类似，当前dis kafka adapter支持三种消费模式。由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示：执行如上程序之后，如果有数据发送到通道中，此时会打印如下日志。
- [下载数据之消费位移](https://support.huaweicloud.com/usermanual-dis/dis_01_0068.md): 消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交；手动提交需要由客户端自己控制偏移量的提
- [与原生KafkaConsumer接口适配说明](https://support.huaweicloud.com/usermanual-dis/dis_01_0069.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [DIS Spark Streaming概述](https://support.huaweicloud.com/usermanual-dis/dis_01_0040.md): DIS Spark Streaming是数据接入服务（DIS）提供的一个sdk，支持将DIS作为数据源创建DStream对接SparkStreaming。DIS Spark Streaming使用流程如图1所示。DIS Spark Streaming使用流程
- [准备DIS Spark Streaming的相关环境](https://support.huaweicloud.com/usermanual-dis/dis_01_0041.md): 项目中可通过以下配置引入DIS Spark Streaming依赖：检查AK/SKAK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。检查项目IDProjectID表示租户的资源，每个
- [自定义SparkStreaming作业](https://support.huaweicloud.com/usermanual-dis/dis_01_0042.md): “dis-spark-streaming-demo”目录包含一个Maven工程样例。以IntelliJ IDEA社区版为例，说明如何编写SparkStreaming作业。请先确保在IDEA上已经正确配置好JDK 1.8+Scala-sdk-2.11Maven 3.3.*若不正确，请修改，否则2中安装的sdk无法找到。DISSparkStr
- [DIS Flink Connector概述](https://support.huaweicloud.com/usermanual-dis/dis_01_0309.md): DIS Flink Connector是数据接入服务（DIS）提供的一个sdk。DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。
- [准备DIS Flink Connector的相关环境](https://support.huaweicloud.com/usermanual-dis/dis_01_0303.md): 项目中可通过以下配置引入DIS Flink Connector依赖：检查AK/SKAK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。检查项目IDProjectID表示租户的资源，每个
- [自定义Flink Streaming作业](https://support.huaweicloud.com/usermanual-dis/dis_01_0304.md): “huaweicloud-dis-flink-connector-demo”目录包含一个Maven工程样例。以IntelliJ IDEA社区版为例，说明如何编写Flink作业。请先确保在IDEA上已经正确配置好。JDK 1.8+Scala-sdk-2.11Maven 3.3.*实际场景中，Flink Streaming作业需要提交在Fli
- [使用设备接入IoTDA写入数据至DIS](https://support.huaweicloud.com/usermanual-dis/dis_01_0800.md): 设备接入服务（IoT Device Access）是华为云的物联网平台，提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力，并可将设备数据灵活流转到华为云数据接入服务（DIS），帮助物联网行业用户快速完成设备联网及行业应用集成。通过添加数据转发规则，您可以将IoTDA配置为向DIS通
- [新增转储任务](https://support.huaweicloud.com/usermanual-dis/dis_01_0047.md): 将数据发送到DIS通道后，通过为通道添加转储任务，数据将自动传输到您选择的目标。每个通道最多可创建5个转储任务。当新增转储任务至OBS且目标OBS桶设置了IP访问控制策略时，由于DIS服务与OBS服务之间存在网络隔离，转储任务因网络限制而无法正常运行。如需解决此问题，请联系技术工程师处理。用户在创建通道并增加转储任务成功后，支持对已创建的
- [转储至OBS](https://support.huaweicloud.com/usermanual-dis/dis_01_0078.md): 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。
- [管理企业项目](https://support.huaweicloud.com/usermanual-dis/dis_01_0300.md): 企业项目是一种云资源管理方式。企业管理（Enterprise Management）提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台上独立操控、配置云产品的方式，企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。已开通企
- [事件通知概述](https://support.huaweicloud.com/usermanual-dis/dis_01_0052.md): DIS使用SMN（Simple Message Notification，消息通知服务）发送DIS事件的通知，订阅DIS事件即可启用通知。在订阅中，用户需要指定一个或多个事件筛选条件。每当发生与所有筛选条件匹配的事件时，DIS就会通过该订阅发送通知。筛选条件包含事件类别（例如：管理、监控或安全）、事件级别（例如：正常或警告）和事件源类型（
- [订阅事件通知](https://support.huaweicloud.com/usermanual-dis/dis_01_0053.md): 用户通过订阅DIS的事件通知，便能在特定通道或转储任务发生管理、监控或安全事件时收到通知消息。订阅事件区域显示系统根据订阅设置筛选出的事件。订阅参数参数名参数解释启用消息通知设置是否开启事件订阅。表示开启事件订阅，表示关闭事件订阅，默认为关闭状态。关闭后停止发送已订阅事件的通知消息，不会删除该订阅。订阅名称设置订阅事件的名称。名称只能包含
- [查看事件](https://support.huaweicloud.com/usermanual-dis/dis_01_0054.md): 介绍用户如何查找通道或转储任务发生的事件。在下拉列表中选择所有事件级别、正常或警告。在下拉列表中选择事件源，在输入框中输入通道或转储任务名称，例如demo。
- [支持的监控指标](https://support.huaweicloud.com/usermanual-dis/dis_01_0131.md): 本节定义了数据接入服务上报云监控的监控指标的命名空间，监控指标列表和维度，用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。SYS.DAYUDIS通道支持的监控指标如表1所示。
- [设置告警规则](https://support.huaweicloud.com/usermanual-dis/dis_01_0132.md): 通过设置DIS通道告警规则，用户可自定义监控目标与通知策略，及时了解DIS通道运行状况，从而起到预警作用。设置DIS通道的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置DIS通道告警规则的具体方法。更多关于DIS通道监控规则的信息，请参见《云监控用户指南》。
- [查看监控指标](https://support.huaweicloud.com/usermanual-dis/dis_01_0134.md): 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。由于监控数据的获取与传输会花费一定时间，因此，云监控显示的是当前时间5～10分钟前的状态。如果您的数据接入服务通道刚刚创建完成，请等待5～10分钟后查看监控数据。数据接入服务通道正常运行。已删除的通道，云监控将默认该通道不存在，并在

## 最佳实践

- [使用DIS采集增量驾驶行为日志数据](https://support.huaweicloud.com/bestpractice-dis/dis_08_0006.md): 数据接入服务（Data Ingestion Service，简称DIS）采集增量驾驶行为日志数据并上传到华为云对象存储服务（Object Storage Service，简称OBS），通过数据湖探索（Data Lake Insight，简称DLI）分析上传的日志数据，获取驾驶员的驾驶行为，以支持车企提供驾驶习惯优化等增值服务。本次实践基本

## API参考

- [概述](https://support.huaweicloud.com/api-dis/dis_02_0600.md): 欢迎使用数据接入服务（Data Ingestion Service, DIS）。数据接入服务面向IoT、互联网等实时数据，提供高效采集、传输、分发能力，支持多种IoT协议，提供丰富的接口，帮助您快速构建实时数据应用。您可以使用本文档提供API对实时数据进行相关操作，如上传、下载等。支持的全部操作请参见API概览。在调用数据接入服务API之
- [基本概念](https://support.huaweicloud.com/api-dis/dis_02_0515.md): 账号用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体
- [API概览](https://support.huaweicloud.com/api-dis/dis_02_0200.md): DIS提供的接口为符合RESTful API设计规范的自研接口。通过DIS的自研接口，您可以使用DIS的如API说明所示的功能。
- [构造请求](https://support.huaweicloud.com/api-dis/dis_02_0400.md): 本节介绍REST API请求的组成，并以调用IAM服务的获取用户Token说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987 。请求URI由如下部分组成：{URI-s
- [认证鉴权](https://support.huaweicloud.com/api-dis/dis_02_0517.md): 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。Token认证：通过Token认证通用请求。AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DIS。To
- [返回结果](https://support.huaweicloud.com/api-dis/dis_02_0518.md): 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。对于获取用户Token接口，如果调用后返回状态码为201，则表示请求成功。对应请求消息头，响应同样也有消息头，如Content-type。对于获取用户Token接口，返回如图1所示的
- [应用示例](https://support.huaweicloud.com/api-dis/dis_02_0003.md): 数据接入服务面向实时数据，提供高效采集、传输、分发能力，提供丰富的接口，帮助您快速构建实时数据应用。下面介绍如何调用创建通道API创建数据接入通道，API的调用方法请参见如何调用API。通过IAM服务获取到的Token有效期为24小时，需要使用同一个Token鉴权时，可以先将Token缓存，避免频繁调用。通过IAM服务获取到的Token有
- [创建通道 - CreateStream](https://support.huaweicloud.com/api-dis/dis_02_0016_01.md): 本接口用于创建通道。创建通道时，需指定通道类型（普通、高级）、分区数量。创建通道时，需指定通道类型（普通、高级）、分区数量。一个账号默认最多可以创建10个高级通道分区和50个普通通道分区，可提交工单增加配额。一个账号默认最多可以创建10个高级通道分区和50个普通通道分区，可提交工单增加配额。请参见如何调用API。POST /v2/{pro
- [查询通道列表 - ListStreams](https://support.huaweicloud.com/api-dis/dis_02_0024.md): 本接口用户查询当前租户创建的所有通道。查询时，需要指定从哪个通道开始返回通道列表和单次请求需要返回的最大数量。请参见如何调用API。GET /v2/{project_id}/streams状态码：200查询通道列表状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自
- [删除指定通道 - DeleteStream](https://support.huaweicloud.com/api-dis/DeleteStream.md): 本接口用于删除指定通道。请参见如何调用API。DELETE /v2/{project_id}/streams/{stream_name}状态码：204正常返回无删除指定通道无SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [查看通道详情 - ShowStream](https://support.huaweicloud.com/api-dis/dis_02_0025.md): 本接口用于查询指定通道的详情。请参见如何调用API。GET /v2/{project_id}/streams/{stream_name}状态码：200查看通道详情状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [修改分区数量 - UpdatePartitionCount](https://support.huaweicloud.com/api-dis/UpdatePartitionCount.md): 本接口用于变更指定通道中的分区数量。请参见如何调用API。PUT /v2/{project_id}/streams/{stream_name}状态码：200正常返回无变更通道分区数量无SDK代码示例如下。变更通道分区数量变更通道分区数量变更通道分区数量更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对
- [查询当前通道分区扩缩容日志 - QueryUpdatePartitionCountlog](https://support.huaweicloud.com/api-dis/QueryUpdatePartitionCountlog.md): 本接口用于查询当前通道分区扩缩容日志。请参见如何调用API。GET /v2/{project_id}/streams/{stream_name}/update_partition_counts状态码：200正常返回无查询通道分区扩缩容日志。无请参见错误码。
- [更新通道信息 - UpdateStream](https://support.huaweicloud.com/api-dis/UpdateStream.md): 本接口用于更新指定通道的通道信息。请参见如何调用API。PUT /v3/{project_id}/streams/{stream_name}状态码：204正常返回无更新通道生命周期PUT https://{Endpoint}/v3/{project_id}/streams/{stream_name} { "stream_name" 
- [获取租户账户下配额情况 - GetQuotas](https://support.huaweicloud.com/api-dis/GetQuotas.md): 本接口用于获取租户账户下配额情况。请参见如何调用API。GET /v1/{project_id}/quotas状态码：200获取租户账户下配额情况。状态码：200正常返回请参见错误码。
- [提交云服务套餐包订单 - PostOrders](https://support.huaweicloud.com/api-dis/PostOrders.md): 本接口用于提交云服务的套餐包订单。请参见如何调用API。POST /v2/orders/{order_id}状态码：200正常返回无无请参见错误码。
- [更新通道自动扩缩容信息 - UpdateStreamAutoScaleInfo](https://support.huaweicloud.com/api-dis/UpdateStreamAutoScaleInfo.md): 本接口用于通道自动扩缩容信息。请参见如何调用API。PUT /v2/{project_id}/streams/{stream_name}/update状态码：200正常返回无更新通道自动扩缩容信息。无请参见错误码。
- [添加权限策略 - CreatePolicies](https://support.huaweicloud.com/api-dis/CreatePolicies.md): 本接口用于给指定通道添加权限策略。请参见如何调用API。POST /v2/{project_id}/streams/{stream_name}/policies状态码：200正常返回无给租户添加权限策略POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/policie
- [查询权限策略列表 - ListPolicies](https://support.huaweicloud.com/api-dis/ListPolicies.md): 本接口用于查询指定通道的权限策略列表。请参见如何调用API。GET /v2/{project_id}/streams/{stream_name}/policies状态码：200查询权限策略列表状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例
- [删除资源下的权限规则 - DeletePolicies](https://support.huaweicloud.com/api-dis/DeletePolicies.md): 本接口用于删除资源下的权限规则。请参见如何调用API。DELETE /v2/{project_id}/streams/{stream_name}/policies状态码：200正常返回无删除资源下的权限规则。无请参见错误码。
- [添加权限策略v3 - CreatePoliciesv3](https://support.huaweicloud.com/api-dis/CreatePoliciesv3.md): 本接口用于给指定通道添加v3的权限策略。请参见如何调用API。POST /v3/{project_id}/streams/{streamName}/policies状态码：200正常返回无给租户添加权限策略POST https://{Endpoint}/v3/{project_id}/streams/{streamName}/polici
- [创建消费App - CreateApp](https://support.huaweicloud.com/api-dis/CreateApp.md): 本接口用于创建消费APP。请参见如何调用API。POST /v2/{project_id}/apps状态码：201正常返回无创建消费App无SDK代码示例如下。创建消费App创建消费App创建消费App更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [查询App列表 - ListApp](https://support.huaweicloud.com/api-dis/ListApp.md): 本接口用于查询APP列表。请参见如何调用API。GET /v2/{project_id}/apps状态码：200查询App列表状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [删除App - DeleteApp](https://support.huaweicloud.com/api-dis/DeleteApp.md): 本接口用于删除App。请参见如何调用API。DELETE /v2/{project_id}/apps/{app_name}状态码：204正常返回无删除App无SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [查看App详情 - ShowApp](https://support.huaweicloud.com/api-dis/ShowApp.md): 本接口用于查询APP详情。请参见如何调用API。GET /v2/{project_id}/apps/{app_name}状态码：200查询App详情状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [查看App消费状态 - ShowConsumerState](https://support.huaweicloud.com/api-dis/ShowConsumerState.md): 本接口用于查询APP消费状态。请参见如何调用API。GET /v2/{project_id}/apps/{app_name}/streams/{stream_name}状态码：200查询App消费状态状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK
- [提交Checkpoint - CommitCheckpoint](https://support.huaweicloud.com/api-dis/dis_02_0403.md): 本接口用于提交Checkpoint。请参见如何调用API。POST /v2/{project_id}/checkpoints状态码：201正常返回无提交Checkpoint无SDK代码示例如下。提交Checkpoint提交Checkpoint提交Checkpoint更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签
- [查询Checkpoint详情 - ShowCheckpoint](https://support.huaweicloud.com/api-dis/ShowCheckpoint.md): 本接口用于查询Checkpoint详情。请参见如何调用API。GET /v2/{project_id}/checkpoints状态码：200查询Checkpoint详情状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [删除Checkpoint - DeleteCheckpoint](https://support.huaweicloud.com/api-dis/DeleteCheckpoint.md): 本接口用于删除Checkpoint。请参见如何调用API。DELETE /v2/{project_id}/checkpoints状态码：204正常返回无删除Checkpoint无SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [上传数据 - SendRecords](https://support.huaweicloud.com/api-dis/dis_02_0018.md): 本接口用于上传数据到DIS通道中。请参见如何调用API。POST /v2/{project_id}/records状态码：200上传数据状态码：200注意：响应状态码为200，上传数据有可能全部上传成功，也有可能上传失败，用户业务需要对响应体进行解析处理。示例为部分数据上传失败样例。SDK代码示例如下。上传数据上传数据上传数据更多编程语言
- [下载数据 - ConsumeRecords](https://support.huaweicloud.com/api-dis/dis_02_0019.md): 本接口用于从DIS通道中下载数据。请参见如何调用API。GET /v2/{project_id}/records状态码：200下载数据状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [获取数据游标 - ShowCursor](https://support.huaweicloud.com/api-dis/dis_02_0020.md): 本接口用于获取数据游标。请参见如何调用API。GET /v2/{project_id}/cursors状态码：200获取数据游标状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [添加OBS转储任务 - CreateObsTransferTask](https://support.huaweicloud.com/api-dis/dis_02_0410.md): 本接口用于添加OBS转储任务。请参见如何调用API。POST /v2/{project_id}/streams/{stream_name}/transfer-tasks状态码：201正常返回无添加OBS转储任务POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/tra
- [查询转储任务列表 - ListTransferTasks](https://support.huaweicloud.com/api-dis/ListTransferTasks.md): 本接口用于查询转储任务列表。请参见如何调用API。GET /v2/{project_id}/streams/{stream_name}/transfer-tasks状态码：200查询转储任务列表状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示
- [更新转储任务 - UpdateTransferTask](https://support.huaweicloud.com/api-dis/UpdateTransferTask.md): 该接口用于更新转储任务。请参见如何调用API。PUT /v2/{project_id}/streams/{stream_name}/transfer-tasks状态码：200正常返回无更新转储任务。无请参见错误码。
- [删除转储任务 - DeleteTransferTask](https://support.huaweicloud.com/api-dis/DeleteTransferTask.md): 该接口用于删除转储任务。请参见如何调用API。DELETE /v2/{project_id}/streams/{stream_name}/transfer-tasks/{task_name}状态码：204正常返回无删除转储任务无SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的
- [查询转储任务详情 - ShowTransferTask](https://support.huaweicloud.com/api-dis/ShowTransferTask.md): 查询转储任务详情。请参见如何调用API。GET /v2/{project_id}/streams/{stream_name}/transfer-tasks/{task_name}状态码：200查询转储任务详情状态码：200正常返回SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应
- [批量暂停转储任务 - BatchStopTransferTask](https://support.huaweicloud.com/api-dis/BatchStopTransferTask.md): 此接口用于批量暂停转储任务。请参见如何调用API。POST /v2/{project_id}/streams/{stream_name}/transfer-tasks/action状态码：200正常返回无批量暂停转储任务无SDK代码示例如下。批量暂停转储任务批量暂停转储任务批量暂停转储任务更多编程语言的SDK代码示例，请参见API Exp
- [批量启动转储任务 - BatchStartTransferTask](https://support.huaweicloud.com/api-dis/BatchStartTransferTask.md): 此接口用于批量启动转储任务。请参见如何调用API。POST /v2/{project_id}/streams/{stream_name}/transfer-tasks/action状态码：200正常返回无批量启动转储任务无SDK代码示例如下。批量启动转储任务批量启动转储任务批量启动转储任务更多编程语言的SDK代码示例，请参见API Exp
- [获取桶列表 - Getbuckets](https://support.huaweicloud.com/api-dis/Getbuckets.md): 本接口用于获取数据转储地址的桶列表。请参见如何调用API。GET /v1/obs/buckets状态码：200获取桶列表。状态码：200正常返回请参见错误码。
- [创建源数据schema - CreateSourcedataSchema](https://support.huaweicloud.com/api-dis/CreateSourcedataSchema.md): 该接口用于源数据类型为JSON时创建源数据schema。请参见如何调用API。POST /v1/{project_id}/schema状态码：200正常返回无创建源数据schema。状态码：200正常返回请参见错误码。
- [查询当前通道转储任务转储日志 - Showtransfertasklog](https://support.huaweicloud.com/api-dis/Showtransfertasklog.md): 本接口用于查询当前通道转储任务的转储日志。请参见如何调用API。POST /v1/transfertasklog/{task_id}状态码：200查询当前通道转储任务的转储日志。状态码：200正常返回请参见错误码。
- [查询通道监控 - ShowStreamMetrics](https://support.huaweicloud.com/api-dis/ShowStreamMetrics.md): 本接口用于查询指定通道的监控数据。请参见如何调用API。GET /v2/{project_id}/streams/{stream_name}/metrics状态码：200查询通道监控数据无SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。请参见错误码。
- [查询分区监控 - ShowPartitionMetrics](https://support.huaweicloud.com/api-dis/ShowPartitionMetrics.md): 本接口用于查询通道指定分区的监控数据。请参见如何调用API。GET /v2/{project_id}/streams/{stream_name}/partitions/{partition_id}/metrics状态码：200查询分区监控数据无SDK代码示例如下。更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，
- [给指定通道添加标签 - CreateTag](https://support.huaweicloud.com/api-dis/CreateTag.md): 本接口用于给指定通道添加标签。请参见如何调用API。POST /v2/{project_id}/stream/{stream_id}/tags状态码：204正常返回无给指定通道添加标签无SDK代码示例如下。给指定通道添加标签给指定通道添加标签给指定通道添加标签更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生
- [查询指定通道的标签信息 - ShowStreamTags](https://support.huaweicloud.com/api-dis/ShowStreamTags.md): 该接口用于查询指定通道的标签信息。请参见如何调用API。GET /v2/{project_id}/stream/{stream_id}/tags状态码：200查询指定通道的标签信息。状态码：200通道标签信息响应体。请参见错误码。
- [删除指定通道的标签 - DeleteTag](https://support.huaweicloud.com/api-dis/DeleteTag.md): 该接口用于删除指定通道的标签。请参见如何调用API。DELETE /v2/{project_id}/stream/{stream_id}/tags/{key}状态码：204正常返回无删除指定通道的标签。无请参见错误码。
- [批量添加资源标签 - BatchCreateTags](https://support.huaweicloud.com/api-dis/BatchCreateTags.md): 该接口用于批量添加资源（通道等）标签。此接口为幂等接口：创建时如果请求体中存在重复key则报错。创建时，不允许设置重复key数据，如果数据库已存在该key，就覆盖value的值。请参见如何调用API。POST /v2/{project_id}/stream/{stream_id}/tags/action状态码：204正常返回无批量添加资源
- [查询指定区域所有标签集合 - ListTags](https://support.huaweicloud.com/api-dis/ListTags.md): 该接口用于查询指定区域所有标签集合。请参见如何调用API。GET /v2/{project_id}/stream/tags状态码：200查询指定区域所有标签集合。状态码：200标签集合响应体。请参见错误码。
- [使用标签过滤资源（通道等） - ListResourcesByTags](https://support.huaweicloud.com/api-dis/ListResourcesByTags.md): 该接口用于使用标签过滤资源（通道等）。请参见如何调用API。POST /v2/{project_id}/stream/resource_instances/action状态码：200使用标签过滤资源（通道等），查询记录总数。POST https://{Endpoint}/v2/{project_id}/stream/resource_in
- [批量删除资源标签 - BatchDeleteTags](https://support.huaweicloud.com/api-dis/BatchDeleteTags.md): 该接口用于批量删除资源（通道等）标签。此接口为幂等接口：删除时，如果删除的标签不存在，默认处理成功；删除时不对标签字符集范围做校验。删除时tags结构体不能缺失，key不能为空，或者空字符串。请参见如何调用API。POST /v2/{project_id}/stream/{stream_id}/tags/action状态码：204正常返回
- [获取用户事件列表 - ListEvent](https://support.huaweicloud.com/api-dis/ListEvent.md): 本接口用于获取用户事件列表。请参见如何调用API。GET /v1/{project_id}/events状态码：200获取用户事件列表。状态码：200正常返回请参见错误码。
- [获取用户可订阅的事件列表 - GetEventList](https://support.huaweicloud.com/api-dis/GetEventList.md): 本接口用于获取用户可订阅的事件列表。请参见如何调用API。GET /v1/{project_id}/event-list状态码：200获取用户可订阅的事件列表。状态码：200正常返回请参见错误码。
- [获取用户订阅列表 - ListEventsubs](https://support.huaweicloud.com/api-dis/ListEventsubs.md): 本接口用于获取用户订阅列表。请参见如何调用API。GET /v1/{project_id}/event-subs状态码：200获取用户订阅列表。状态码：200正常返回请参见错误码。
- [新增订阅 - CreateEventsubs](https://support.huaweicloud.com/api-dis/CreateEventsubs.md): 本接口用于新增订阅。请参见如何调用API。POST /v1/{project_id}/event-subs状态码：200正常返回无新增订阅。无请参见错误码。
- [更新事件订阅 - UpdateEventsubs](https://support.huaweicloud.com/api-dis/UpdateEventsubs.md): 本接口用于更新事件订阅。请参见如何调用API。PUT /v1/{project_id}/event-subs/{subscription_id}状态码：200正常返回无更新事件订阅为SMN通知。PUT https://{Endpoint}/v1/{project_id}/event-subs/{subscription_id} { 
- [删除事件订阅 - DeleteEventsubs](https://support.huaweicloud.com/api-dis/DeleteEventsubs.md): 本接口用于删除事件订阅。请参见如何调用API。DELETE /v1/{project_id}/event-subs/{subscription_id}状态码：204正常返回无删除事件订阅。无请参见错误码。
- [错误码](https://support.huaweicloud.com/api-dis/ErrorCode.md): 当您调用API时，如果遇到“APIGW”开头的错误码，请参见API网关错误码进行处理。更多服务错误码请参见API错误中心。
- [状态码](https://support.huaweicloud.com/api-dis/dis_02_0022.md): 状态码是每次API请求响应的HTTPS状态码，表示本次HTTPS请求服务器返回的状态。
- [获取项目ID](https://support.huaweicloud.com/api-dis/dis_02_0501.md): 介绍如何在控制台或者调用API获取项目ID。

## SDK参考

- [DIS SDK能做什么](https://support.huaweicloud.com/sdkreference-dis/dis_06_0002.md): 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。云服务实现了在多地域部署基础设施，具备高度的可扩展性和可靠性，
- [内容导航](https://support.huaweicloud.com/sdkreference-dis/dis_06_0003.md): SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。
- [SDK下载](https://support.huaweicloud.com/sdkreference-dis/dis_06_0005.md): 在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java SDK压缩包。获取DIS SDK软件包及校验文件后，需要对软件包的完整性进行校验，参考如何校验软件包完整性？。
- [兼容性](https://support.huaweicloud.com/sdkreference-dis/dis_06_0006.md): 支持的JDK版本：1.8.0及以上版本。支持的Python版本：2.7及以上版本。
- [如何校验软件包完整性？](https://support.huaweicloud.com/sdkreference-dis/dis_06_0599.md): 获取DIS SDK软件包及校验文件后，可以在Linux系统上按如下步骤对软件包的完整性进行校验。已获取“PuTTY”工具。已获取“WinSCP”工具。x.x.x表示DIS SDK包的版本号。sha256sum huaweicloud-sdk-dis-x.x.x.zip显示类似如下校验码：一致，说明从获取的DIS SDK压缩包没被篡改。不一
- [开通DIS服务](https://support.huaweicloud.com/sdkreference-dis/dis_06_0008.md): 使用DIS服务之前必须先充值，才能正常使用DIS服务。登录DIS管理控制台。单击页面右上角的费用。单击充值，系统自动跳转到充值窗口。根据界面提示信息，对账户进行充值。充值成功后，关闭充值窗口，返回管理控制台首页。单击数据接入服务，开通服务。DIS通过用户账户中的AK和SK进行签名验证，确保通过授权的账户才能访问指定的DIS资源。登录DIS
- [开通DIS通道](https://support.huaweicloud.com/sdkreference-dis/dis_06_0021.md): 开通数据接入服务的请参见《数据接入服务用户指南》中的“开通DIS通道”。具体操作请参见开通DIS通道。
- [获取认证信息](https://support.huaweicloud.com/sdkreference-dis/dis_06_0010.md): 您可以通过如下方式获取访问密钥。登录控制台，在用户名下拉列表中选择“我的凭证”。进入我的凭证页面，选择访问密钥 > 新增访问密钥，如图1所示。单击新增访问密钥单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key 
- [准备环境](https://support.huaweicloud.com/sdkreference-dis/dis_06_0012.md): 已从Oracle官网下载并安装JDK1.8或以上版本，配置好JAVA环境变量。已从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。已在Eclipse中配置好JDK。
- [配置样例工程](https://support.huaweicloud.com/sdkreference-dis/dis_06_0013.md): SDK下载的“huaweicloud-sdk-dis-java-X.X.X.zip ”最新版本压缩包中提供了SDK源码；DIS SDK桶中的“huaweicloud-sdk-dis-java-X.X.X.zip ”最新版本压缩包提供了示例工程，您可以在本地设备上使用开发工具（如Eclipse）编译运行示例工程，或以示例工程为基础开发您的应
- [初始化DIS客户端](https://support.huaweicloud.com/sdkreference-dis/dis_06_0015.md): 您可以使用以下两种方法初始化DIS SDK客户端实例，优先选择使用代码进行初始化。其中，endpoint，ak，sk，region，projectId信息请参考获取认证信息。使用代码初始化DIS SDK客户端实例。// 创建DIS客户端实例 DIS dic = DISClientBuilder.standard() .withEn
- [创建通道](https://support.huaweicloud.com/sdkreference-dis/dis_06_0501.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK创建DIS通道，需要指定通道名称、通道的分片数量以及通道类型。其中，普通通道为“STREAM_TYPE_COMMON”，高级通道为“STREAM_TYPE_ADVANCED”。配置CreateStreamRequest对象之后，通过调用create
- [添加转储任务](https://support.huaweicloud.com/sdkreference-dis/dis_06_0111.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK创建转储任务，需要指定通道名称、转储任务名称，转储周期，转储目标服务等信息。配置CreateTransferTaskRequest对象之后，通过调用createTransferTask的方法创建转储任务。
- [更新转储任务](https://support.huaweicloud.com/sdkreference-dis/dis_06_0115.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK更新转储任务，需要指定通道名称、转储任务名称，转储周期，转储目标服务等信息。配置UpdateTransferTaskRequest对象之后，通过调用updateTransferTask的方法更新转储任务。
- [删除转储任务](https://support.huaweicloud.com/sdkreference-dis/dis_06_0112.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK删除指定的转储任务。配置DeleteTransferTaskRequest对象之后，通过调用deleteTransferTask的方法删除转储任务。
- [查询转储列表](https://support.huaweicloud.com/sdkreference-dis/dis_06_0113.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK查询指定通道的转储任务列表。配置ListTransferTaskRequest对象之后，通过调用listTransferTask的方法查询指定通道的转储任务列表。查询转储任务列表的返回信息如下。
- [查询转储详情](https://support.huaweicloud.com/sdkreference-dis/dis_06_0114.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK查询指定转储任务的详情。配置DescribeTransferTaskRequest对象之后，通过调用describeTransferTask的方法查询指定的转储任务详情。查询转储任务的返回信息如下。
- [删除通道](https://support.huaweicloud.com/sdkreference-dis/dis_06_0502.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK删除指定的DIS通道。配置DeleteStreamRequest对象之后，通过对客户端调用deleteStream的方法删除通道。
- [查询通道列表](https://support.huaweicloud.com/sdkreference-dis/dis_06_0503.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK列出当前活动的通道。使用setLimit方法设定每次查询时返回的通道数量，若不指定则默认返回的通道数量上限为10。即通道数量少于等于10时显示实际通道数量，通道数量大于10时显示为10。该demo中start_Stream_Name定义为strea
- [查询通道详情](https://support.huaweicloud.com/sdkreference-dis/dis_06_0504.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK查询指定通道信息。查询通道的返回信息如下。
- [下载流式数据](https://support.huaweicloud.com/sdkreference-dis/dis_06_0017.md): 下载流式数据，需要确定从分区的什么位置开始获取（即获取游标）。确定起始位置后，再循环获取数据。获取游标有如下五种方式：AT_SEQUENCE_NUMBERAFTER_SEQUENCE_NUMBERTRIM_HORIZONLATESTAT_TIMESTAMP为更好理解游标类型，您需要了解如下几个基本概念。序列号（sequenceNumber
- [上传流式数据](https://support.huaweicloud.com/sdkreference-dis/dis_06_0016.md): 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。批量上传流式数据的主体代码如下：逐条上传流式数据的主体代码如下：右键选
- [获取数据游标](https://support.huaweicloud.com/sdkreference-dis/dis_06_0505.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK获取数据游标信息。
- [创建APP](https://support.huaweicloud.com/sdkreference-dis/dis_06_0510.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK创建APP，需要指定APP名称。配置APP名称之后，通过调用createApp的方法创建APP。
- [删除APP](https://support.huaweicloud.com/sdkreference-dis/dis_06_0511.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK创建DIS通道，需要指定APP名称。配置APP名称之后，通过调用deleteApp的方法删除APP。
- [新增Checkpoint](https://support.huaweicloud.com/sdkreference-dis/dis_06_0513.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。使用DIS SDK创建Checkpoint，需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。其中，streamName的配置值要与开通DIS通道中Stream Name的值一致。配置“CommitCheckpointRequest”对象之
- [查询Checkpoint](https://support.huaweicloud.com/sdkreference-dis/dis_06_0509.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。查询Checkpoint的返回信息如下。
- [变更分区数量](https://support.huaweicloud.com/sdkreference-dis/dis_06_0512.md): 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。变更分区数量成功的返回信息如下。
- [Kafka Adapter概述](https://support.huaweicloud.com/sdkreference-dis/dis_01_0036.md): dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。目前只支持Java版本。
- [准备环境](https://support.huaweicloud.com/sdkreference-dis/dis_01_0037.md): 如果已有maven工程，在pom.xml中使用如下依赖即可。在https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。此zip包中有两个目录。huaweicloud-dis-kafka-adapter-X.X.X目录下是所有依
- [上传数据](https://support.huaweicloud.com/sdkreference-dis/dis_01_0038.md): “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud.dis.adapter.kafka.clients.pr
- [数据下载的消费模式](https://support.huaweicloud.com/sdkreference-dis/dis_01_0067.md): 同Kafka类似，当前dis kafka adapter支持三种消费模式。由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示：执行如上程序之后，如果有数据发送到通道中，此时会打印如下日志。
- [下载数据之消费位移](https://support.huaweicloud.com/sdkreference-dis/dis_01_0068.md): 消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交；手动提交需要由客户端自己控制偏移量的提
- [与原生KafkaConsumer接口适配说明](https://support.huaweicloud.com/sdkreference-dis/dis_01_0069.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [准备环境](https://support.huaweicloud.com/sdkreference-dis/dis_06_0041.md): 已完成如下环境准备：已安装python2.7或以上版本，配置好python环境变量。已安装pycharm。
- [配置样例工程](https://support.huaweicloud.com/sdkreference-dis/dis_06_0042.md): 样例代码请查看：https://github.com/huaweicloud/huaweicloud-sdk-python-dis/tree/master/dis_sdk_python_demo。打开pycharm。选择File > open弹出Open File or Project窗口。选择本地（可通过环境变量去查找）python安装
- [初始化DIS客户端](https://support.huaweicloud.com/sdkreference-dis/dis_06_0043.md): 您可以使用以下方法初始化DIS SDK客户端实例。其中，endpoint，ak，sk，region，projectId信息请参考获取认证信息。cli = disclient(endpoint='**your-endpoint**', // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置
- [创建通道](https://support.huaweicloud.com/sdkreference-dis/dis_06_0044.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。根据stream_type选取方法，参照创建通道配置方法中的参数值。stream_type=“” #无转储通道配置createstream_sample.py中Dump_switch方法参数值。stream_type=“FILE” #文件类型通道配置createstr
- [添加转储任务](https://support.huaweicloud.com/sdkreference-dis/dis_06_0076.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。参照添加转储任务配置方法中的参数值。以添加OBS转储服务为例：value参数值设定与key对应# 添加OBS转储服务,配置obs_Schema值配置好以上参数后，执行add_dump_task_sample.py文件默认调用add_dump_task_test方法，获取响应201创建
- [删除通道](https://support.huaweicloud.com/sdkreference-dis/dis_06_0045.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：配置好以上参数后，执行deleteStream_sample.py文件默认调用deleteStream_test方法，获取响应204删除成功。
- [删除转储任务](https://support.huaweicloud.com/sdkreference-dis/dis_06_0089.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：task_name配置为特定的转储任务名称，则删除通道下的该转储任务。配置好以上参数后，执行delete_dump_task_sample.py文件默认调用delete_dump_task_test方法，获取响应204删除成功。
- [查询通道列表](https://support.huaweicloud.com/sdkreference-dis/dis_06_0046.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：执行listStream_sample.py文件默认调用listStream_test方法，获取响应200查询成功。通道列表的返回信息示例如下：
- [查询转储列表](https://support.huaweicloud.com/sdkreference-dis/dis_06_0090.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：执行list_dump_task_sample.py文件默认调用list_dump_task_test方法，获取响应200查询成功。响应示例如下：
- [查询通道详情](https://support.huaweicloud.com/sdkreference-dis/dis_06_0047.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：配置好以上参数后，执行describeStream_sample.py文件默认调用describeStream_test方法。返回信息如下：200 {"status": "RUNNING", "stream_name": "dis-test1", "data_type"
- [查询转储详情](https://support.huaweicloud.com/sdkreference-dis/dis_06_0091.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：配置好以上参数后，执行describe_dump_task_sample.py文件默认调用describe_dump_task_test方法。返回信息如下：200 {'state': 'RUNNING', 'stream_name': 'dis-test1', 'cre
- [Json格式上传流式数据](https://support.huaweicloud.com/sdkreference-dis/dis_06_0093.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下：配置好以上参数后，执行putRecords_sample.py文件调用putRecords_test方法，响应结果如下：
- [Protobuf格式上传流式数据](https://support.huaweicloud.com/sdkreference-dis/dis_06_0094.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。初始化DIS客户端，加入一项参数bodySerializeType，如下所示：配置参数如下：参照该文件中的test方法，bodySerializeType="protobuf"选取protobuf格式上传。protobuf_putRecords_sample.py文件中的protob
- [下载流式数据](https://support.huaweicloud.com/sdkreference-dis/dis_06_0049.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：通过getCursor_test更改游标类型cursorType='AT_SEQUENCE_NUMBER'配置好以上参数，执行getRecords_sample.py文件调用getRecords_test方法，响应结果如下。参见初始化DIS客户端的操作初始化一个DIS客
- [创建APP](https://support.huaweicloud.com/sdkreference-dis/dis_06_0050.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：配置好以上参数，执行createApp_sample.py文件调用createApp_test方法，响应201表示创建成功。
- [删除APP](https://support.huaweicloud.com/sdkreference-dis/dis_06_0051.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：配置好以上参数，执行deleteApp_sample.py文件调用deleteApp_test方法，响应204表示删除成功。
- [查询APP详情](https://support.huaweicloud.com/sdkreference-dis/dis_06_0095.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：配置好以上参数，执行describeApp_sample.py文件调用describeApp_test方法。响应结果如下：
- [查询APP列表](https://support.huaweicloud.com/sdkreference-dis/dis_06_0096.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。listApp_test 方法中的（limit可设置单次请求返回APP列表的最大数量取值范围：1~100）。配置参数如下：配置好以上参数，执行listApp_sample.py文件调用Applist_test方法。响应结果如下：
- [新增Checkpoint](https://support.huaweicloud.com/sdkreference-dis/dis_06_0052.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：partitionId可通过查询通道详情获取，需要先传入当前设置的通道名称。配置好以上参数，执行commitCheckpoint_sample.py文件调用commitCheckpoint_test方法，响应201表示成功。
- [查询Checkpoint](https://support.huaweicloud.com/sdkreference-dis/dis_06_0053.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：partitionId可通过查询通道详情获取，需要先传入当前设置的通道名称。配置好以上参数，执行getCheckpoint_sample.py文件调用getCheckpoint_test方法，响应结果如下：
- [变更分区数量](https://support.huaweicloud.com/sdkreference-dis/dis_06_0054.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：配置好以上参数，执行changepartitionQuantity_sample.py文件调用changepartitionQuantity_test方法，响应结果如下：
- [获取数据游标](https://support.huaweicloud.com/sdkreference-dis/dis_06_0055.md): 参见初始化DIS客户端的操作初始化一个DIS客户端实例。配置参数如下：配置好以上参数，执行getCursor_sample.py文件调用getCursor_test方法，响应结果示例如下：
- [DIS服务端错误码](https://support.huaweicloud.com/sdkreference-dis/dis_06_0019.md): 在使用SDK进行操作时如果遇到错误，会在控制台显示错误码描述错误信息。

## 常见问题

- [什么是DIS？](https://support.huaweicloud.com/dis_faq/dis_faq_0001.md): 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。DIS实时从多种数据源采集数据。DIS连续传输
- [什么是分区？](https://support.huaweicloud.com/dis_faq/dis_faq_0002.md): 分区（Partition）是DIS数据通道的基本吞吐量单位。创建通道时，将指定所需的分区数量。普通通道单分区容量：最高发送速度可达1MB/s或1000条记录/s（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/s，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。高级通道单分区容量：最高发送速度可达
- [DIS主要应用于哪些场景？](https://support.huaweicloud.com/dis_faq/dis_faq_0004.md): DIS对于从数据生产者快速移出数据，然后进行持续处理非常有用。以下是使用DIS的典型场景：加速日志和数据传送获取：您无需等待批量处理数据，而是让数据生产者在生成数据后立即输入DIS数据通道，防止因数据生产者出现故障导致的数据损失。例如，系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。实时指标和报告：实时从DIS数据通道数据提
- [DIS有哪些特点和优势？](https://support.huaweicloud.com/dis_faq/dis_faq_0005.md): 无限扩展：DIS数据通道的吞吐量每小时可从数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。易于使用：您可以在几秒钟内创建DIS数据通道，轻松地将数据放入通道中，并构建用于数据处理的应用程序。成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。并行处理：DIS可让您用多个应用程序同时处理同一个数据通道。例如，您可以让
- [DIS有哪些模块及各模块功能？](https://support.huaweicloud.com/dis_faq/dis_faq_0008.md): 服务控制面完成服务的开通、删除、配置操作，并将用户信息同步到数据面。完成数据面资源的申请与自动部署。完成服务的开通、删除、配置操作，并将用户信息同步到数据面。完成数据面资源的申请与自动部署。服务数据面接收用户发送数据的请求，对已鉴权的数据接收并存储。接收用户获取数据的请求，在鉴权后输出对应的用户数据。按时老化存储在系统中的用户数据。根据用
- [如何开通DIS通道？](https://support.huaweicloud.com/dis_faq/dis_faq_0006.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [数据存储在DIS和转储其他资源有什么区别？](https://support.huaweicloud.com/dis_faq/dis_faq_0007.md): 开通DIS通道时需要选择转储服务类型。具体区别如表1所示。选择OBS表示存储在DIS中，并周期性导入对象存储服务（Object Storage Service，简称OBS）。
- [如何校验软件包完整性？](https://support.huaweicloud.com/dis_faq/dis_faq_0009.md): 获取DIS SDK软件包及校验文件后，可以在Linux系统上按如下步骤对软件包的完整性进行校验。已获取“PuTTY”工具。已获取“WinSCP”工具。x.x.x表示DIS SDK包的版本号。sha256sum huaweicloud-sdk-dis-x.x.x.zip显示类似如下校验码：一致，说明从获取的DIS SDK压缩包没被篡改。不一
- [DIS如何发送和接收数据？](https://support.huaweicloud.com/dis_faq/dis_faq_0003.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [什么是流控？](https://support.huaweicloud.com/dis_faq/dis_faq_0020.md): 流控就是超过通道内分区的最大吞吐量开始限流，对资费和数据没有影响。
- [DIS对接EPS鉴权后，进入通道列表页面看不见之前创建的通道？](https://support.huaweicloud.com/dis_faq/dis_faq_0022.md): 问题原因：因DIS对接EPS鉴权后，租户在原来企业项目中没有查看通道详情的权限，DIS通道列表就不会显示对应的通道：解决方法：在企业项目中为租户授予查看通道详情的权限：
- [默认的DIS服务委托权限过大，应该怎么进行权限最小化处理？](https://support.huaweicloud.com/dis_faq/dis_faq_0023.md): 在2024年11月之前，在DIS第一次创建转储任务时，系统会自动创建dis_admin_agency委托，其中包含Tenant Administrator、Server Administrator、SMN Administrator、MRS Administrator、Tenant Guest、DWS Administrator、DLI 
- [什么是DIS？](https://support.huaweicloud.com/dis_faq/dis_faq_0001.md): 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。DIS实时从多种数据源采集数据。DIS连续传输
- [什么是分区？](https://support.huaweicloud.com/dis_faq/dis_faq_0002.md): 分区（Partition）是DIS数据通道的基本吞吐量单位。创建通道时，将指定所需的分区数量。普通通道单分区容量：最高发送速度可达1MB/s或1000条记录/s（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/s，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。高级通道单分区容量：最高发送速度可达
- [DIS主要应用于哪些场景？](https://support.huaweicloud.com/dis_faq/dis_faq_0004.md): DIS对于从数据生产者快速移出数据，然后进行持续处理非常有用。以下是使用DIS的典型场景：加速日志和数据传送获取：您无需等待批量处理数据，而是让数据生产者在生成数据后立即输入DIS数据通道，防止因数据生产者出现故障导致的数据损失。例如，系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。实时指标和报告：实时从DIS数据通道数据提
- [DIS有哪些特点和优势？](https://support.huaweicloud.com/dis_faq/dis_faq_0005.md): 无限扩展：DIS数据通道的吞吐量每小时可从数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。易于使用：您可以在几秒钟内创建DIS数据通道，轻松地将数据放入通道中，并构建用于数据处理的应用程序。成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。并行处理：DIS可让您用多个应用程序同时处理同一个数据通道。例如，您可以让
- [DIS有哪些模块及各模块功能？](https://support.huaweicloud.com/dis_faq/dis_faq_0008.md): 服务控制面完成服务的开通、删除、配置操作，并将用户信息同步到数据面。完成数据面资源的申请与自动部署。完成服务的开通、删除、配置操作，并将用户信息同步到数据面。完成数据面资源的申请与自动部署。服务数据面接收用户发送数据的请求，对已鉴权的数据接收并存储。接收用户获取数据的请求，在鉴权后输出对应的用户数据。按时老化存储在系统中的用户数据。根据用
- [如何开通DIS通道？](https://support.huaweicloud.com/dis_faq/dis_faq_0006.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [数据存储在DIS和转储其他资源有什么区别？](https://support.huaweicloud.com/dis_faq/dis_faq_0007.md): 开通DIS通道时需要选择转储服务类型。具体区别如表1所示。选择OBS表示存储在DIS中，并周期性导入对象存储服务（Object Storage Service，简称OBS）。
- [如何校验软件包完整性？](https://support.huaweicloud.com/dis_faq/dis_faq_0009.md): 获取DIS SDK软件包及校验文件后，可以在Linux系统上按如下步骤对软件包的完整性进行校验。已获取“PuTTY”工具。已获取“WinSCP”工具。x.x.x表示DIS SDK包的版本号。sha256sum huaweicloud-sdk-dis-x.x.x.zip显示类似如下校验码：一致，说明从获取的DIS SDK压缩包没被篡改。不一
- [DIS如何发送和接收数据？](https://support.huaweicloud.com/dis_faq/dis_faq_0003.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [什么是流控？](https://support.huaweicloud.com/dis_faq/dis_faq_0020.md): 流控就是超过通道内分区的最大吞吐量开始限流，对资费和数据没有影响。
- [DIS对接EPS鉴权后，进入通道列表页面看不见之前创建的通道？](https://support.huaweicloud.com/dis_faq/dis_faq_0022.md): 问题原因：因DIS对接EPS鉴权后，租户在原来企业项目中没有查看通道详情的权限，DIS通道列表就不会显示对应的通道：解决方法：在企业项目中为租户授予查看通道详情的权限：
- [默认的DIS服务委托权限过大，应该怎么进行权限最小化处理？](https://support.huaweicloud.com/dis_faq/dis_faq_0023.md): 在2024年11月之前，在DIS第一次创建转储任务时，系统会自动创建dis_admin_agency委托，其中包含Tenant Administrator、Server Administrator、SMN Administrator、MRS Administrator、Tenant Guest、DWS Administrator、DLI 
- [Schema如何支持字段缺省或者为NULL](https://support.huaweicloud.com/dis_faq/dis_faq_0017.md): 源数据Schema，即用户的JSON数据样例，用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema，默认情况下不支持字段缺省或者为NULL，如图1。"key1"字段对应的类型为"String"（Avro Schema中体现为："type": "string"），这时如果源数据中"key1"不传或者传的值为N
- [如何专线接入DIS](https://support.huaweicloud.com/dis_faq/dis_faq_0018.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [读取通道数据时，如何区分不同类型数据？](https://support.huaweicloud.com/dis_faq/dis_faq_0019.md): 不同类型的消息使用不同的通道；使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。
- [Schema如何支持字段缺省或者为NULL](https://support.huaweicloud.com/dis_faq/dis_faq_0017.md): 源数据Schema，即用户的JSON数据样例，用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema，默认情况下不支持字段缺省或者为NULL，如图1。"key1"字段对应的类型为"String"（Avro Schema中体现为："type": "string"），这时如果源数据中"key1"不传或者传的值为N
- [如何专线接入DIS](https://support.huaweicloud.com/dis_faq/dis_faq_0018.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。
- [读取通道数据时，如何区分不同类型数据？](https://support.huaweicloud.com/dis_faq/dis_faq_0019.md): 不同类型的消息使用不同的通道；使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。
- [Agent如何配置监听多目录或文件？](https://support.huaweicloud.com/dis_faq/dis_faq_0014.md): DIS Agent支持配置监听多个目录或文件，例如想收集"/home/folder1/file1"和"/home/folder2/file2"这两个文件的日志，可以通过配置多个DISStream来实现：
- [Agent如何配置递归监听一个目录？](https://support.huaweicloud.com/dis_faq/dis_faq_0015.md): DIS Agent支持配置递归监听，将配置项"directoryRecursionEnabled"的值配置为"true"即可支持，例如以下配置可以匹配到"/home/one.log"，"/home/child/two.log"，"/home/child/child/three.log"：
- [Agent如何配置代理？](https://support.huaweicloud.com/dis_faq/dis_faq_0016.md): DIS Agent支持通过配置代理上传数据到DIS，需要配置"PROXY_HOST"，"PROXY_PORT"，"PROXY_USERNAME"，"PROXY_PASSWORD"，这几个配置项介绍可以查看Agent配置文件说明。
- [Agent如何配置AK/SK加密？](https://support.huaweicloud.com/dis_faq/dis_faq_0021.md): 在配置项中，需要配置用户的SK，这属于敏感信息，如需加密，可以按如下步骤：cd /opt/dis-agent-X.X.X/binbash dis-encrypt.sh
- [Agent如何配置监听多目录或文件？](https://support.huaweicloud.com/dis_faq/dis_faq_0014.md): DIS Agent支持配置监听多个目录或文件，例如想收集"/home/folder1/file1"和"/home/folder2/file2"这两个文件的日志，可以通过配置多个DISStream来实现：
- [Agent如何配置递归监听一个目录？](https://support.huaweicloud.com/dis_faq/dis_faq_0015.md): DIS Agent支持配置递归监听，将配置项"directoryRecursionEnabled"的值配置为"true"即可支持，例如以下配置可以匹配到"/home/one.log"，"/home/child/two.log"，"/home/child/child/three.log"：
- [Agent如何配置代理？](https://support.huaweicloud.com/dis_faq/dis_faq_0016.md): DIS Agent支持通过配置代理上传数据到DIS，需要配置"PROXY_HOST"，"PROXY_PORT"，"PROXY_USERNAME"，"PROXY_PASSWORD"，这几个配置项介绍可以查看Agent配置文件说明。
- [Agent如何配置AK/SK加密？](https://support.huaweicloud.com/dis_faq/dis_faq_0021.md): 在配置项中，需要配置用户的SK，这属于敏感信息，如需加密，可以按如下步骤：cd /opt/dis-agent-X.X.X/binbash dis-encrypt.sh