业务并发数的两倍。 由于管道“读取即删除”的特点，需确保导入或导出过程中除GDS程序外无其他程序读取管道文件，避免导入过程中数据丢失或者任务报错及导出的文件内容混乱。 不支持对具有相同Location的外表并发导入导出，即GDS的多个线程同时读取管道文件或者同时写入管道文件。 G

查看更多 →

conf”。 将1导出的hive-examples-1.0.jar拷贝到“/opt/hive_examples”下。 将客户端下的配置文件拷贝到“conf”下，开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_e

查看更多 →

导入上述环境变量前需确认当前引入的jar包是否存在，具体的版本号可从客户端Hive的lib目录下获取。 运行前准备。 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。当前用户为准备Hive应用开发用户时增加的开发用户。 人机用户：kinit

查看更多 →

在Linux环境中调测Storm应用 操作场景 Storm应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在

查看更多 →

在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。

查看更多 →

在Linux环境中调测Kafka应用 操作场景 在程序代码完成开发后，可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。

查看更多 →

xml”所在目录将生成lib文件夹，其中包含样例项目所依赖的jar包。 准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”。将样例工程依赖的Jar包导出，将1生成的Jar包，以及3生成的Jar包，上传到Linux的“lib”目录。 在“/opt/test”根目录新建脚本“run

查看更多 →

当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装HBase客户端时： Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节

查看更多 →

conf" 在Windows环境的开发环境IntelliJ IDEA中，在“Maven Projects > 样例工程名称 > Lifecycle”中，执行“clean”和“package”操作，编译完成后，在target目录下即可生成“hetu-examples-XXX.jar”文件。

查看更多 →

在Linux环境中调测HBase应用 操作场景 HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装客户端时： 已安装HBase客户端。 当客户端所在主机不是集群中的节

查看更多 →

上述打包命令中的{maven_setting_path}为本地Maven的“settings.xml”文件路径。 打包成功之后，在工程根目录的target子目录下获取打好的jar包。 将导出的Jar包上传至Linux运行环境的任意目录下，例如“/optclient”。 将工程中的“li

查看更多 →

les-normal中的client.properties上传到linux系统上的样例代码文件夹中的/opt/impala_examples/conf文件夹，并在client.properties中填入impalad的ip地址。 在cmd或Intellij中执行mvn package

查看更多 →

在Linux环境中调测Spark应用 在Linux环境中编包并运行Spark程序 在Linux环境中查看Spark程序调测结果 父主题： 调测Spark应用

查看更多 →

视图是一个可查询对象，其内容由其他集合或视图上的聚合管道定义。 操作步骤 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 单击页面左上角的，选择“数据库 > 数据管理服务 DAS”，进入数据管理服务页面。 在左侧导航栏中，单击“开发工具”，进入开发工具页面。 您也可以

查看更多 →

运行数据管道 运行数据管道 运行过程监控与数据跟踪（敬请期待） 父主题： 数据管道

查看更多 →

启动作业时，系统会自行判断用户的作业是否需要实时计算资源，若需要实时计算资源，则会弹出如下对话框供用户自行选择： 计算资源：一个计算资源对应的物理资源为：1核CPU、4G内存，可实时清洗的数据量为1000条/S（仅供参考，请结合各自的业务场景与数据大小进行评估）。 并行数：管道作业运行时的实际并发能力，不得超过“计算资源

查看更多 →

值独立于关键工作。 以下是Rump的主要特性： 通过SCAN非阻塞的获取key，避免KEYS命令造成Redis服务阻塞。 支持所有数据类型的迁移。 把SCAN和DUMP/RESTORE操作放在同一个管道中，利用pipeline提升数据迁移过程中的网络效率。 不使用任何临时文件，不占用磁盘空间。

查看更多 →

值独立于关键工作。 以下是Rump的主要特性： 通过SCAN非阻塞的获取key，避免KEYS命令造成Redis服务阻塞。 支持所有数据类型的迁移。 把SCAN和DUMP/RESTORE操作放在同一个管道中，利用pipeline提升数据迁移过程中的网络效率。 不使用任何临时文件，不占用磁盘空间。

查看更多 →

格式、数据间的分隔符等信息。是关联数据文件与数据库实表（目标表）的对象。 目标表：数据库中的实表。数据源文件中的数据最终导入到这些表中存储，包括行存表和列存表。 GDS并发导入 数据量大，数据存储在多个 服务器 上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。如图2所示。

查看更多 →

如何在Linux实例中配置静态IP地址？ 操作场景 华为云公共镜像默认使用DHCP的方式动态获取IP地址，如果DHCP动态获取IP地址的方式无法满足业务需求，可参考本文在 弹性云服务器 实例中为网卡配置静态IP地址。 信息收集 在配置静态IP地址之前，需要获取当前Linux实例的IP地

查看更多 →

用于Kerberos认证的用户名，即准备Presto应用开发用户中创建的开发用户的用户名。 KerberosPrincipal 用于认证的名字，即认证准备Presto应用开发用户中创建的开发用户的用户名。 KerberosConfigPath krb5.conf的路径。 KerberosKeytabPath

查看更多 →