大模型概念类问题 如何对盘古大模型的安全性展开评估和防护 训练智能客服系统大模型需考虑哪些方面

查看更多 →

模型。此类大模型因具备更强的泛化能力，能够沉淀行业经验，并更高效、准确地获取信息。 大模型的计量单位token指的是什么 令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。

查看更多 →

域名 的相关概念 泛域名 泛域名是指带1个通配符“*”且以“*.”开头的域名。 例如：“*.a.com”是正确的泛域名，但“*.*.a.com”则是不正确的。 一个泛域名算一个域名。关于泛域名的匹配关系，请参考泛域名证书支持哪些域名？。 普通域名 普通域名是相对泛域名来说的，是一个具体的域名或者说不是通配符域名。

查看更多 →

Oozie应用开发常用概念 流程定义文件 描述业务逻辑的XML文件，包括“workflow.xml”、“coordinator.xml”、“bundle.xml”三类，最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件，对应文件名为“job.propert

查看更多 →

HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为Mapreduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于 MRS 的HCatalog功能，Hive、Mapreduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。

查看更多 →

Impala应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录，里面包含通过Java API访问Impala的样例代码。 HiveQL语言

查看更多 →

HBase应用开发常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 Client

查看更多 →

Hive应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录，里面包含通过Java API访问Hive的样例代码。 HiveQL语言 Hive Query

查看更多 →

在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元组和时间的双重属性。流上的任何一

查看更多 →

Transformation 数据处理单元，会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类： 一对一的转换：如Map。 一对0、1或多个的转换：如FlatMap。 一对0或1的转换，如Filter。 多对1转换，如Union。 多个聚合的转换，如window、keyby。

查看更多 →

，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest

查看更多 →

Impala应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录，里面包含通过Java API访问Impala的样例代码。 HiveQL语言

查看更多 →

HBase应用开发常用概念 过滤器 过滤器用于帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户，可通过Java

查看更多 →

在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元组和时间的双重属性。流上的任何一

查看更多 →

master挂了，一个新的master会通过Raft算法选举出来。所有的master数据都存放在一个tablet中，这个tablet会被复制到所有的candidate master上；tablet server会定期向master发送心跳。 kudu kudu的管理工具，可以用来检查集群的健康状况、日常运维等操作。

查看更多 →

同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是将那些需进行关联操作的文件存放在相同的数据节点上，在进行关联操作计算时，避免了到别的数据节点上获取数据的动作，降低了网络带宽的占用。 Client HDFS Client主要包括五种方式：JAVA

查看更多 →

Streaming提供的抽象概念。 DStream表示一个连续的数据流，是从数据源获取或者通过输入流转换生成的数据流。从本质上说，一个DStream表示一系列连续的RDD。RDD一个只读的、可分区的分布式数据集。 DStream中的每个RDD包含了一个区间的数据。如图4所示。 图4 DStream与RDD关系

查看更多 →

制它们。标签的一个常见用法是使用生成数据点的机器名称以及机器所属的集群或池的名称来注释数据点。这使您可以轻松地制作显示每个 服务器 的服务状态的仪表盘，以及显示跨逻辑服务器池的聚合状态的仪表盘。 OpenTSDB系统表简介 OpenTSDB是基于HBase存储时序数据的，在集群中开启

查看更多 →

Kafka应用开发常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。

查看更多 →

Impala应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录，里面包含通过Java API访问Impala的样例代码。 HiveQL语言

查看更多 →

master故障，一个新的master会通过Raft算法选举出来。所有的master数据都存放在一个tablet中，这个tablet会被复制到所有的candidate master上；tablet server会定期向master发送心跳。 Kudu Kudu的管理工具，可以用来检查集群的健康状况、日常运维等操作。

查看更多 →