接口总览

Aura DataFrame主要包含数据处理、数据管理、输入/输出、辅助工具、触发执行五个部分：

数据处理：支持丰富的变换操作，如map()、flat_map()、filter()、join()、groupby()等，可对样本进行特征工程和结构化处理。
数据管理：提供对数据集的增删改查能力，包括insert()、update()、delete()以及索引创建与删除，支持数据生命周期管理。
输入/输出：具备向主流湖仓格式，如Parquet、Iceberg写入数据的能力，实现与数据湖无缝集成。
辅助工具：提供schema()、columns()和explain_plan()等元信息查询与执行计划分析功能，便于调试与优化。
触发执行：通过execute()、limit()、take()等方法触发实际计算并获取结果，支持懒加载与按需执行。

表1 接口总览
操作类型	接口	描述
Dataset APIs	columns	获取Dataset的所有列的列名集合。
	add_column	给一个Dataset添加列。
	drop_columns	删除Dataset的列。
	aggregate	通过指定分组字段，用一组聚合函数对数据集进行聚合。
	count	计算该Dataset的总行数。
	execute	执行表达式。
	filter	过滤掉不满足条件的行。
	flat_map	将给定的函数应用于每一行，并对结果进行展平。
	map_batches	将给定的函数应用于批量数据。
	groupby	创建一个分组的Dataset。
	join	在两个Dataset之间执行join操作。
	map	对当前Dataset的每一行应用给定函数。
	order_by	根据一个或多个表达式对Dataset进行排序。
	rename_columns	重命名Dataset中的列。
	schema	返回Dataset的schema。
	select_columns	从Dataset的列中选取指定的列。
	show	显示查询结果生成的数据。
	take	从Dataset中返回最多limit行数据，该方法适用于数据检查和预览。
	max	计算Dataset中指定列的最大值。
	min	计算Dataset中指定列的最小值。
	mean	计算Dataset中指定列的均值。
	unique	计算Dataset中指定列的唯一值集合。
	limit	从当前Dataset中选择行，起始位置为偏移量。
	take_batch	从Dataset中返回最多batch_size行数据。
AI APIs	ai_generate	使用大语言模型生成文本，并将生成结果作为新列添加到Dataset中。model_name需已注册。
	create_model	创建一个抽象本地模型，用于绑定到远程LLM服务。
	list_models	查看指定数据库或默认数据库中的所有模型。
	drop_model	删除与模型名称对应的抽象本地模型。
	describe_model	查看指定的模型的详细信息。
Table APIs	insert	用于将Dataset插入到数据库表中。
	show	用于显示表的前N行数据。
	to_dataset	将当前表对象转换为Dataset对象。
	add_columns	向表中添加一个或多个新列。
	drop_columns	用于从表中删除一个或多个列。
	alter_column_type	修改表中指定列的数据类型。
	rename_column	重命名表中的列名。
	delete	从表中删除满足指定条件的数据。
	create_table	在指定数据库中创建一个新表。
	delete_table	从数据库中删除指定的Dataset。
	describe_table	描述指定数据库中的表。
	drop_table	从指定数据库中删除一个表。
	list_tables	列出指定数据库或默认数据库中的所有表。
	open_table	打开指定数据库中的表。
	update	更新表中满足指定条件的行数据。
User-Defined Function APIs	signature	从后端DB中返回UDF的函数签名和返回值类型。
	get	从后端DB中返回UDF函数。
	names	从后端DB中返回所有的UDF函数名称。
	unregister	从后端DB中删除指定的UDF函数。
Session APIs	load_dataset	从指定数据库加载数据集。
	set_function_staging_workspace	配置函数部署所需的临时工作区，包括设置必要的凭证和存储信息。
	sql	用于执行SQL查询语句，并返回查询结果。
	explain_plan	生成作业执行计划。
	explain_performance	执行查询并生成计划，计划中包含执行过程中详细的性能指标。
	stats	获取当前会话的所有历史作业的执行记录。
I/O APIs	read_images	从OBS指定的路径中读取图片文件到Dataset。
	read_audios	从OBS指定的路径中读取音频文件到Dataset。
	read_video_frames	从OBS指定的路径中读取视频帧（图片）文件到Dataset。
	write_images	将图片数据写入指定路径的OBS中。
	write_audios	将音频数据写入指定路径的OBS中。
	write_videos	将视频数据写入指定路径的OBS中。
	write_iceberg	将数据写入指定的Iceberg表中。
	write_orc	将数据写入指定的ORC表中。
	write_parquet	将数据写入指定的parquet表中。