spark

Apache Spark——面向大规模数据处理的统一分析引擎

数据工程全方位学习资源汇总仓库

数据工程集训营是一门为期九周的免费课程，涵盖数据工程基础知识。

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

SeaTunnel是多模态、高性能、分布式海量数据集成工具

一种开源存储框架，能够通过Spark、PrestoDB、Flink、Trino和Hive等计算引擎及API构建湖仓架构。

H2O是一个开源、分布式、快速且可扩展的机器学习平台：支持深度学习、梯度提升、XGBoost、随机森林、广义线性模型、K均值聚类、主成分分析、广义可加模型、规则拟合、支持向量机、堆叠集成、自动机器学习等。

简易分布式机器学习

顶尖自然语言处理技术

Deequ是基于Apache Spark构建的库，用于定义"数据单元测试"，可测量大规模数据集的数据质量

Apache Paimon 是一种湖存储格式，支持基于 Flink 和 Spark 构建流批一体的实时湖仓架构。

LakeSail的计算框架，其使命是统一批处理、流处理和计算密集型AI工作负载。

Apache Kyuubi是面向数据仓库和数据湖的分布式多租户无服务SQL网关

Gluten是一个中间层，负责将基于JVM的SQL引擎执行卸载到原生引擎。

高性能数据存储解决方案

Apache DataFusion Comet Spark加速器

面向Apache Spark的时间序列库

Spark RAPIDS插件 - 利用GPU加速Apache Spark

Spark RAPIDS 插件——利用 GPU 加速 Apache Spark

Apache Livy 是一个开源 REST 接口，用于从任何地方与 Apache Spark 进行交互。

安全数据共享的开放协议

TiSpark 专为在 TiDB/TiKV 之上运行 Apache Spark 而构建

数据血缘追踪与可视化解决方案

面向批处理工作负载和Spark的Kubernetes与Mesos公平任务调度器