Rain Rust 实现的分布式计算框架 项目简介
Rain 是一个 Rust 实现的轻巧且强大的分布式计算框架，适用于处理大规模的基于任务的管道。Rain 旨在降低分布式计算世界的入门门槛，目的是提供一个轻巧而强大的分布式框架，该框架具有直观的 Python API、简单的安装和部署以及顶层的深入监控。功能特性数据流编程：Rain 中的计算被定义为任务的流程图(flow graph)。任务可以是内置函数，Python/C++/Rust 代码，也可以是外部应用程序，短而轻或长时间运行且繁重。该系统旨在将任何代码集成到管道中，合理分配其资源需求，并处理非常大的任务图(task graphs)，通常是数十万个任务。易于使用：Rain 设计之初就考虑到要易于部署，从单节点部署到大规模分布式系统和数千个核心的云。Rust 核心：Python/C++/Rust API。为了安全和高效，Rain 采用 Rust 编写，并为 Rain 核心基础架构提供了高级 Python API，甚至支持开箱即用的 Python 任务。Rain 还提供了用 C++ 和 Rust 编写自己的任务的库。监控：支持在线和 postmortem 监控。