HPAT 基于编译器的大数据框架 项目简介
HPAT 是一个基于编译器的大数据框架,使用 Python 编写。高性能分析工具包(HPAT)是一个基于编译器的框架,用于群集/云环境中的大数据分析和机器学习,既易于使用又非常快速;它比 Apache Spark 等替代品要快。HPAT 自动或半自动并行化执行使用 Numpy 和 pandas 编写的分析任务,并使用 Numba 和 LLVM 生成高效的MPI 代码。 这些学术论文描述了 HPAT 的基本方法:HPAT paper at ICS'17HPAT at HotOS'17HiFrames on arxivHPAT的文档可以在这里找到。