gavl是一个无压缩的音频和视频数据处理库。它提供了常用的转换，如视频缩放，色彩空间转换，音频重采样等。提供许多例程，无论是高速或更好的精度优化的多个版本。gavl是兼容所有主要的多媒体编解码器的API。支持的音频和视频格式，包括低端的传统格式以及专业编辑的高清晰度视频格式。
# 多媒体处理
Cascading是一个新式的针对Hadoop clusters的数据处理API，它使用富于表现力的API来构建复杂的处理工作流，而不是直接实现Hadoop MapReduce的算法。
# 数据处理 # 大数据 # 分布式应用/网格
Graph Engine 是一个基于内存的分布式大规模图数据处理引擎，能够帮助用户更方便地构建实时查询应用和高吞吐量离线分析平台。在此之前，它在学术界更广为人之的名称是 Trinity。Graph Engine 的内存管理系统能高效处理海量内存对象。通过一个简洁优雅的数据和消息传递建模语言，Graph Engine 允许用户自由地定义数据模式和计算模型。Graph Engine 具有优秀的系统互操作性，可以方便地与其它系统平台进行集成。
# 图数据库
# 数据处理 # 大数据
Cascalog 是 Hadoop 上的数据处理解决方案，无需 hassle。Cascalog 是 Clojure 或者 Java 的全功能数据处理和查询库。Cascalog 主要的作用是处理 Hadoop 上的“大数据”或者分析你的本地电脑， Cascalog 是替代 Pig 和 Hive 的工具，而且比这些工具都有更高的抽象级别。跟着 Cascalog 开始步骤做，五分钟就可以玩转 Cascalog。
概览Apache Geode 是一个数据管理平台，提供实时的、一致的、贯穿整个云架构地访问数据关键型应用.Geode 池化了服务器上的内存, CPU, 网络资源, 和本地磁盘，跨多个进程来管理应用对象和应用行为. 它使用了动态数据复制和分区技术来实现高可用, 高性能, 高可扩展性, 和容错. 另外, 对于一个分布式数据容器, Apache Geode 是一个基于内存的数据管理系统, 提供了可靠的异步事件通知和可靠的消息投递.
Wormhole 是一个 SPAAS平台解决方案。Wormhole 面向大数据项目的开发，运维以及管理人员，致力于简化和统一开发管理流程。当今运维是典型的大数据应用领域，Wormhole 是智能运维机器学习的有力支撑，尤其是针对流式实时和流式准实时数据处理场景。Wormhole 的设计理念是统一流式处理 DAG 高阶分形抽象，统一通用流转消息 UMS 协议抽象，统一通用流转消息 UMS 协议抽象。
MR4C 是 Google 开发的 C++ 的 MapReduce 框架，你可以在 Hadoop 架构中执行本地代码。
设计的目标是可组合、易用接口、去耦合 I/O，算法逻辑无需关注数据格式和并行处理代码，减少样板代码数量。可方便的处理类型安全的数据流管道，MapReduce 操作，MPI 并行计算 等等。MPI 是一个跨语言的通讯协议，用于编写并行计算机。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的主要模型。
# 数学计算
Laxcus 是一个多集群多用户多任务通用数据管理系统，支持百万级计算机节点，提供 EB 级可计算数据的存储和计算能力，综合云管理、大数据、数据库、中间件、容器五个领域的技术和功能，集运行、开发、调试、部署、维护为一体的平台。Laxcus 为全体系全功能设计开发，采用 Java、C++ 语言编写，运行在普通硬件设备上，操作系统涵盖 Linux/Windows ，硬件平台包括 X86、ARM、POWER PC、NVIDIA 。产品100%自主知识产权，遵循 LGPL 协议开放源代码。当前最新版本是 Laxcu
# 其他
Hazelcast Jet 是一个分布式计算平台，专为高性能流处理和快速批处理而构建。它在内存数据网格中嵌入Hazelcast，以提供轻量级的处理器包和可扩展的内存存储。分布式 java.util.stream API 支持 Hazelcast 数据结构，如 IMap 和 IList. 连接器允许从 Apache Kafka, HDFS, Hazelcast IMDG, sockets 和本地数据文件高速获取数据。通过 Docker, Apache jclouds, Amazon Web Services,
Apache NiFi 数据处理和分发系统
# BI商业智能
FreeUSP 反射地震数据处理软件
# 教学科研相关
地震数据处理软件 SEPlib 由斯坦福大学地球科学学院地球物理系Stanford Exploration Project项目开发。SEPlib is a complete and freely distributed seismic data processing software package. We created it and use it for our research.SEPlib comprises several concepts and software pieces:. Vplot
Canal.js是一款函数式数据处理框架，提供了大量类似Spark的API。.rows().between // From the last row to the next row
# 常用JavaScript包
OpenCTI 开放的网络威胁情报平台
# 数据处理
1. 概述gmq是基于redis提供的特性,使用go语言开发的一个简单易用的队列；关于 redis 使用特性可以参考之前本人写过一篇很简陋的文章Redis 实现队列；gmq的灵感和设计是基于有赞延迟队列设计，文章内容清晰而且很好理解，但是没有提供源码，在文章的最后也提到了一些未来架构方向；gmq不是简单按照有赞延迟队列的设计实现功能，在它的基础上，做了一些修改和优化，主要如下：
# 数据存储 # 数据处理
xarray 是一个开源 Python 包，它可以使处理多维数组更加简单、高效并有趣。xarray 在原始类 NumPy 多维数组中引入了标签化的变量名称和坐标索引，实现了更直观、更简洁和更加不容易出错的能力。该软件包包括一个庞大且不断增长的域无关功能库，用于使用这些数据结构进行高级分析和可视化。xarray 灵感来自同为解决数据分析任务而诞生的pandas。
# 数据处理 # 可视化
Brooklin 近实时大规模数据流式传输
安科网(Ancii)，中国第一极客网
Copyright © 2013 - 2019 Ancii.com
京ICP备18063983号-5 京公网安备11010802014868号
