Python并行编程之 Parallel Python首页
Parallel Python首页
原文: | http://www.parallelpython.com/ |
---|
1 简介
PP 是一个Python模块,提供了在SMP(多CPU或多核)和集群(通过网络连接的多台计算机)上并行执行Python代码的机制。轻量级,易于安装,并集成了其他软件。PP也是一个用纯Python代码实现的跨平台,开放源码模块。
2 功能
- 在SMP和集群上并行执行Python代码
- 易于理解和实现的基于工作的并行机制,便于把穿行应用转换成并行的
- 自动构造最佳配置(默认时工作进程数量等同于系统处理器数量)
- 动态处理器分配(允许运行时改变工作处理器数量)
- 函数的工作缓存(透明的缓存机制确保后续调用降低负载)
- 动态负载均衡(任务被动态的分配到各个处理器上)
- 基于SHA的连接加密认证
- 跨平台移植(Windows/Linux/Unix)
- 开放源代码
3 开发动机
现代Python程序已经广泛的应用在商业逻辑,数据分析和科学计算等方面。其中广泛应用着SMP(多处理器或多核)和集群(通过网络连接的多台计算机),市场需要并行的执行的Python代码。
在SMP计算机上编写并行程序最简单的方法是使用多线程。尽管如此,使用 ‘thread’ 和 ‘threading’ 模块仍然无法在字节码一级实现并行。因为Python解释器使用GIL(全局解释器锁)来在内部禁止并行执行。这个GIL限制你在SMP机器上同一时间也只能执行一条字节码指令。
PP 模块正是为了解决这个问题而来,提供简单的方式实现并行Python应用。 ppsmp 在内部使用 进程 和 IPC (进程间通信)来组织并行计算。并处理了所有内部的细节和复杂性,你的应用程序只需要提交工作任务并取回结果就可以了。这也是编写并行程序的最简单的方法。
为了更好的实现,所有使用 PP 的软件通过网络来连接和协作。跨平台和动态负载均衡使得 PP 可以轻松组织多平台、异构的集群计算环境。
4 安装
任何平台:下子阿模块压缩包,解压,运行setup脚本:
python setup.py install
Windows:下载和执行安装包。
5 文档
6 例子
7 下载
8 技术支持
并行Python讨论区 提供帮助和支持。
9 帮助我们扩展,链接我们
<a href='http://www.parallelpython.com'>Parallel Python</a>