大数跨境

并行之殇: 本应运行得更快,有时却适得其反

并行之殇: 本应运行得更快,有时却适得其反 Python程序员
2020-02-24
0
导读:事实证明,对于某些操作,NumPy将明显地并行化操作。而如果你不小心的话,这实际上会减慢你的代码。

当你使用NumPy执行CPU密集型的计算时,你会希望充分利用计算机的所有CPU。你的计算机可能有2个或4个甚至更多的CPU核心,如果你可以充分利用它们,那么你的代码将运行得更快。


当然,也存在例外,某些时候并行性会使你的代码运行得更慢一些。


事实证明,对于某些操作,NumPy将明显地并行化操作。而如果你不小心的话,这实际上会减慢你的代码。


并行使代码更快


考虑一下下面的程序:



如果我们在time工具下运行该程序,我们会看到:



正如我在其他地方更详细地解释的那样,真实时间是挂钟时间,用户时间是CPU时间。由于在这种情况下,用户时间高于挂钟时间,这意味着该操作使用了多个CPU,总共占用 4.17CPU秒。


这太好了!如果我们只使用了一个CPU,这个操作将花费约4.2秒,但是由于有多个CPU,它只花费了约1.5秒。


并行让它更慢


我们来验证这个假设。


我们将通过使用threadpoolctl库来告诉NumPy只使用一个CPU:



现在当我们运行它时:



当我们使用了多个CPU时,它大约需要4.2 CPU秒,而使用单个CPU时,它大约需要3.7 CPU秒。以CPU时间进行衡量,代码现在更快了!


这有关系吗?难道重要的不是一个更快的挂钟时间吗?


如果你只是在你的电脑上运行这个程序,而且你没有为你的程序实现其他并行,那么,是的,这很好。但是,如果你自己正在实现某种形式的并行,例如通过使用multiprocessing、joblib或我个人最喜欢的Dask,默认的并行将使你的程序整体变慢。


在本例中,每一个dot()调用都会多占用13%的总CPU容量。


BLAS!(基本线性代数子程序库)


你将在上面的代码中注意到,线程池限制,俗称BLAS.BLAS,是一个用于线性代数的API, NumPy将其用于自己的一些操作,在本例中是dot()。


有不同的BLAS实现可以使用,在上面的示例中,我使用的是OpenBLAS。另一种选择是mkl,它由Intel提供,因此针对Intel处理器进行了优化;你不会想在AMD上使用它。


至少,对于这个操作来说,mkl似乎有相同的问题:它在单个CPU上的运行速度要比在多个并行化的CPU上运行速度快。总的来说,还是值得看看切换是否会给你带来一些性能改进。


如果你正在使用Conda Forge,你可以通过在你的environment.yml中使用包blas=*=openblas或包blas=*=mkl来实现这一点。


如果只是这个基准呢?


有人可能会说,这只是一个基准,我有很多方法可以把它搞砸。虽然这是真的,但这只是一个例子:


  • OpenBLAS问题跟踪器列出了多线程减慢程序速度的许多情况;在某些情况下,禁用多线程是修复方法。

  • 从更广泛的角度来看,切换到多线程总是有成本和开销的(你也可以参考阿姆达尔定律 )。


但是,如果使用N个线程运行程序实际上提升了N倍的性能,那这将是非常令人惊讶的。


所以,是的,你经常会想要使用并行,但是你需要考虑在哪里、如何以及何时使用它。


减少并行化以获得更多并行


如果你正在用Dask或类似的东西实现一种高级的并行形式,那你可能想要禁用NumPy中的多线程。单个操作总体上将使用更少的CPU时间,并且你自己的并行将确保多个CPU的使用。


此外,在进行分析时要小心:如果你正在使用自动并行化技术,那么你所分析的行为可能与在一个带有不同数量CPU的不同计算机上的行为不匹配。


英文原文:https://pythonspeed.com/articles/parallelism-slower/ 
译者:浣熊君( ・᷄৺・᷅ )

【声明】内容源于网络
0
0
Python程序员
1234
内容 2525
粉丝 0
Python程序员 1234
总阅读0
粉丝0
内容2.5k