
当你使用NumPy执行CPU密集型的计算时,你会希望充分利用计算机的所有CPU。你的计算机可能有2个或4个甚至更多的CPU核心,如果你可以充分利用它们,那么你的代码将运行得更快。
当然,也存在例外,某些时候并行性会使你的代码运行得更慢一些。
事实证明,对于某些操作,NumPy将明显地并行化操作。而如果你不小心的话,这实际上会减慢你的代码。
并行使代码更快
考虑一下下面的程序:

如果我们在time工具下运行该程序,我们会看到:

正如我在其他地方更详细地解释的那样,真实时间是挂钟时间,用户时间是CPU时间。由于在这种情况下,用户时间高于挂钟时间,这意味着该操作使用了多个CPU,总共占用 4.17CPU秒。
这太好了!如果我们只使用了一个CPU,这个操作将花费约4.2秒,但是由于有多个CPU,它只花费了约1.5秒。
并行让它更慢
我们来验证这个假设。
我们将通过使用threadpoolctl库来告诉NumPy只使用一个CPU:

现在当我们运行它时:

当我们使用了多个CPU时,它大约需要4.2 CPU秒,而使用单个CPU时,它大约需要3.7 CPU秒。以CPU时间进行衡量,代码现在更快了!
这有关系吗?难道重要的不是一个更快的挂钟时间吗?
如果你只是在你的电脑上运行这个程序,而且你没有为你的程序实现其他并行,那么,是的,这很好。但是,如果你自己正在实现某种形式的并行,例如通过使用multiprocessing、joblib或我个人最喜欢的Dask,默认的并行将使你的程序整体变慢。
在本例中,每一个dot()调用都会多占用13%的总CPU容量。
BLAS!(基本线性代数子程序库)
你将在上面的代码中注意到,线程池限制,俗称BLAS.BLAS,是一个用于线性代数的API, NumPy将其用于自己的一些操作,在本例中是dot()。
有不同的BLAS实现可以使用,在上面的示例中,我使用的是OpenBLAS。另一种选择是mkl,它由Intel提供,因此针对Intel处理器进行了优化;你不会想在AMD上使用它。
至少,对于这个操作来说,mkl似乎有相同的问题:它在单个CPU上的运行速度要比在多个并行化的CPU上运行速度快。总的来说,还是值得看看切换是否会给你带来一些性能改进。
如果你正在使用Conda Forge,你可以通过在你的environment.yml中使用包blas=*=openblas或包blas=*=mkl来实现这一点。
如果只是这个基准呢?
有人可能会说,这只是一个基准,我有很多方法可以把它搞砸。虽然这是真的,但这只是一个例子:
OpenBLAS问题跟踪器列出了多线程减慢程序速度的许多情况;在某些情况下,禁用多线程是修复方法。
从更广泛的角度来看,切换到多线程总是有成本和开销的(你也可以参考阿姆达尔定律 )。
但是,如果使用N个线程运行程序实际上提升了N倍的性能,那这将是非常令人惊讶的。
所以,是的,你经常会想要使用并行,但是你需要考虑在哪里、如何以及何时使用它。
减少并行化以获得更多并行
如果你正在用Dask或类似的东西实现一种高级的并行形式,那你可能想要禁用NumPy中的多线程。单个操作总体上将使用更少的CPU时间,并且你自己的并行将确保多个CPU的使用。
此外,在进行分析时要小心:如果你正在使用自动并行化技术,那么你所分析的行为可能与在一个带有不同数量CPU的不同计算机上的行为不匹配。
英文原文:https://pythonspeed.com/articles/parallelism-slower/
译者:浣熊君( ・᷄৺・᷅ )


