大数跨境

给NumPy和OpenBLAS的一笔新赠款

给NumPy和OpenBLAS的一笔新赠款 Python程序员
2019-12-10
0
导读:我非常高兴地宣布,NumPy和OpenBLAS刚刚通过了Essential Open Source Soft

我非常高兴地宣布,NumPy和OpenBLAS刚刚通过了Essential Open Source Software for Science (EOSS) 计划,从Chan Zuckerberg Initiative获得了195,000美元的资助。对于这两个项目而言,这都是一个好消息。我们将会开展一些活动,这些活动对社区的发展意义重大,而且我们的项目能够成为第一轮资助项目的一部分,这些事情都是使我感到非常兴奋。


项目


新闻稿对该计划进行了高度的概述,受赠方网站列出了32个成功的申请项目。其他获得资助的项目包括SciPy和Matplotlib(这是这两个项目的第一笔重要资金!),Pandas,Zarr,scikit-image,JupyterHub和Bioconda。

Nicholas Sofroniew和Dario Taborelli两个人推动了EOSS计划的发展,他们写了一篇博客文章,介绍了启动该计划的动机以及申请并获得资助的42个项目:《生物医学的无形基础》。


那我们将要做什么呢?


对于NumPy项目而言,我们将致力于:
1.NumPy的管理以及组织结构
2.numpy的网站
3.针对新用户和贡献者的高质量的文档
4.拓展社区和指导新的团队成员

这是由于我们认识到,一方面我们需要为NumPy的初学者和中级用户提供更好的服务,另一方面NumPy的可持续性取决于其核心团队和社区贡献者的增长—特别是在代码维护以外的领域。


OpenBLAS的工作将专注于解决一系列关键技术问题,尤其是线程安全,AVX-512和本地线程存储(TLS)问题。此外,在ReLAPACK(Recursive LAPACK)方面需要进一步改进算法,OpenBLAS使用了大量的ReLAPACK。

有关我们活动和可交付成果的更多详细信息,请参见完整提案。


还有其他一些动机将重点放在管理,网站,文档和社区活动建设上。首先,它被允许已经很不寻常了。大多数潜在的资助者,无论是机构性质的科学资助者还是公司,都希望看到一个充满新想法的提案。通常,明确禁止提议维护或社区建设。Chan Zuckerberg Institute的人员将这个程序放在一起,可以清楚地了解科学的开源软件项目是如何工作的以及他们的需求是什么,并且他们允许提出对项目有意义的任何类型的工作。简单但重要!


其次,我非常认真地思考有效支出这笔资金的最佳方法是什么。这笔赠款中有14万美元捐给了NumPy。这笔钱可以做很多事情,但也很高兴意识到这大约是BIDS为NumPy收到的资金的10%。从长远来看,我们希望产生超过10%的影响。在我的SciPy'19演讲中,我视图去量化那些BIDS赠款的影响。这些资金中的绝大部分用于(非常必要的)技术工作,而且使项目的开发速度提高了约25%~30%。此外,这笔钱还可以用来整合一些较大的改动,例如重新设计numpy.random。对于我来说,再增加10%的类似活动虽然有价值,但不会带来变革。另一方面将我们所有的时间都用于团队发展和更好地服务新用户和贡献者可能是--我们的目的是使用户能够持续不断地做出贡献,特别是在那些缺少高质量文章的领域。


我们在七月份提出的活动当中,有些活动已经在进行中。我们有一个小组正在重新设计网站,并且通过the Google Season of Docs项目,我们正在与一个专业技术作家Anne Bonner合作编写新的入门指南。这非常好,特别是因为我们的提案获得了我们要求资金的80%。因此,无论如何,提案中的可交付成功还是有可能实现的。

OpenBLAS的意义和现状


尽管NumPy在努力寻找维护者,但至少每个用户都知道它是什么,并且(大部分时间)都喜欢它。然而,openBLAS处于更加困难的处境当中。作为加速线性代数运算的库,它对NumPy(以及SciPy,Julia和R)至关重要,但对于普通用户来说仍然看不到这一点。这就是为什么OpenBLAS的维护者和贡献者非常少的主要原因。事实上,它的巴士指数仅仅为1.在过去两年中,Martin Kroeker 是OpenBLAS的主要维护者,他的提交次数是第二位贡献者的10倍之多。对于一个对所有科学计算都非常重要的项目而言,这着实令人担忧。我很高兴就这项赠款提案的相关事宜与Martin进行合作,并且现在,他可以腾出更多的时间用于OpenBLAS的开发。


如果您仍然不清楚OpenBLAS是什么,有什么功能,请想象一下,如果np.dot和所有其他线性代数函数的运行速度慢20倍,将会发生什么情况。或者说,您的scikit-learn模型需要花费20倍的运行时间。除了OpenBLAS,仍有一些其它的选择,但并不是很多。英特尔的MKL是有专利的,因此,尽管对于Anaconda发行的NumPy而言它是一个不错的选择,但对于许多重新分发者(包括NumPy本身,其PyPI轮子和conda-forge软件包),MKL并不是一个好的选择。BLIS是一个较新的库,提供了加速的BLAS功能,但是用于加速LAPACK的libFlame还并为达到主流使用的程度。而且,久负盛名的ATLAS一直停滞不前,表现不佳,并且单一维护人员的问题一直困扰着ATLAS。所以,您或许没有意识到,您可能非常依赖于OpenBLAS。


OpenBLAS速度很快,但也相对不稳定。NumPy发行版通常会受到OpenBLAS功能中问题的影响,并且我们需要非常谨慎地考虑在我们发行的库中使用哪个OpenBLAS版本。这笔赠款将用于解决我们在NumPy中遇到的一些重要的问题。通过扩展NumPy库,这还将对OpenBLAS的所有其他主要用户有所帮助。


>>> 今日签到口令:6xto <<<


赠款管理——资金流向说明


我认为保持社区的公开透明对于赠款的管理以及我们计划如何使用这笔资金非常重要。全部195,000美元将交给NumPy的财政赞助商NumFOCUS,由我本人作为负责人。在这笔赠款中,有55,000美元用于OpenBLAS。NumFOCUS将与Martin签订合同,合同规定了这部分钱中一大部分该如何使用。(NumFOCUS有一些管理费用,我们还会保留一些资金,以便能够雇用学生实习生进行OpenBLAS的工作)。其余的140,000美元是留给NumPy的,将用于与Quansight的分包合同,包括对我的资助以及雇佣技术作家和网页设计师。这让我感到非常激动----我希望看到更多的作家,Web开发人员,图形设计师和社区经理成为社区开源项目的一份子。


下一步


今天是公告日,真正的工作现在便开始了。首先,我会弄清楚赠款的安排,以便我们及时开展工作。然后,在11月22日至23日期间,在BIDS有一个NumPy sprint会议,8到10名NumPy团队成员将会出席。这是一个很好的机会去讨论我们将要处理的许多问题—NumPy路线图,管理,社区建设以及网站和文档工作都已列入议程。补助金的正式开始日期是12月1日。敬请期待-还有更多!


英文原文:https://labs.quansight.org/blog/2019/11/numpy-openblas-CZI-grant/ 
译者:Lyx

【声明】内容源于网络
0
0
Python程序员
1234
内容 2525
粉丝 0
Python程序员 1234
总阅读0
粉丝0
内容2.5k