大数跨境

数据科学家和工程师的5条戒律

数据科学家和工程师的5条戒律 Python程序员
2016-06-09
0
导读:表面上看,数据科学家和工程师简直是天作之合。数据科学家为商业问题创造诗一样的解决方案,然后工程师同伴构建环境并集成方案中的各个部分,最终将解决方案变为现实,这有什么问题吗?


介绍


表面上看,数据科学家和工程师简直是天作之合。数据科学家为商业问题创造诗一样的解决方案,然后工程师同伴构建环境并集成方案中的各个部分,最终将解决方案变为现实,这有什么问题吗?


不幸的,数据科学家和工程师之间的关系众所周知是很脆弱的。对于大多数组织,他们之间的关系介于完全没有关系到关系完全错乱之间。唉~


为什么会这样?如何才能避免如此?在这个短文中我们将介绍提高数据科学家和工程师交流和合作的五条戒律。


1、了解你的数据


好的模型依赖于好的数据。为了构建能够投入生产的方案,数据科学家需要知道他们的数据集有多可靠、数据从何得出并存储在哪儿、已经数据多久会变动。这些信息需要尽早地搜集并且分享给工程师团队(在工程师还没有开始写代码之前),避免让工程师团队做无用功。


在理想世界,科学家团队和工程师团队都需要提前知道将要做的变化(比如修改一个变量的数据类型),这样他们才能合作来创建、测试和部署一个对应的新的版本。尽管意外的事情难以避免,尽早地分享材料并讨论方案的不足之处会让工程师们减轻风险,几乎可以避免掉所有特别棘手的问题。


2、熟悉对方团队的工具


数据科学家的工作通常使用像R或者Python这样便于科学计算的编程语言,这些语言对于清洗、挖掘和模式化数据是非常理想的。另一方面,工程师们使用完全不同的一套工具来构建可扩展的网站和移动应用(类似于.Net,Ruby on Rails,Node.js或者JVM)。期望一个人能熟知两边使用的所有工具是不现实的,但是让一个人对对方使用的编程语言有一个大概的了解还是可行的,而这样的了解能够大大地促进两个团队更好地合作。


把数据科学家的模型代码用另外一门语言重写是一件很耗费时间,而且容易出错的事情。所以让科学家团队和工程师团队建立良好的联系(当面联系以及线上联系)是非常有必要的,这将有助于他们一起去面对出现的问题。


3、知会技术限制


数据科学家和工程师使用截然不同的工具集,这本身就会带来很多的技术限制。这通常是沮丧情绪的来源,因为没人想看着一个功能完备的产品在用其他工具重构后变得不如以前了,很多辛苦构建的功能无法在重构版本里实现出来。


一旦你知道了数据模型开发和部署需要使用的编程语言,花点时间研究一下什么能实现、什么不能实现(见戒律2)。定期组织跨部门的讨论会,讨论一下你正在考虑的实现方案和可能需要做的妥协。什么是完全无法实现的?其他人的观点如何?执行这些方案需要多少努力?相比于商业效益,这些努力值得么?


举个例子,比如你是一个数据库科学家,用R写了一个缺陷检测的逻辑,这个逻辑需要被部署在Ruby写的应用里。那你就需要知道R的glm函数(建立通用线性模型的函数),在Ruby中没有对应的实现(Java也没有),你需要头脑风暴一下其他的实现方案了。


4、尊敬数据科学家和工程师


你的工作总是依赖于工作流上的其他人的,所以误解时常会发生。如果你问我如何处理这种情况?我只能说:“己所不欲,勿施于人。”


以数据科学家为例,编写高质量、易于维护和部署的代码。乐于接受有关于重构和其他可选方案的建议。咨询工程师一个可操作的时间表是什么样子,并且真诚地提供帮助。


对于工程师,跟科学家团队一起清晰地定义哪些功能必须有,功能之间的优先级是什么样的。维护一个靠谱的实现时间表,并将测试、完善和重写数据模型的时间考虑进去。无论是过度承诺或者拖延工期都是错误的。


5、执行好你自己的职责


一个很危险的想法就是,有的人觉得“一旦数据模型进入了生产环境,无论是做原型的科学家还是实现它们的工程师都自由了,可以去做下一个大项目了。”事实上,这只是数据分析生命周期中另一个阶段的开始。


这时候,很重要的就是数据科学家和工程师需要一起制定一个监控和管理生产环境中的数据模型的计划。谁负责实时地观察数据模型和服务器的稳定性?输入和输出的数据如何存储和分享?发版、重新训练和重新测试的路线图是什么样的?


为可能出现的状况制定应对方案。如果数据量激增会发生什么?规模扩展需要花多少钱和时间?提前做好职能划分,并合理地分配每个人的工作量。


总结


数据科学家和工程师的目标是一致的:部署能够解决商业问题的代码。不幸的,误解和技术上的问题经常让大家忘记了最初的目标。在与人相处、共同工作方面没有一个公式能够解决所有的问题,但是上面的五戒律能够很大程度上帮助科学家团队和工程师团队减少合作上的隔阂。


英文原文:http://blog.yhat.com/posts/five-commandments.html

译者:诗书塞外

Python部落翻译,禁止转载,欢迎转发



了解野狗,请点击阅读原文

【声明】内容源于网络
0
0
Python程序员
1234
内容 2525
粉丝 0
Python程序员 1234
总阅读0
粉丝0
内容2.5k