测试你是否真的适合在数据科学领域工作

问题导读


1.在数据科学领域工作意味着什么？
2.本文认为数据科学家必备哪些素质？

目前数据科学家或相关角色（如数据管理，统计师，数据分析师等）成为最抢手的职业之一。针对这一跨行业的趋势，一些顶尖大学已经开始致力于培养数据科学家。

在更多的机遇、薪酬、知名度以及商业领袖们对它重视的诱惑下，许多人开始朝着数据科学家的职业努力，但他们并没有深入地思考这个职位每天所需要承担的责任、需要的态度、在技术和商业技能上的平衡的能力。

对于有志成为数据科学家这个角色的人，这些能够挑战自我和职业抱负的人，我们希望能勾画出一个清晰的图像来说明这些人的特质。我最近同一个有着25年以上行业经验的人Paco Nathan聊起这个问题，他的坦诚的回应让我对这个问题的认识清楚了不少。

Anmol Rajpurohit: 数据科学家被称为第二十一世纪最性感的工作。你同意吗？你会给致力于从事数据科学的人们什么样的建议呢？

Paco Nathan：我不同意。没有多少人具备数据科学家这个角色所需要的知识广度，也没有多少人具备掌握这些技能必备的耐心和欲望。

先做一个自我测试吧

1、准备一个未知的数据集的分析和可视化，数据需求者们将看到你的成果后问一些关键问题，但你要准备好你满怀信心得出的结果受到一些量化的论证。

2、在25个字以内形容出损失函数(loss function)和(regularization term)正则化项，用几个例子做比较/对比，并展示如何为建模说明(model transparency)、模型预测能力和资源需求构建一系列的权衡。

3、在行政机关工作人员会议上提出一个关于解雇排名靠后的人的企业重整建议。

4、访问34个对你的项目有敌视态度的不同部门，梳理出他们一直不愿意提供的元数据资料。

5、构建、测试和部署一个APP，可以提供实时的SLAs，同时可以有效地跨越1000多节点集群。

6、在没有他人帮助的情况下，解决一个至少有200字节长的会出现间歇性错误的代码问题。

7、利用集成方法，提升你正在做一个预测模型的效果。

8、在最后期限日之前，和来自34个和你工作毫不相关的领域的人们一起完成编程项目。

如果你不喜欢上面任何一项工作，那么我建议你不要把“数据科学家”当成你的职业。

数据科学家这个“性感”的角色是大约在2012年由DJ Patil, Hilary Mason等人提出的，然而不是每个人都能分到这个40亿美元产业的一杯羹。

2012年的状况和现在已经有很大的区别，现在在数据科学领域工作意味着：

1、在待开发的领域里有一些创新的机会，但不是经常会有。

2、大多数现有的项目是有风险的。

3、必须对一些权威提出挑战（这不好玩，但是是这个角色的精髓）。

DJ和其他人之前所做的，大多数同数据相关的问题是社会或者组织（例如，数据孤岛，缺乏元数据，矩阵组织内讧等）或者是组织里对这个问题已经有了明确的回答。

我有一种预感，在电子商务领域已经有很多有趣的工作出现，优秀的人们将继续保持极高的价值，但是工作将向硅谷外转移，或者是其他行业的人们将来这里进行学习、合作、交易等等。

例如Monsanto（一家位于美国密苏里州的巨型跨国农业生物技术公司），他们在旧金山成立了一个公司，其实他们可以投资更多的钱在拥有更有利条件的公司上，正如其他风险投资（VC）所做的。然而，该地区的风险投资人（VC）却忽略了相关数据在企业的重要作用——除了特斯拉（Khosla）。在过去的几个月中，他们已经收购了：Climate Corp, Solum等等，我期待着这种趋势的发展。

（Climate Corp 是一家意外天气保险公司，为美国的农民提供天气意外保险。Solum是一家农业领域的科技创业公司，它们的测量系统能够实现更高效、更精准的农产品抽样分析。）

从我的角度来看，数据最大的问题还没有出现，它应该解决真正的问题，例如食品供应，干旱/洪水，能源安全，医疗保健，电信，交通运输减少对石油的依赖，更智能的生产，森林砍伐监测，海洋分析等等。

此外，IT预算仍然限制了数据的洞察力。太多的预算流向了“数据工程“人员，太多的预算往往被指定用于已经清理的数据。另外，我发现，在SV中“产品管理”的概念同有效利用数据的概念是对立的，在许多情况下，产品管理会阻碍公司数据的使用。

因此，我们的价值一般会体现在以下几个方面：

1、编写代码来准备数据。

2、用自动化流程来提高工程的性能和模型比赛。

3、对权威用数据进行挑战。

数据科学家必备素质

对于新人来说，首先要关注你的公司。如果一家公司声称他们有“出色的工程技术”但是在现在还没有使用数据的意识，那它就没有现代工作中这个最锐利的工具，你需要挑选已经开始有数据战略的公司。其次，找一个导师。加入一个有来自财务或运营支持的团队（通常理解数据和方差），同时避免可能从工程或营销获得支持的团队。（通常不理解，不能有效利用数据）

以下是一些建议，包括但是不局限这些：

1、学习不断发展的PY数据技术：IPython, Pandas, scikit-learn等等。

2、学习如何领导一个跨学科的团队。

3、在数据/分析/编程之外的领域也要拥有一些经验。

4、在设计上有优秀的功底，并应用到数据可视化。

5、尽你所能成为一个更好的作家和演说家。

6、参加聚会，发表博客，演示等（招聘经理经常忽略简历而在网络上搜索内容）

7、在抽象代数、贝叶斯统计、线性代数、凸优化理论方面有好的基础。

8、学习数据流的算法和框架。

9、学习有类型安全机制的Scalding和函数式编程。

10、避免商业智能。

11、避免任何称为“Hadoop的生态系统”或“Hadoop就是操作系统”的东西。

PacoNathan是在大数据领域专家，拥有10年以上带领创新团队进行数据大规模应用的经验。是分布式系统、机器学习和企业数据的工作流程方面的专家。Paco同时是O’Reilly的作家和几家公司的顾问（包括The Data Guild, Mesosphere, Marinexplore, Agromeda, 和 TagThisCar）。Paco获得斯坦福大学BS数学科学与MS的计算机科学学位，并拥有25年以上的技术行业经验。

http://www.techxue.com/techxue-14057-1.html