人才缺乏可怕吗？这挡不住计算分析行业

（原标题：人才缺乏可怕吗？这挡不住计算分析行业）

在高级计算分析领域，比如云计算和Hadoop的相关公司，当被问及阻碍公司发展的因素时，往往有一个不得不提的问题，那就是人才缺乏。在每一个部门，这件事都是很容易出现的。当企业转型为数据驱动型时，人才的缺乏往往会成为其最大的限制。

人才缺乏可怕吗？

　　缺人缺到怕的新兴行业

这种现象十分常见，但不同领域受灾情况不同。而相比之下，在计算机集群之中采用简单的编程模型处理大数据集的Hadoop分布式框架可谓其中的重灾区，其人才缺乏程度往往让企业开始对整个领域的前景表示怀疑。

而根据业内人士透露，全球用户最多、实力最强的云服务供应商亚马逊云服务AWS便深受这一问题的困扰，人才缺乏已经影响了AWS在该领域的进一步发展以及用户的增加。

由于这一领域存在一定的技术难度，专业知识的缺乏也已经成为阻碍企业借助现有基础知识完成高级分析的主要因素。从移动设备、传感器等产生的大量的数据让采用了定制架构的Hadoop和云压力倍增。

有数据，有工具，缺人才

但是这些数据对于企业而言是十分重要的，企业需要利用这些数据尽可能高效的解决业务问题，比如根据客户流失情况提供更为合适的报价等。而先进的算法和分析能够让企业找到更新的看法并且预测未来的结果，但是这些的前提都是企业有人掌握了数据科学的技能。

可是，相应人才的缺乏是相对的，在过去的很多年里我们一直都在提醒这一点的存在，那么这一情况改变了吗？去年的一项调查揭示，有57%的被访问者认为，Hadoop的主要障碍仍然是具备专业技能的人才缺乏。

　　试试技术的改进吧

解决人才缺乏是一个急不得的问题，因为人才的培养周期是固定的，揠苗助长只能得到并不成熟的人才。但是这一问题却是迫在眉睫不得不解决的问题，那么应该怎么办？简化工具，提高技术也是一种解决之道。

近年来，提取处理存储在Hadoop中海量数据的工具得到了更多人的关注。从早期的MapReduce和Hive；到新的Hadoop存储工具，如Presto；再到最近崛起的ApacheSpark，数据处理工具的更新迭代正在让其变得逐渐趋向于简单化。

而且，现在的数据公司也在以此进行更进一步的研发，予以企业更多灵活性，无论他们采用了怎样的技术，让企业能够在数据产生的见解中获得自己所需的信息，得到关键解决方案，借此提升企业业务。

在Hadoop中，通过执行分析本地内部集群、完全集成的YARN和YARN资源管理器等得出数据结果，而这些投入和使用也是企业为Hadoop提供了这么多基础设施后实现其价值的重要一步。

工具都在，结果却不同

AWS做过一个实验，他们只给企业提供一个分析环境和先进的分析技术，然后给企业一定的资本和时间让企业自己进行分析。结果，企业得到了很多个结果，他们在数据之中所获取的回报也不尽相同。

在本质意义是来讲，工具是连接了数据分析师和大数据的存在。而事实上，大多数的开源软件中，先进的分析软件包在设计时并没有考虑到业务分析师。他们所访问的数据超出了简单的商业智能和报表使用的范围，让他们的工作变的更难。

敏捷性与易用性

目前有很多的工具已经适用于Hadoop，但是他们并不是专门设计用来在Hadoop中运行的，而是优胜劣汰中生存下来的软件。这些工具往往需要将数据提取到另一个专用的平台中，使得分析工作规模变大，难度上升。

这一问题的解决需要新的方法更为简化，分析更先进，能够很好的适应于Hadoop环境中运行，让分析师在扩展SQL指令中进行更有价值的任务，获得更精准的分析结果和信息。

敏捷易用的工具，可暂缓人才难

例如，他们可以进行路径分析，了解客户的动态、转换，或者进行图形分析，进一步揭示对用户的影响因素。而机器学习可通过传感器数据来预测未来情况，投资的成败。事实上，在很多先进的分析工具帮助下，Hadoop数据直接进行分析也并非遥不可及。

以AWS为例，他们为用户提供了快速配置解析沙箱给企业，提供预编译的SQL分析加和随时代发展的模型，帮助企业提供分析结果。只要分析师需要，他们可以采用多个流派分析方法获得大量数据的分析结果，获得了巨大的敏捷性。

另一方面，由于数据存储在Hadoop和云中，这些新的功能为企业提供了一个在移动端提高企业业务的方法。而没有新的硬件、设置和基础设施的增加，企业的成本并不会有更高的提升，业务却可以得到大幅上涨。

因此，我们不难看出，人才缺乏诚然会对企业的发展有一定影响，但是工具和技术的进步也是解决这一问题的关键。在这个发展的时代，没有什么问题是会被一条路堵死的。