分布式计算能让大数据分析
更好地应对挑战

译自：【美国】http://www.cio.com.au（CIO 杂志）
编译：工业和信息化部国际经济技术合作中心 丁咚 黄婧

     大数据分析在理论上听起来不错，但实践操作却非易事。Cloudera 公司是电子垃圾回收领域的先驱，公司的产品经理 Eva Andreasson 表示，大数据分析面临技术的局限和存储成本，以及应对不同系统的挑战。

     Andreasson 在悉尼举办的 YOW! 开发者大会上说，Hadoop 下的不同工具能更好地应对各种挑战，并列举了卫生和零售业的实际案例。

     Andreasson 曾与美国一家儿童医院开展过合作，该家医院需要对其数据进行实质分析。

     该医院的监测系统不断地获得患者的呼吸系统、心脏速率、血压等数据。可惜的是，该家医院仅能将患者的关键数据储存到手术或治理后三天。

     Andreasson 说，“在医院的重症监护病房里，有很多婴儿及患者不知道该如何沟通，医生只能通过监测系统获得所有信息。试想，如果你是医院里一名无法沟通的患者，在手术后治疗出现了不适反应，该怎么办？”

     医院的另一个问题是，研究数据存储在不同的系统当中，难以在短时间内有效整合，这往往导致临床医师要获得特定信息需等待很长时间。

     Andreasson 还强调：“医生们明白儿童急诊的最常见原因是哮喘。他们也做过大量不同渠道的研究，也拥有 20 年的其他外部研究数据。但是他们没有一套系统能够为研究小组有效汇集数据，数据总是存储在不同的系统内。”

     医院应用 Hadoop 平台可应对这些挑战，而且能节省部分开支。Andreasson说，从硬件建设到软件安装，Hadoop 平台只需医院用不到三个处理器来运行原来的传统数据管理系统。

     医院每周大约可处理 50GB 的监测数据，并有 2TB 的容量接受所有研究数据的同时访问。而 Apache Sqoop 系统可用于在相关数据库和 Hadoop 之间进行数据转换。

     Solr 是一款全文搜索的开源系统。工作人员正在使用 Solr 进一步探索它的各种数据集和文件。而 Impala 作为一款查询工具，用来做实时监测数据分析和研究病人的健康状况发展趋势。

     Andreasson 说，“几星期内，研究人员就能改变流程，让患者的看护时间更长。他们发现，护士与患者接触的时间多几个小时，患者就能恢复得更好。安装完这一系统几个月内，医院就能减少与哮喘相关疾病的数量。”

     Andreasson 还提到另外一个在线零售商的案例，和儿童医院类似，该零售商以前只能存储客户交易六个月以来的有限数据量。

     “如果存储时间能够达到一年、两年乃至五年，就能显示哪类客户在一段时间内减少购买或停止购买其产品。”Andreasson 补充说，“Hadoop 就能做到这一点，它能提供半年、一年乃至五年的数据，因为它是一个线性的可扩展平台。”

     该零售商还记录着点击该网站的每个访问者记录，访问者点击网站上特定板块的时间，并加强了多类型数据集之间的相关性。

     通过使用 Flume，每个日志事件在生成之时就会被消耗掉，并发布到 Hadoop分布式计算文件系统。然后系统会创建表格比较点击率最高的产品和最畅销的产品。

     “在上述案例中，有一项产品不在‘最畅销产品’之列，但数据显示用户经常点击这个产品。这意味着什么？你可以通过添加有助商业开发的数据集，获得新的见解。”

     “我们看到，小孩踢的足球大受欢迎，但它并没有在我们的购物清单上。那我们要做些什么来获得更多的收入呢？也许这个产品定价出了问题，在购物者看到价格信息后没有购买就离开网页了，当然也可能有其他原因。”