项目介绍：客户在海外业务快速稳固增长，用户不断激增，对大数据分析平台架构的灵活性、可靠性，适应业务和管理发展的能力方面提出了更高的要求。目前原有自建Hadoop集群基本满负荷承载支撑业务系统。整体运营成本逐年递增态势；日常运维管理维护过程中依赖手工，耗时费力效率低，无法敏捷式实现项目交付，而对于公司项目的实施周期产生很大的影响，从而影响用户体验。所以考虑将集群迁移上云，最终由唯一网络协助客户完成该方案的设计以及配合迁移部署工作。

痛点

• 任务在不同程度需要实现扩缩耗时严重，沟通复杂，成本高
• 线下购买服务器、维护服务器成本过高。
• 存储节点不能实时扩容
• 运维成本比较高（人工以及服务器维护）

为什么选择唯一网络

客户希望选择一家中国的云服务合作伙伴帮助顺利迁移至AWS全球区中，希望合作伙伴不仅同时具备AWS的迁移实施经验，还需具有EMR的运维能力。希望合作伙伴能够帮助客户更好地适应并优化应用系统内架构。在实施过程中，根据AWS全球的特点，同时尽量考虑到多可用区和AWS托管的PAAS产品以及做架构的相应调整。

1. 唯一网络作为AWS中国/海外的高级咨询合作伙伴，已成功帮助上百家客户成功上云，客户遍布互联网行业、金融行业、教育行业、工业制造业、零售业、新兴服务业等行业。

2. 唯一网络的AWS技术工程师，拥有AWS的架构师、运维等多个领域初级及高级认证和丰富的实战经验，帮助客户更快更稳的实施到AWS；

3. 唯一网络同时拥有专业的7X24运维团队，不仅具备AWS的运维能力，同时具有EMR成功运维经验。在协助客户将业务系统迁移到AWS后，继续提供后续的运维服务。

为客户在AWS实施设计中，AWS云架构设计包含许多应用服务与各种用例的设计模式和体系结构选型。AWS的一些关键设计原则包括可扩展性，可利用资源，自动化，松耦合管理服务，以及灵活的数据存储选型等。

解决方案

围绕客户的痛点和需求，唯一网络经过和客户的初次沟通，选择了以下产品来设计本次解决方案架构。通过使用EMR搭建大数据分析平台，不仅可以解决在存储方面的扩缩限制问题同时也可以通过云上 AutoSclaing 服务通过设置监控指标阈值来完成实例的自动扩缩，可以保证数据量达到处理高峰时保证任务的正常运行。处理结果最终汇入S3可以通过设置生命周期来修改存储类型，实现资源充分合理使用的同时也可以在成本上得到很好的控制。使用AWS可以通过控制台/命令行通过代码的形式完成一键部署以及运维管理，大大的节省了繁琐的配置步骤，更加省时省力。

架构设计理由

1) 节省成本

使用该架构部署中涉及的计算资源可以通过购买预留实例或竞价实例来降低成本。Spot实例可以显著节省成本，在某些情况下，低至按需定价的十分之一。

2) 可扩展性和灵活度

Amazon EMR 可根据您的计算需求变化灵活扩缩集群。您可以调整集群，在工作负载高峰时增加实例，在工作负载高峰过后移除实例，从而控制成本。

Amazon EMR 还提供了运行多个实例组的选项，因此，您可以在一个组中使用按需实例来保障处理能力，同时在另一个组中使用竞价型实例来加快任务完成速度并降低成本。您还可以混合多种实例类型以充分利用某种竞价型实例类型的定价优势。

3) 可靠性

Amazon EMR 能够监控集群中的节点并自动终止和替换出现故障的实例。

Amazon EMR 提供了控制集群终止方式（自动或手动）的配置选项。如果您将集群配置为自动终止，则集群会在所有步骤完成后终止。这称作暂时性集群。不过，您可以将集群配置为在处理完成后继续运行，这样，当您不再需要它时，可以选择手动终止集群。或者，您可以创建一个集群，与所安装的应用程序直接交互，然后在不再需要时手动将其终止。这些示例中的集群称作长时间运行的集群。

此外，您还可以配置终止保护，以防止集群中的实例由于处理期间出现的错误或问题而终止。如果启用终止保护，您可以在终止前从实例恢复数据。

4) 安全性

Amazon EMR 利用其它AWS服务（如 IAM 和 Amazon VPC）和功能（如 Amazon EC2 密钥对）来帮助您保护集群和数据。

5) 监控

您可以使用 Amazon EMR 管理界面和日志文件来对集群问题进行故障排查，如故障或错误。Amazon EMR 可以在 Amazon S3 中归档日志文件，因此，您可以存储日志并对问题进行问题排查（甚至在集群终止后）。Amazon EMR 还在 Amazon EMR 控制台中提供了可选的调试工具，让您能够基于步骤、任务和任务浏览日志文件。