大数据培训_hadoop YARN的资源管理之静态资源
资源概述
大数据平台的资源分为计算资源和存储资源。多租户可实现资源的隔离：
计算资源包括CPU和内存。租户之间不可以相互占用计算资源，私有计算资源独立。
存储资源
存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据，私有存储资源独立。
计算资源
计算资源可分为静态服务资源和动态资源：
静态服务资源
静态服务资源是集群分配给各个服务的计算资源，每个服务的计算资源总量固定，不与其他服务共享，是静态的。这些服务包括FTP-Server、Flume、HBase、HDFS、Solr和Yarn。
动态资源
动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。MapReduce、Spark和Hive的任务队列由Yarn来动态调度资源。
静态服务资源
简介
集群分配给各个服务的资源是静态服务资源，这些服务包括FTP-Server、Flume、HBase、HDFS、Solr和Yarn。每个服务的计算资源总量固定，不与其他服务共享，是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。
静态服务池
静态服务池用来指定服务资源的配置。
在服务级别上，静态服务池对各服务可使用的资源进行统一管理：
n限制服务使用的资源总量，支持配置FTP-Server、Flume、HBase、HDFS、Solr和Yarn在部署节点可使用的CPU、I/O和内存总量。
n实现服务级别的资源隔离，可将集群中的服务与其他服务隔离，使一个服务上的负载对其他服务产生的影响有限。
调度机制
FusionInsight HD静态服务资源支持基于时间的动态调度机制，可以在不同时间段为服务配置不同的资源量，优化客户业务运行环境，提高集群的效率。
在多租户环境中，多种服务共享使用集群资源，但是各服务的资源使用周期可能会有比较大的区别。例如以下业务场景，对于一个银行客户：
在白天HBase查询服务的业务多。
在晚上查询服务的业务少而Hive分析服务业务多。
如果只给每个服务设置固定的资源可能会导致：
白天查询服务的资源不够用，分析服务的资源空闲。
晚上分析服务的资源不够用，查询服务的资源空闲。
集群资源利用率不高，而且服务能力也打了折扣。因此：
白天多配置HBase服务资源。
晚上多配置Hive服务资源。
这种基于时间的动态调度机制可以更高效的利用资源、运行任务
18922156670
