基于HadoopSLA认证机制实现权限控制

Hadoop集群上存储数据，同时基于MapReduce计算框架可以实现计算任务，那么无论是从数据保护的角度，还是从提交计算任务占用资源的角度来看，都需要存在一种权限管理与分配机制，能够很好地限制哪些人可以在HDFS上存储数据，哪些人可以利用集群的资源来处理特

Hadoop集群上存储数据，同时基于MapReduce计算框架可以实现计算任务，那么无论是从数据保护的角度，还是从提交计算任务占用资源的角度来看，都需要存在一种权限管理与分配机制，能够很好地限制哪些人可以在HDFS上存储数据，哪些人可以利用集群的资源来处理特定的计算任务。当然，如果能够非常完美地解决这些问题是最好的。当前Hadoop本身提供的权限管理功能还不能满足普遍的需要，或者我们从Hadoop已有的一些简单或复杂的认证机制选择适合自己所在组织机构需要的，或者我们在外围开发一些权限管理系统与Hadoop整合作为补充。
对比Kerberos认证（Authentication）配置方式与SLA授权（Service Level Authorization）方式，Kerberos配置相当复杂，而且还要依赖于外部的密钥分发中心KDC（Key Distribution Center）服务器，如果KDC出现问题，那么就会导致依赖于KDC认证的整个Hadoop集群无法使用，鉴于此，对于一些相对小的开发团队来说还是更倾向于粗粒度的Hadoop SLA授权机制。
Hadoop SLA基于Hadoop的各种服务（基于协议来划分）与Linux系统的用户、用户组来实现。Hadoop通过制定接口协议的方式来实现节点之间服务调用的逻辑，这样每一个协议所指定的一组服务就是一个认证单元，再基于底层Linux系统的用户和用户组来限制用户（可能是节点服务）有权限执行某一种协议所包含的操作集合，下面我们看一下Hadoop中的各种协议：

上表中是基于SLA划分的不同服务级别，要想使SLA认证生效，首相需要在Hadoop配置文件/etc/hadoop/core-site.xml中增加如下配置内容：

 
 hadoop.security.authorization
 true
 

该配置属性hadoop.security.authorization默认是false，如果集群已经运行，修改了该配置需要重新启动Hadoop集群。然后需要进行SLA认证的详细配置，修改配置文件/etc/hadoop/hadoop-policy.xml，该配置文件中的配置项与对应的SLA协议之间的对应关系如下表所示：

配置SLA权限，实际上是增加ACL（配置用户或用户组）基本格式要求如下：

下面,我们给定如下的需求：

通过进行配置实践，来满足上述要求。修改配置文件/etc/hadoop/hadoop-policy.xml中的部分配置项，具体修改的内容如下所示：

 
 security.client.protocol.acl
 stater,storm g_super_adm,g_dfs_client
 ACL for ClientProtocol, which is used by user code
 via the DistributedFileSystem.
 The ACL is a comma-separated list of user and group names. The user and
 group list is separated by a blank. For e.g. "alice,bob users,wheel".
 A special value of "*" means all users are allowed.
 
 
 
 security.refresh.policy.protocol.acl
 hadoop
 ACL for RefreshAuthorizationPolicyProtocol, used by the
 dfsadmin and mradmin commands to refresh the security policy in-effect.
 The ACL is a comma-separated list of user and group names. The user and
 group list is separated by a blank. For e.g. "alice,bob users,wheel".
 A special value of "*" means all users are allowed.
 
 
 
 security.job.client.protocol.acl
 stater g_super_adm,g_mr_client
 ACL for MRClientProtocol, used by job clients to
 communciate with the MR ApplicationMaster to query job status etc.
 The ACL is a comma-separated list of user and group names. The user and
 group list is separated by a blank. For e.g. "alice,bob users,wheel".
 A special value of "*" means all users are allowed.
 
 

其他的配置属性值保持默认值不变即可。为了保证整个Hadoop集群配置相同，需要将修改的配置文件同步到整个集群的所有节点上。
然后，为了使上述配置内容生效，需要执行如下命令：

hdfs dfsadmin -refreshServiceAcl
yarn rmadmin -refreshServiceAcl

修改SLA认证配置，不需要重启服务，根据修改内容执行上述命令就可以生效。
后面参考链接中，有些关于Hadoop SLA的文档内容貌似没有随着Hadoop版本升级而更新，与实际Hadoop发行版本中配置文件的内容有一定差别，可以参考，具体以实际版本的情况为准。

参考链接

本文出自：http://shiyanjun.cn, 原文地址：http://shiyanjun.cn/archives/994.html, 感谢原作者分享。

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。TEL:177 7030 7066 E-MAIL:11247931@qq.com