最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501
当前位置: 首页 - 科技 - 知识百科 - 正文

自定义Hive权限控制(1)设计目标

来源:懂视网 责编:小采 时间:2020-11-09 13:20:57
文档

自定义Hive权限控制(1)设计目标

自定义Hive权限控制(1)设计目标:由于公司各个部门对 hive 的使用增加,针对 hive 的 权限控制 是必须要开展的一项工作了。针对此事项,最近进行了 hive 源码的查看,并完成了初步的设计和实现基本满足了当前 权限控制 的目标。 目标 1.采用公共模块或者公共配置文件去做用户权限管理。2.每
推荐度:
导读自定义Hive权限控制(1)设计目标:由于公司各个部门对 hive 的使用增加,针对 hive 的 权限控制 是必须要开展的一项工作了。针对此事项,最近进行了 hive 源码的查看,并完成了初步的设计和实现基本满足了当前 权限控制 的目标。 目标 1.采用公共模块或者公共配置文件去做用户权限管理。2.每

由于公司各个部门对 hive 的使用增加,针对 hive 的 权限控制 是必须要开展的一项工作了。针对此事项,最近进行了 hive 源码的查看,并完成了初步的设计和实现基本满足了当前 权限控制 的目标。 目标 1.采用公共模块或者公共配置文件去做用户权限管理。2.每

由于公司各个部门对hive的使用增加,针对hive的权限控制是必须要开展的一项工作了。针对此事项,最近进行了hive源码的查看,并完成了初步的设计和实现基本满足了当前权限控制的目标。

目标

1.采用公共模块或者公共配置文件去做用户权限管理。2.每个部门使用不同的账号进行查询Hadoop集群数据。3.所有查询Hadoop集群数据的用户账号都需要经过权限管理模块验证,无权限的操作应该给予提示信息。4.根据各部门的职责限定该部门的人员使用的账号只能查询归属于该部门的数据。5.对于敏感信息应该只有特殊账号才可以进行查询。6.对于每次操作需要记录操作日志(时间,用户名,操作表),日志需要定时备份。

针对以上目标,形成如下任务

1.针对hiveserver增加权限控制功能。2.针对hivelib增加用户权限配置模块。3.针对hiveclient增加用户配置功能。4.扩展hive配置文件,增加4个保留配置。5.提供权限控制的web项目,用于权限配置。

控制内容

1.使用者同一个任务最大使用分区数量。用于控制map任务数量。2.使用者同一个任务最大reduce任务数量。3.使用者可使用的DB。4.使用者可使用的表。(如果该表所对应的db已经配置给该用户,则无需再单独进行配置)。5.使用者不允许访问的特殊列。6.使用者在使用某张表的时候必须使用的列。(暂时没有使用场景)7.针对用户的频道进行分区限制。

本次修改涉及范围

1.hiveserver修改hive-exec-0.8.1.jar,hive-common-0.8.1.jar,主要用于增加权限控制,和增加配置项2.hivelib(公司内部使用的python类库,通过thrift访问hive,抽取数据)修改hiveclient.py,同时增加conf配置。3.修改hiveclient针对conf/hive-site.xml增加配置项。4.利用django完成web权限分配项目。(开发快速)

下一章,将具体介绍如何完成以上步骤。

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

文档

自定义Hive权限控制(1)设计目标

自定义Hive权限控制(1)设计目标:由于公司各个部门对 hive 的使用增加,针对 hive 的 权限控制 是必须要开展的一项工作了。针对此事项,最近进行了 hive 源码的查看,并完成了初步的设计和实现基本满足了当前 权限控制 的目标。 目标 1.采用公共模块或者公共配置文件去做用户权限管理。2.每
推荐度:
标签: 控制 目标 设计
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top