Apache Ranger:Hadoop生态圈的安全管家

区块链资讯区块网2017-12-05 21:58:12  阅读 -评论 0  阅读原文

Apache Ranger:Hadoop生态圈的安全管家

文 | 谢海红

Apache Ranger是一个支持、监控和管理整个Hadoop集群数据安全的框架,它的愿景是在Apache Hadoop生态系统中提供全面的安全性。随着Apache YARN的出现,Hadoop平台现在可以支持一个真正的数据湖体系结构。企业可以在多租户环境中运行多个工作负载,因此, Hadoop中的数据安全性需要发展。

Apache Ranger总体架构

Ranger的总体架构如下图所示,主要由三个部分构成:

AdminServer:提供REST接口来对服务、策略、用户信息等进行增删改查,同时内置了一个Web界面进行管理。

AgentPlugin:嵌入到各个Hadoop组件中,定期从AdminServer拉取策略,根据策略执行访问决策树,并且定期记录访问审计。

UserSync:定期从LDAP/File等中加载用户,上报给AdminServer,实现用户同步功能。

Apache Ranger:Hadoop生态圈的安全管家

Apache Ranger支持组件及版本

Ranger支持的服务有HDFS、HBase、Hive、YARM、Strom、Kafka、Knox、Solr、Nifi等,但要注意各个组件的版本,官网提供的版本如下: Apache Ranger:Hadoop生态圈的安全管家

Apache Ranger权限模型

访问权限即定义”用户-资源-权限“这三者间的关系,Ranger基于策略来抽象这种关系,进而延伸出自己的权限模型。为了便于理解,我简化了模型,用以下表达式来描述它:

Policy = Service + List<Resource>+ AllowACL + DenyACL

AllowACL =List<AccessItem> allow + List<AccssItem> allowException

DenyACL =List<AccessItem> deny + List<AccssItem> denyException

AccessItem =List<User/Group> + List<AccessType>

接下来从”用户-资源-权限”的角度来详解上述表达:

用户:由User或Group来表达;User代表访问资源的用户,Group代表用户所属的用户组。

资源:由(Service,Policy)二元组来表达;一条Policy唯一对应一个Service,但一个Service可以创建对应多个Policy。

权限:由(AllowACL,DenyACL)二元组来表达,用户在AllowACL中表示允许执行,而DenyACL中表示拒绝执行。

下表列出了几种常见系统的模型实体枚举值: 

Apache Ranger:Hadoop生态圈的安全管家

举个例子,现在一条Policy有(allow,allowException, deny, denyException)这么四组AccessItem,那么判断用户最终权限的决策过程是怎样的?

总体来说,这四组AccessItem的作用优先级由高到低依次是:

denyException > deny > allowException > allow

用户访问决策树可以用以下流程图来描述:


Apache Ranger系统插件

前文已经提到,系统插件主要负责三件事:

定期从AdminServer拉取策略

根据策略执行访问决策树

定期记录访问审计

以上执行逻辑是通用的,可由所有系统插件引用,因此剩下的问题是如何把这些逻辑嵌入到各个系统的访问决策流程中去。目前Ranger里有两种做法:

实现可扩展接口:多数的系统在实现时都有考虑功能扩展性的问题,一般会为核心的模块暴露出可扩展的接口,访问控制模块也不例外。Ranger通过实现访问控制接口,将自己的逻辑嵌入各个系统。

代码注入:不排除有少数系统没有将访问控制模块暴露出扩展点,这个时候Ranger依赖Java代码注入机制(java.lang.instrument)来实现逻辑嵌入。以HDFS插件为例,Ranger利用ClassFileTransformer,直接修改HDFS访问控制类FSPermissionChecker的ClassFile,将checkPermission方法替换成Ranger的自定义实现。

总结

随着Hadoop生态圈进军企业级市场,数据安全逐渐成为关注焦点。Ranger作为标准化的访问控制层,引入统一的权限模型与管理界面,极大地简化了数据权限的管理。目前,Ranger已正式成为Apache顶级开源项目,在功能性与稳定性上也越来越完善,以便其能覆盖更多的系统,一统江湖成为标准。

声明:链世界登载此文仅出于分享区块链知识,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。此文如侵犯到您的合法权益,请联系我们kefu@lianshijie.com

参与讨论 (0 人参与讨论)

相关推荐

Grin 钱包 Grin++安全审计结果发布,已修复审计中发现大部分问题

律动 BlockBeats 消息,软件开发和智能合约审计公司 SmartDec 发布了对古灵币钱包 Grin++的安全审计结果。SmartDec 表示考虑 Grin++项目的安全性,其任务是发现并描述平台代码库中的安全问题。

​新生态、新未来—全球数字经济智能科技高峰论坛圆满落幕!

​新生态、新未来—全球数字经济智能科技高峰论坛圆满落幕!

目前,全球主要国家都在加快布局区块链技术发展。我国在区块链领域拥有良好基础,要加快推动区块链技术和产业创新发展,积极推进区块链和经济社会融合发展。为了实现企业区块链产业赋能,规范我国企业区块链产业建设,促进我国经济区块链生态可持续发展,由中国民营科技实业家协会区块链技术应用专业委员会协同火币中国联合主办的全球数字经济智能科技高峰论坛大会在今日(5月8日)通过线上直播的形式正式圆满落幕。本次全球数字

以色列安全初创公司 Hub Security 筹集500万美元a轮融资,安盛投资 (AXA Ventures) 领投

律动 BlockBeats 消息,总部位于特拉维夫的初创公司 Hub Security 开发了一个用于加密操作的软件和硬件平台。该公司 5 月 7 日宣布,已经获得了由安盛投资 牵头的 500 万美元 a 轮融资。众筹平台 OurCrowd 也参与了此次融资。

世链财经对话SWFT| 独家揭秘闪兑在未来区块链支付生态中的地

世链财经对话SWFT| 独家揭秘闪兑在未来区块链支付生态中的地

近年来我国区块链行业发展迅速,市场规模由2016年的1亿元增加至2019年的12亿元,提供相关服务的企业数量达到1006家,区块链研究机构数量已达97家,参与的高校已有24所,研究成果显著,专利申请数量占全球六成。2020年我国区块链政策将持续利好、标准规范更加完善、产业规模持续增长、技术持续创新发展、重点领域应用示范效应加速显现。 众所周知,目前区块链已是我国战略发展的重中之重,随着时间的推移,

用加密货币替代广告收入,区块链初创企业BlockBastards推出游戏验证生态系统Qudo

区块链开发团队 BlockBastards 希望通过一种新的去中心化的游戏验证生态系统 Qudo 来改变这一现状。这个数量会有所不同,但目前是 150 QUDO。每十分钟网络就会产生 1000 QUDO 的区块奖励。

亦来新生态 GreenPass助力复工复产

亦来新生态 GreenPass助力复工复产

自新冠肺炎爆发至现在,已经逐渐度过了最恐慌无序的阶段,在疫情取得阶段性成效之际,另外一个战场的伤害却开始越来越明显地暴露出来,那就是经济领域。由于疫情带来大规模人员隔离、物流阻断等等,很多行业陷入减速甚至停摆的困境。如果迟迟无法恢复正常的生产状态,疫情对经济的冲击,将很快从旅游、餐饮等个别行业向整体蔓延。到时候,无论是国家、企业还是个人,都将感受到经济减速带来的痛苦。要避免疫情在更大范围内扩散,甚

Matic Dapp周第二回丨欢迎0xUniverse加入Matic生态拉开Dapp周帷幕!

Matic Dapp周第二回丨欢迎0xUniverse加入Matic生态拉开Dapp周帷幕!

0xUniverse是0xGames推出的开放经济太空主题游戏。他们选择加入Matic Network,利用我们的高性能交易基础架构,为不断增长的用户群提供出色的游戏体验。整合Matic之后,0xUniverse将发布一个新的银河系和一组新的具有传奇色彩的行星!在此处阅读有关我们合作的更多信息:https://buff.ly/2yoJgO4为庆祝整合,我们与0xUniverse携手提供独家奖励。1

Hotstuff协议如何不安全?

可靠领导者的重要性HotStuff BFT协议的漏洞特别强调了消息传播的重要性,因为它缺乏一个明确的决策消息传播过程。HotStuff BFT协议规定“在实践中,落后的接收者可以通过从其他副本中提取丢失的节点来赶上。”

麦妖榜
更新日期 2019-09-03
排名用户贡献值
1牛市来了30910
2BitettFan24187
3等待的宿命23810
4区块大康20369
5六叶树20310
6linjm122719429
7天下无双16192
8lizhen00215280
9让时间淡忘14586
10yelanyi050511349
返回顶部 ↑