【ranger】CDP环境更新 ranger 权限策略会发生低概率丢失权限策略的解决方法

最新推荐文章于 2024-12-31 15:46:51 发布

kiraraLou

最新推荐文章于 2024-12-31 15:46:51 发布

阅读量1.4k

点赞数 8

CC 4.0 BY-SA版权

分类专栏：问题解决 ldap+kerberos 文章标签： ranger kafka

本文链接：https://blog.csdn.net/Mrerlou/article/details/135065630

问题解决同时被 2 个专栏收录

26 篇文章

订阅专栏

ldap+kerberos

9 篇文章

订阅专栏

文章讨论了在更新Ranger权限时，Kafka服务偶尔出现NotAuthorized错误的原因，即Ranger处理deltaupdate可能导致权限丢失。解决方法包括关闭增量更新、修改ranger-admin-site.xml和rangeradminJVM内存，并提供获取RangerPolicyHTTP请求和监控性能的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、问题描述：

我们的 kafka 服务在更新（添加） ranger 权限时，会有极低的概率导致 MM2 同步服务报错，报错内容 Not Authorized。但是查看 ranger 权限是赋予的，并且很早配置的权限策略也会报错。

二、问题原因:

当高频更新 Ranger 策略时，Ranger plugin 处理 delta update 的时候有一定几率触发丢失 Kafka 权限策略的问题，导致个别权限没有被正确加载。

即：我们在 ranger WEB UI 中看到我们的策略确实是已经配置，但是实际上落实到各个服务的策略缓存时发生了丢失。

默认的缓存策略存放位置是在 /var/lib/ranger/ 目录下，这里我以 kafka 为例，kafka 的 ranger 缓存策略在：

ls /var/lib/ranger/kafka/policy-cache/
kafka_cm_kafka.json kafka_cm_kafka_roles.json kafka_cm_kafka_tag.json

其中的 kafka_cm_kafka.json 就是存放我们实际的缓存策略的文件。

三、解决方案:

关闭 Ranger 组件的增量更新，确认可以规避由此 bug 导致的权限丢失问题

四、操作步骤：

1.更改策略更新配置 (改为全量更新)

1.集群 -> Ranger -> 配置 -> 搜索conf/ranger-admin-site.xml_role safety_valve
-> 点击 “以 XML 格式查看”，插入如下内容:

<property><name>ranger.admin.supports,policy.deltas</name><value>false</value></property>
<property><name>ranger.admin.supports.tag.deltas</name><value>false</value></property>

在这里插入图片描述
2.修改 ranger admin JVM 内存
CM -> 集群 -> Ranger-> 配置 -> 搜索 ranger admin max heap_size
-> 修改配置 8G

在这里插入图片描述
3. 重启 ranger admin 和 mm2 服务。

四、如何获取 Ranger Policy HTTP 请求

CM ->ranger-> 配置 -> 日志 -> INFO改为 DEBUG
在这里插入图片描述

查看日志：
在这里插入图片描述

http 请求如下:

http://mn.test.com:6080/service/plugins/secure/policies/download/cm kafka?supportsPolicyDeltas=true&pluginld=kafka@kafka-03.test.com-cm_kafka&clusterName=Bigdata

查看返回结果:

curl -o rangerdata -u "admin:P@sswOrd2021" "1.5.4.5:6080/service/plugins/secure/policies/download/cm_kafka?supportsPolicyDeltas=true&pluginld=kafka@kafka-03.test.com/cm kafka&clusterName=Bigdata"

## 查看大小
du -sh rangerdata