Flume读取kafka写入hdfs(kerberos环境)出现no rules applied to

宇神丶

已于 2022-10-23 17:48:42 修改

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

文章标签： kafka flume hdfs

于 2022-10-23 16:59:12 首次发布

本文链接：https://blog.csdn.net/wqy55621594/article/details/127477056

博客讲述了在使用Flume从Kafka读取数据时遇到的Kerberos认证错误'Norulesappliedto'。经过排查，问题出在defaultRealm与realm不匹配。解决方法是检查并修改krb5.conf配置文件中的default_realm，确保它与实际的realm一致，从而成功解决认证问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用flume读取kafka时出现no rules applied to

排查思路,根据报错可以得知是kerberos认证规则出现了问题,于是在当前节点安装了kerberos客户端,使用kinit进行认证发现没有问题.
下一步排查flume配置的krb5.conf文件查看domain_realm映射的realms是否有问题,发现也正常.

大数据Kerberos认证报No rules applied to

后来查一下相关资料,发现大佬看了kerberos源码,跟着看下来发现问题出现在这里,遍历了所有rules后，都未能返回一个不为null的result

public String getShortName() throws IOException {
    String[] params;
    if (hostName == null) {
        // if it is already simple, just return it
        if (realm == null) {
            return serviceName;
        }
        params = new String[]{realm, serviceName};
    } else {
        params = new String[]{realm, serviceName, hostName};
    }
    for (Rule r : rules) {
        String result = r.apply(params);
        if (result != null) {
            return result;
        }
    }
    LOG.info("No auth_to_local rules applied to {}", this);
    return toString();
}

这个位置params = new String[]{realm, serviceName, hostName}
接下来查看遍历rules时做了什么
通过上面得知result都是null,猜测defaultRealm与realm不一致

Rule() {
    isDefault = true;
}

String apply(String[] params) throws IOException {
    String result = null;
    if (isDefault) {
    //如果defaultRealm等于realm,result=serviceName
        if (defaultRealm.equals(params[0])) {
            result = params[1];
        }
    } else if (params.length - 1 == numOfComponents) {
        String base = replaceParameters(format, params);
        if (match == null || match.matcher(base).matches()) {
            if (fromPattern == null) {
                result = base;
            } else {
                result = replaceSubstitution(base, fromPattern, toPattern, repeat);
            }
        }
    }
    if (result != null && nonSimplePattern.matcher(result).find()) {
        LOG.info("Non-simple name {} after auth_to_local rule {}",
                result, this);
    }
    if (toLowerCase && result != null) {
        result = result.toLowerCase(Locale.ENGLISH);
    }
    return result;
}