0554-6.1.0-同一java进程中同时访问认证和非认证集群的问题（续）

最新推荐文章于 2024-07-15 03:23:21 发布
最新推荐文章于 2024-07-15 03:23:21 发布
阅读量1.6k 收藏 5
点赞数 4
分类专栏： Hadoop实操
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hadoop_SC/article/details/103329422
版权

1 文档编写目的

Fayson在前面的文章《0553-6.1.0-如何使用Java代码同时访问安全和非安全CDH集群》，本篇文章介绍在同一Java进程中，通过多线程同时访问Kerberos认证集群和非认证集群时出现的一些异常及解决方法。

  • 测试环境：CDH6.1.0

2 集群准备

1.非认证集群，在该集群中根目录下创建了一个NONEKRBCDH目录用以标识

2.认证集群，在该集群中根目录下创建了一个KRBCDH目录用以标识

3 环境准备

本次测试是将代码直接放在linux系统上运行，所以将两套集群的配置文件分别放在两个不同的目录下：

1.认证集群的配置信息包括krb5.conf和keytab文件放在/root/krbconf下

2.非认证集群的配置信息放在/root/conf下

4 工具类

1.初始化配置文件工具类

package com.cloudera.hdfs.utils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
public class HDFSUtils {
  public static Configuration initConfiguration(String confPath) {
     Configuration configuration = new Configuration();
     System.out.println(confPath + File.separator + "core-site.xml");
     configuration.addResource(new Path(confPath + File.separator +"core-site.xml"));
     configuration.addResource(new Path(confPath + File.separator +"hdfs-site.xml"));
     return configuration;
  }
}

5 代码测试

1.如下测试是在两个线程循环访问两个集群，每个线程连接时都执行，UserGroupInformation.setConfiguration操作

package com.cloudera.hdfs;

import com.amazonaws.services.workdocs.model.User;
import com.cloudera.hdfs.utils.HDFSUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.security.UserGroupInformation;

import java.io.File;
import java.io.IOException;

public class Test {
  public static void main(String[] args) throws IOException {
     //初始化认证集群配置文件
     Configuration configuration = HDFSUtils.initConfiguration(File.separator + "root"
             + File.separator + "krbconf");
     configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
     //该线程循环访问认证集群
     new Thread(() -> {
       try {
         while (true) {
           //配置kerberos认证的配置文件
           System.setProperty("java.security.krb5.conf", File.separator + "root" +
                File.separator+ "krbconf" + File.separator + "krb5.conf");
           //进行身份认证
           UserGroupInformation.setConfiguration(configuration);
           UserGroupInformation.loginUserFromKeytab("hive@MACRO.COM", 
                File.separator + "root"+ File.separator + "krbconf" + File.separator + "hive.keytab");
           System.out.println("当前用户是：" + 
           UserGroupInformation.getCurrentUser());
           //列出根目录下所有文件
           FileSystem fileSystem = FileSystem.get(configuration);
           FileStatus[] files = fileSystem.listStatus(new Path("hdfs://nameservice1/"));
           for (FileStatus file : files) {
                System.out.println("KRB:" + file.getPath());
           }
         }
         } catch (Exception e) {
            e.printStackTrace();
            }
     }).start();


     //初始化非认证配置文件
     Configuration noAuthconfiguration = HDFSUtils.initConfiguration(File.separator + "root"
           + File.separator + "conf");
     noAuthconfiguration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

     //该线程循环访问非认证集群
     new Thread(() -> {
        try {
          while (true) {
              System.out.println("当前用户是：" + UserGroupInformation.getCurrentUser());
              UserGroupInformation.setConfiguration(noAuthconfiguration);
              //列出根目录下所有文件
              FileSystem fileSystem = FileSystem.get(noAuthconfiguration);
              FileStatus[] files = fileSystem.listStatus(new Path("hdfs://nameservice1/"));
              for (FileStatus file : files) {
                  System.out.println("NONEKRB:" + file.getPath());
              }
            }
         } catch (Exception e) {
             e.printStackTrace();
         }
        }).start();
    }
}

问题：

在访问认证集群的线程认证结束之后准备访问集群，这时访问非认证集群的线程将UserGroupInformation中的认证方式改成SIMPLE之后，导致访问认证集群的线程报错：认证方式不对

2.在上一步的基础上，将线程中认证访问集群的代码加锁

package com.cloudera.hdfs;

import com.amazonaws.services.workdocs.model.User;
import com.cloudera.hdfs.utils.HDFSUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.security.UserGroupInformation;

import java.io.File;
import java.io.IOException;

public class Test {
  public static void main(String[] args) throws IOException {
     //初始化认证集群配置文件
     Configuration configuration = HDFSUtils.initConfiguration(File.separator + "root"
             + File.separator + "krbconf");
     configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
     //该线程循环访问认证集群
     new Thread(() -> {
       try {
         while (true) {
            synchronized ("A") {
              //配置kerberos认证的配置文件
              System.setProperty("java.security.krb5.conf", File.separator + "root" +
                    File.separator+ "krbconf" + File.separator + "krb5.conf");
              //进行身份认证
              UserGroupInformation.setConfiguration(configuration);
              UserGroupInformation.loginUserFromKeytab("hive@MACRO.COM", 
                    File.separator + "root"+ File.separator + "krbconf" + File.separator + "hive.keytab");
           System.out.println("当前用户是：" + 
           UserGroupInformation.getCurrentUser());
           //列出根目录下所有文件
           FileSystem fileSystem = FileSystem.get(configuration);
           FileStatus[] files = fileSystem.listStatus(new Path("hdfs://nameservice1/"));
           for (FileStatus file : files) {
                System.out.println("KRB:" + file.getPath());
           }
          }
         }
         } catch (Exception e) {
            e.printStackTrace();
            }
     }).start();

     //初始化非认证配置文件
     Configuration noAuthconfiguration = HDFSUtils.initConfiguration(File.separator + "root"
           + File.separator + "conf");
     noAuthconfiguration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

     //该线程循环访问非认证集群
     new Thread(() -> {
        try {
          while (true) {
            synchronized ("A") {
              System.out.println("当前用户是：" + UserGroupInformation.getCurrentUser());
              UserGroupInformation.setConfiguration(noAuthconfiguration);
              //列出根目录下所有文件
              FileSystem fileSystem = FileSystem.get(noAuthconfiguration);
              FileStatus[] files = fileSystem.listStatus(new Path("hdfs://nameservice1/"));
              for (FileStatus file : files) {
                  System.out.println("NONEKRB:" + file.getPath());
              }
             } 
           }
         } catch (Exception e) {
             e.printStackTrace();
         }
        }).start();
    }
}

问题：

此时虽然不再报错了，但是我们从结果中看出，两个线程访问的是同一个集群

原因在于没有重置UserGroupInformation

3.在上一步的基础上，访问非认证集群之前增加重置UserGroupInformation操作

package com.cloudera.hdfs;

import com.amazonaws.services.workdocs.model.User;
import com.cloudera.hdfs.utils.HDFSUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.security.UserGroupInformation;

import java.io.File;
import java.io.IOException;

public class Test {
  public static void main(String[] args) throws IOException {
     //初始化认证集群配置文件
     Configuration configuration = HDFSUtils.initConfiguration(File.separator + "root"
             + File.separator + "krbconf");
     configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
     //该线程循环访问认证集群
     new Thread(() -> {
       try {
         while (true) {
            synchronized ("A") {
              //配置kerberos认证的配置文件
              System.setProperty("java.security.krb5.conf", File.separator + "root" +
                    File.separator+ "krbconf" + File.separator + "krb5.conf");
              //进行身份认证
              UserGroupInformation.setConfiguration(configuration);
              UserGroupInformation.loginUserFromKeytab("hive@MACRO.COM", 
                    File.separator + "root"+ File.separator + "krbconf" + File.separator + "hive.keytab");
           System.out.println("当前用户是：" + 
           UserGroupInformation.getCurrentUser());
           //列出根目录下所有文件
           FileSystem fileSystem = FileSystem.get(configuration);
           FileStatus[] files = fileSystem.listStatus(new Path("hdfs://nameservice1/"));
           for (FileStatus file : files) {
                System.out.println("KRB:" + file.getPath());
           }
          }
         }
         } catch (Exception e) {
            e.printStackTrace();
            }
     }).start();


     //初始化非认证配置文件
     Configuration noAuthconfiguration = HDFSUtils.initConfiguration(File.separator + "root"
           + File.separator + "conf");
     noAuthconfiguration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

     //该线程循环访问非认证集群
     new Thread(() -> {
        try {
          while (true) {
            synchronized ("A") {
              //重置认证信息
              UserGroupInformation.reset();
              System.out.println("当前用户是：" + UserGroupInformation.getCurrentUser());
              UserGroupInformation.setConfiguration(noAuthconfiguration);
              //列出根目录下所有文件
              FileSystem fileSystem = FileSystem.get(noAuthconfiguration);
              FileStatus[] files = fileSystem.listStatus(new Path("hdfs://nameservice1/"));
              for (FileStatus file : files) {
                  System.out.println("NONEKRB:" + file.getPath());
              }
             } 
           }
         } catch (Exception e) {
             e.printStackTrace();
         }
        }).start();
    }
}

从结果来看，测试成功：

4.进一步测试增加重置UserGroupInformation但是不加锁的情况

package com.cloudera.hdfs;

import com.amazonaws.services.workdocs.model.User;
import com.cloudera.hdfs.utils.HDFSUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.security.UserGroupInformation;

import java.io.File;
import java.io.IOException;

public class Test {
  public static void main(String[] args) throws IOException {
     //初始化认证集群配置文件
     Configuration configuration = HDFSUtils.initConfiguration(File.separator + "root"
             + File.separator + "krbconf");
     configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
     //该线程循环访问认证集群
     new Thread(() -> {
       try {
         while (true) {
            //synchronized ("A") {
              //配置kerberos认证的配置文件
              System.setProperty("java.security.krb5.conf", File.separator + "root" +
                    File.separator+ "krbconf" + File.separator + "krb5.conf");
              //进行身份认证
              UserGroupInformation.setConfiguration(configuration);
              UserGroupInformation.loginUserFromKeytab("hive@MACRO.COM", 
                    File.separator + "root"+ File.separator + "krbconf" + File.separator + "hive.keytab");
           System.out.println("当前用户是：" + 
           UserGroupInformation.getCurrentUser());
           //列出根目录下所有文件
           FileSystem fileSystem = FileSystem.get(configuration);
           FileStatus[] files = fileSystem.listStatus(new Path("hdfs://nameservice1/"));
           for (FileStatus file : files) {
                System.out.println("KRB:" + file.getPath());
           }
          //}
         }
         } catch (Exception e) {
            e.printStackTrace();
        }
     }).start();


     //初始化非认证配置文件
     Configuration noAuthconfiguration = HDFSUtils.initConfiguration(File.separator + "root"
           + File.separator + "conf");
     noAuthconfiguration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

     //该线程循环访问非认证集群
     new Thread(() -> {
        try {
          while (true) {
              //synchronized ("A") {
              //重置认证信息
              UserGroupInformation.reset();
              System.out.println("当前用户是：" + UserGroupInformation.getCurrentUser());
              UserGroupInformation.setConfiguration(noAuthconfiguration);
              //列出根目录下所有文件
              FileSystem fileSystem = FileSystem.get(noAuthconfiguration);
              FileStatus[] files = fileSystem.listStatus(new Path("hdfs://nameservice1/"));
              for (FileStatus file : files) {
                  System.out.println("NONEKRB:" + file.getPath());
              }
             //} 
           }
         } catch (Exception e) {
             e.printStackTrace();
         }
        }).start();
    }
}

问题：

在访问认证集群的线程认证结束之后准备访问集群时，会出现这时正好被访问非认证集群的线程把认证信息清除的情况，无法找到用户，导致报错。

6 总结

1.因为java进程的kerberos身份认证信息存放在UserGroupInformation的静态字段中，因此该进程的内存中仅能存取一份身份信息，这也导致一个线程修改该身份信息之后会直接影响另一个线程。

2.如果要在不同的线程中访问认证集群和非认证集群，只能通过加锁和重置身份信息的方式，但这会显著影响程序执行效率。

关于游戏架构设计的一些整理吧
网易搬砖头
02-26 4万+
在单位设计上必须冲头到尾贯彻面向对象的“继承”观念 先设计基础单位A ，再在之上扩展到所有的单位， 也就是说，所有的普通单位都可以追溯到一个起源的对象， 否则代码量会让你想死 然后就能获得所有的单位和建筑物了 ----------------------------------------------------------------------- 地图寻
powerha_IBM AIX的IBM PowerHA SystemMirror快速部署集群工作表
cusi77914的博客
06-20 1619
IBMPowerHA®SystemMirror V7集群软件是IBMAIX®集群的下一版。 为了提供与AIX操作系统的更紧密的集成，开发了一个新的内核级别层，称为Cluster Aware AIX（CAA）。 群集软件利用这种新的基础进行心跳和消息通信。 在内核级别运行可确保群集通信获得最高优先级，并且在发生内存泄漏或恶意应用程序占用系统资源的情况下不会受到影响。 通过这种重新设计，可以跨所有...
0553-6.1.0-如何使用Java代码同时访问安全和非安全CDH集群
Hadoop_SC的博客
11-30 522
1 文档编写目的 做Hadoop应用开发的过程中，用户会有这样的需求，在同一个Java应用中同时访问安全和非安装的CDH集群。同一个Java应用即同一个进程同一个JVM，由于一些全局的变量可能会导致无法同时访问安全和非安全的集群。本篇文章Fayson介绍下如何使用Java代码同时访问安全和非安全的CDH集群。 内容概述 1.环境准备 2.示例代码准备及运行验证 3.总结 测试环境 1.Re...
java 进程中连接多个kerbe
最新发布
weixin_29039773的博客
07-15 322
在Java进程中连接多个Kerberos服务 在分布式系统中，安全认证是非常重要的一环。Kerberos是一种网络认证协议，用于在不安全的网络环境中安全地进行认证通信。在Java进程中连接多个Kerberos服务是一个常见的需求，本文将介绍如何在Java中实现这一功能。 什么是Kerberos Kerberos是一种网络认...
配置两个Hadoop集群Kerberos认证跨域互信（两个集群互通）
qq_43688472的博客
02-03 5177
配置两个Hadoop集群Kerberos认证跨域互信 两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。 先决条件： 1）两个集群(IDC.COM和HADOOP.COM)均开启Kerberos...
java 操作hdfs(连接HDFS)
weixin_30388677的博客
03-21 597
FileSystem fs = null; Configuration conf = null; @Before public void init() throws Exception{ conf = new Configuration(); // fs=FileSystem.get(co...
【大数据安全】基于Kerberos的大数据安全验证方案
tianyeshiye
01-16 837
1.背景 互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。 近几年，在thehackernews等网站上总会时不时看到可以看到一些因为数据安全问题被大面积攻击、勒索的事件。在Hadoop1.0.0之前，Hadoop并不提供对安全的支持，默认集群内所有角色都是可靠的。用户访...
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 4122
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
用JFR和JMC分析SolrCloud集群性能瓶颈
Greenplum中文社区
11-16 430
在开发甚至是生产过程中，我们的程序可能会满足不了预想中的性能要求。这种情况下我们就需要分析程序中的性能瓶颈，并针对性地解决问题。性能瓶颈的定位不仅可以在开发过程...
CentOS7.5搭建ELK6.2.4集群与简单测试
Frank409167848的博客
07-09 896
一 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。 下载地址：https://www.elastic.co/cn/downloads       版本：elasticsearch-6.2.4.tar.gz     logstash-6.2.4.tar.gz...
在JVM中多个应用程序共享jvm内存吗
m0_37732829的博客
08-20 1270
每运行一次main()函数，就生成一个jvm内存模型实例，他们互不相干，互不干扰，不共享内存和数据
hadoop和hive配置kerbros安全认证
Aidon博客
04-30 2666
需求： 对新建hadoop集群和hive集群的安全认证安装部署。 版本： centos 7.7 hadoop 2.7.6 hive 1.2.2 部署规划： ip 主机 服务 192.168.216.111 hadoop01 namenode、resourcemanager、datanode、nodemanager、hive、KDC服务 192.168.216.112 ha...
深度解析Kafka kerberos认证
justchnmm的博客
03-29 8880
Kafka kerberos动态认证及静态认证过程
用Java访问带有Kerberos认证的HBase
热门推荐
blackice1015的博客
10-26 1万+
用Java访问带有Kerberos认证的HBase 开始之前    因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。    Kerberos是一个认证中心，客户端在访问HBase前必须通过认证才能访问，下图是Kerberos的认证图：
Kafka-配置Kerberos安全认证(JDK8、JDK11)
孟孟的博客
07-24 5402
从 Kerberos 服务器上拷贝到目标机器 或 找运维人员要一份。从 Kerberos 服务器上拷贝到目标机器 或 找运维人员要一份。3、Kerberos 配置文件（2、keytab 文件（1、JAAS 配置文件。
java 操作 kerberos 环境 kudu API
heqingcool的博客
06-04 523
目录结构 pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值