CSDN_Hzx的博客

最近遇到一个bug，自己编写的spark程序本地调试没问题之后想提交到集群上运行，报错内容如下：Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor version 52.0现特此整理了一下分享给大家：其实报错已经很明显了，java8版本有问题，那具体原因是什么呢，其实就是本地编写spark用的是j

最近遇到一个需求,实现一个预警的邮件通知功能,自己写了一个小demo,首先,在发送邮件的邮箱要进行一些设置,登录发送邮件的邮箱将设置当中的SMTP打开,以网易和qq为例:网易:qq:此时需要记录下授权码,下面会用到,申请位置都在上面的截图,其他邮箱自行查找下面贴出代码:用到两个pom的依赖 <!--邮件--> <!-- ...

需求:有一个字符串,想从倒数第n个特定的字符串开始截取字符串到最后例: 有一字符串"/home/root/test/a/b/c",想截取倒数第2个"/"后面的字符串,得到b/c代码: /** *@Author huangzx *@Description: 从倒数第n个"/"开始截取到最后 *@Date 11:41 AM 7/31/19 *...

最近经常会用到java到指定机器上执行终端命令并且获得返回结果,所以借此机会来记录一下1.首先通过ip,用户名,密码链接到远程服务器上,然后执行终端命令userName:主机的用户名,password:密码,ipAddr:主机ip地址,cmd:你要执行的命令 public String execute(String userName, String password, Stri...

之前都是将程序达成war包然后放到tomcat上运行,每次利用vpn上传到服务器都需要话费大量的时间,而且很麻烦,后来才知道idea这个强大的工具还有这么简单易用的操作,真是应该给idea点个赞,真的太强大了,那就来分享一下吧.第一步:到你要部署的服务器上安装tomcat,这是必须的,我用的是tomcat8,然后有几个东西需要改一下1.修改conf下的tomcat-users.xml文...

Java并发编程：线程池的使用　　在前面的文章中，我们使用线程的时候就去创建一个线程，这样实现起来非常简便，但是就会有一个问题：　　如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，这样频繁创建线程就会大大降低系统的效率，因为频繁创建线程和销毁线程需要时间。　　那么有没有一种办法使得线程可以复用，就是执行完一个任务，并不被销毁，而是可以继续执行其他的任务？　　...

最近遇到一个需求，通过系统配置的路径来完成一个下载功能，这个系统配置路径可能是hdfs路径也可能是部署服务器的路径，所以写了一个比较通用的方法，特此跟大家分享一下，也便于自己的记忆，主要是忘了还可以看一看，^_^直接上代码： /** *@Author huangzx *@Description: 文件下载到客户端 *@Date 5:04 PM 2/23/19 ...

Hadoop文件系统基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例：public static FileSystem.get(Configuratio...

创建型模式1、ABSTRACT FACTORY—追MM少不了请吃饭了，麦当劳的套餐和肯德基的套餐都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“两个B套餐”就行了。麦当劳和肯德基就是B套餐的Abstract Factory, B套餐里含有汉堡, 鸡翅和饮料. 麦当劳或肯德基会根据B套餐的规格, 让汉堡Factory, 鸡翅Factory, 饮料Factor...

从hdfs上下载到本地/***src:hdfs路径 例：hdfs://192.168.0.168:9000/data/a.json*dst：本地路径*/ public static void Hdfs2Local(String src, String dst) { try { Configuration conf = new Con...

从本地上传的到服务器 /** * 上传文件到指定目录 * @param filePath 服务器路径 * @param file 本地文件 * @return */ public static int uploadFile(String filePath,MultipartFile file){ File desFil...

在对字符串的处理当中我们经常会遇到从0到第n个字符的截取要求，或者是从第n个字符截取到最后，例如：截取url中的ip和端口号，下面就来编写一个小demo吧 public static void main(String[] args) { System.out.println(getbatchId("https://localhost:4040/jobs","/", ...

在我们编程的过程中往往会用到反射，利用反射有时候可以更容易的做到一些事情，下面就说一个反射的实际应用场景吧，就是将object转化成一个map，object里的属性名对应map的key，object里的属性值对应map的valuepublic static Map&lt;String, Object&gt; objectToMap(Object obj) { Map&lt;S...

在跑spark程序的时候我们可以通过sparkUI的方式来监控程序的运行状态如下图：最近项目遇到一个需求，需要把sparkUI上的一些参数获取到前段展示，然后自己上网查找了一些资料，发现jsoup可以轻松解析搞定，他可以解析html，非常方便而且实用，代码如下：//测试方法：public static void main(String[] args) {Map&lt;String...

上一篇文章讲到需要修改远程服务器的一些配置文件，其实这个场景需要修改的配置文件是原生hadoop的yarn-site.xml文件，目的是基于原生hadoop实现多租户，多租户其实就是在提交任务时根据不同的用户和组分配不同的计算资源，说白了就是修改一些配置文件，yarn-site.xml会根据yarn.scheduler.fair.allocation.file这个属性找到我们fair-schedu...

最近遇到一个场景，需要利用web前端以图形化界面的方式修改远程服务器的一些配置文件，我的思路是这样的，首先从远程服务器上把文件拷贝下来，然后在本地修改完成之后再上传到服务器的原路径，下面直接上代码：从服务器到本地： public static boolean getConfFile(String userName, String password, String ipAddr, S...