austboy123-CSDN博客

原创 spark应用程序开发总结

1.静态变量取不到值，报空指针异常出现这种情况主要原因： rdd的操作中去读取配置文件中的值，如： public static float col1= Float.valueOf(RESOURCE_BUNDLE.getString("col1")); 解决办法：把操作rdd的方法抽取到一个单独的类中，让该类实现序列化接口，把变量通过构造函数或者函数参数传到该类中。 2.spark sql，...

2018-11-13 09:39:08 604

原创 hive相关报错问题解决办法

1.Unable to determine Hadoop version information. 'hadoop version' returned: 解决办法：修改bin/hive， # HADOOP_VERSION=$($HADOOP version | awk '{if (NR == 1) {print $2;}}'); HADOOP_VERSION=$($HADOOP v...

2018-11-13 09:15:16 9348 1

原创《Java并发编程实战》学习笔记之第3章对象的共享

1.内存可见性 synchronized关键字同步有两方面的作用：（1）实现原子性或者确定临界区（2）确保内存可见性所谓内存可见性，即当一个线程修改了对象状态后，其他线程能够看到修改后的状态。多线程程序在没有同步的情况下，编译器、处理器及运行时等都可能对操作执行顺序进行一些意想不到的调整。在缺乏足够同步的多线程程序中，要想对内存操作的执行顺序进行判断，几乎无法...

2018-03-22 13:21:55 233

1.什么是线程安全性当多个线程访问某个类时，不管运行时环境采用何种调度方式或者现线程将如何交替执行，并且在主调代码中不需要任何额外的同步或协同，这个类都能表现出正确的行为，那么这个类就是线程安全的。在线程安全的类中封装了必要的同步机制，因此调用者无需进一步采取同步措施。无状态对象一定是线程安全的。 2.竞态条件在并发编程时，由于不恰当的执行时序而出现不正确的结果。比如，先检查后执行。3.加锁机制要...

2018-03-22 13:20:29 207

原创 log4j DailyRollingFileAppender支持保留最近n天，并且可以对一天的文件根据大小切分

log4j DailyRollingFileAppender不支持只保留最近n天的数据，时间一久导致日志文件很多，并且一天的文件有可能比较大，所以自己写了个appender，以解决这两个问题。具体代码实现如下：package com.mytools.common.log4jext; import java.io.File; import java.io.FileFilter; impor...

2018-03-22 13:15:29 5967

原创《Java并发编程实战》学习笔记之第3章对象的共享

1.内存可见性 synchronized关键字同步有两方面的作用：（1）实现原子性或者确定临界区（2）确保内存可见性所谓内存可见性，即当一个线程修改了对象状态后，其他线程能够看到修改后的状态。多线程程序在没有同步的情况下，编译器、处理器及运行时等都可能对操作执行顺序进行一些意想不到的调整。在缺乏足够同步的多线程程序中，要想对内存操作的执行顺序进行判断，几乎...

2018-03-14 22:07:35 152

原创《Java并发编程实战》学习笔记之第2章线程安全性

1.什么是线程安全性当多个线程访问某个类时，不管运行时环境采用何种调度方式或者现线程将如何交替执行，并且在主调代码中不需要任何额外的同步或协同，这个类都能表现出正确的行为，那么这个类就是线程安全的。在线程安全的类中封装了必要的同步机制，因此调用者无需进一步采取同步措施。无状态对象一定是线程安全的。 2.竞态条件在并发编程时，由于不恰当的执行时序而出现不正确的结果。 ...

2018-03-13 22:42:34 119

原创 spark应用程序开发总结

1.静态变量取不到值，报空指针异常出现这种情况主要原因： rdd的操作中去读取配置文件中的值，如：public static float col1= Float.valueOf(RESOURCE_BUNDLE.getString("col1"));解决办法：把操作rdd的方法抽取到一个单独的类中，让该类实现序列化接口，把变量通过构造函数或者函数参数传到该类中。 2.spark sql，...

2018-03-12 16:23:21 412

原创 log4j DailyRollingFileAppender支持保留最近n天，并且可以对一天的文件根据大小切分...

log4j DailyRollingFileAppender不支持只保留最近n天的数据，时间一久导致日志文件很多，并且一天的文件有可能比较大，所以自己写了个appender，以解决这两个问题。具体代码实现如下： package com.mytools.common.log4jext; import java.io.File; import java.io.FileFilter...

2018-03-09 15:20:14 2265

原创深入理解java虚拟机读书笔记——性能监控与故障处理工具

1.jdk的命令行工具（1）jps 虚拟机进程状况工具（2）jstat 虚拟机统计信息监控工具（3）jinfo java配置信息工具（4）jmap java内存映像工具 jmap命令格式： jmap [option] vmid jmap -dump:format=b,file=eclipse.bin 3500 ...

2014-12-08 00:06:50 177

原创 netstat -a 端口状态

TCP状态转移要点 TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中，最值得注意的状态有两个：CLOSE_WAIT和TIME_WAIT。 1、LIS...

2014-11-25 16:32:59 369

Hadoop yarn安装（单机版）

[b]1 网络环境 1.1 修改hosts文件[/b] 设置/etc/hosts文件(每台机器上都要设置)，添加如下内容 192.168.1.101 testServer namenode与datanode的/etc/hosts内容都必须是ip位址与host name的对应，不能使用127.0.0.1代替本机的ip地址，否则hadoop使用hostname找ip时，会以"127.0.0.1...

2014-11-12 23:29:31 600