han3ying1jun8的博客

最近一直在学习hadoop 这是一个简单的关于MapReduce的示例通过实现map和reduce2个函数完成操作首先定义一个自定义对象[code="java"]class MyWriterble implements Writable{ long UpPackNum; long DownPackNum; long UpPayLoad; long DownPayL...

例子为100W 条数据 取出前十个最值（纯本人看完课程后的手写，没有参考网上，结果应该没问题的，也没找到标准答案写法。。）首先，由于值都是double，默认的排序方式是升序，这里面我们取得是降序，所以自定义hadoop对象，并实现WritableComparable接口，然后覆盖compareTo方法。[code="java"]class MySuperKey implements...

hadoop求最大值问题，代码比求最值前N个要简单一些，因为直接使用LongWritable类型，不需要自定义hadoop对象进行比较，所以直接覆盖map和reduce方法，并且覆盖cleanup方法，这是在map和reduce都执行完成之后才会执行的方法，只需要把最大值写入即可[code="java"]public class MySuper { public static void m...

在原有的spark程序中，其中包含hhase,spark等，会出现jar包冲突导致有异常的问题，程序中都是使用maven。在异常中，包含nosuchmethod的异常错误信息，可以看出是guava版本与hadoop版本不一致导致，Hadoop中使用的是12版本，而es2.3.1默认使用18版本。这样才程序执行的时候使用的是12版本，会导致类中的方法找不到的异常。解决办法是，es的依赖不使用...

搭建一个flume集群，设置2个节点，如下图这样的集群[img]http://dl2.iteye.com/upload/attachment/0111/7129/d521584b-e8a6-32f4-8a09-b167c86a401d.png[/img]2个节点分别为192.168.5.220和192.168.5.221设置成这样的情景，第一个接受日志传过来的数据（这里使用配置lo...

主要是数据从flume进去kafka，然后交给sparkstreaming处理的流程本文依旧以单词计数例子为例首先，flume使用1.6版本，如果是1.6以下的话，没带有官方的kafkasink,需要自己实现，自己实现也不难实现，写一个自定义的sink，在里面方法调用kafka生产者代码，把数据发送到指定的kafka的broker的topic即可。此处使用1.6版本，直接使用kafka...

时间同步这个需求在很多地方都有。比如安装cm和cdh的话，需要ntp时间同步，否则会出现红色警告这里主要是设置一台服务器作为主服务器，让其他机器同步这台机器的时间，而且是配置的本地时间，没有同步internet时间，因为很多时候服务器不能联网首先我们这里设置2台机器，主机器为192.168.5.102，另外一台为192.168.5.103首先设置主机器编辑/etc/ntp.co...

hadoop1版本中提供了获取文件名的功能，就是在map阶段可以获取每一行记录属于哪个文件，可以得到这个文件名，代码如下：[code="java"]//获取文件名InputSplit inputSplit=(InputSplit)context.getInputSplit();String filename=((FileSplit)inputSplit).getPath().getName...