夏天的森林

摘要： 2018年春节过后区块链技术一下子火爆起来了，本人也对该技术十分感兴趣，因此想研究下区块链技术的原理，看看区块链背后那些技术值得去研究。由于自己缺乏实际的开发经验和使用经验，文中难免会有些理解不到位，本文主要的目的还是想将最近的学习梳理总结一下。 一、概述 比特币是存储在计算机里一枚货币，计算机存储 阅读全文

摘要： 线程技术可以让我们的程序同时做多件事情，线程的工作模式有很多，常见的一种模式就是处理网站的并发，今天我来说说线程另一种很常见的模式，这个模式和前端里的ajax类似:浏览器一个主线程执行javascript，页面渲染等操作，当我们使用ajax向服务端发起请求，由于这个过程很慢，ajax的异步模式可以让 阅读全文

摘要： 早些时候学习hadoop的技术，我一直对里面两项技术倍感困惑，一个是zookeeper，一个就是Hbase了。现在有机会专职做大数据相关的项目，终于看到了HBase实战的项目，也因此有机会搞懂Hbase原理。 首先来点实在的东西，假如我们已经在服务器上部署好了Hbase应用，作为客户端或者说的具体点 阅读全文

摘要： 最近做项目在前端我使用了很多新技术，这些技术有bootstrap、angularjs，不过最让我兴奋的还是使用了HTML5的技术，今天我想总结一些HTML5的技术，好记性不如烂笔头，写写文章可以很好的整理思路，写到博客里还能做个备忘。 1) 跨域通讯 现在做企业项目，前端很不自然的会大量使用ifra 阅读全文

摘要： 本篇接着谈谈那些稍微复杂的API。 1) flatMapValues：针对Pair RDD中的每个值应用一个返回迭代器的函数，然后对返回的每个元素都生成一个对应原键的键值对记录 这个方法我最开始接触时候，总是感觉很诧异，不是太理解，现在回想起来主要原因是我接触的第一个flatMapValues的例子 阅读全文

摘要： 本篇接着讲解RDD的API，讲解那些不是很容易理解的API，同时本篇文章还将展示如何将外部的函数引入到RDD的API里使用，最后通过对RDD的API深入学习，我们还讲讲一些和RDD开发相关的scala语法。 1) aggregate(zeroValue)(seqOp,combOp) 该函数的功能和r 阅读全文

摘要： 上一篇里我提到可以把RDD当作一个数组，这样我们在学习spark的API时候很多问题就能很好理解了。上篇文章里的API也都是基于RDD是数组的数据模型而进行操作的。 Spark是一个计算框架，是对mapreduce计算框架的改进，mapreduce计算框架是基于键值对也就是map的形式，之所以使用键 阅读全文

摘要： 本文主要是讲解spark里RDD的基础操作。RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图，本文暂时不去展开这些高深概念，在阅读本文时候，大家可以就把RDD当作一个数组，这样的理解对我们学习RDD的API是非常有帮助的。本文所有示例代码都是使用scala语言 阅读全文

摘要： 最近做了一个小的mapreduce程序，主要目的是计算环比值最高的前5名，本来打算使用spark计算，可是本人目前spark还只是简单看了下，因此就先改用mapreduce计算了，今天和大家分享下这个例子，也算是对自己写的程序的总结了。 首先解释下环比，例如我们要算本周的环比，那么计算方式就是本周的 阅读全文

摘要： 最近做项目接触到了HDFS、mapreduce以及Hbase，有了实战机会，今天打算将这些知识好好总结下，以备不时之需。首先从Hbase开始吧。 Hbase是建立在HDFS上的分布式数据库，下图是Hbase表的模型： Hbase这个数据库其实和传统关系数据库还是有很多类似之处，而不是像mo... 阅读全文