一朵不安分的云-CSDN博客

原创 unbantu/Linux安装spark集成scala

业务场景：近来项目需要处理log日志文件，这里用到了spark来进行处理环境：ubantu/Linux工具：jdk1.8及以上、spark-2.2.0、scala-2.13.0-M1（M1含义为此版本的第一个发行版，先驱者哈）第一步：安装jdk ，检查服务器是否配有环境变量 java -version下载jdk url：http://www.oracle.com/technetwork/java/...

2018-04-26 11:15:40 374

转载 http://blog.csdn.net/paincupid/article/details/47746341

http://blog.csdn.net/paincupid/article/details/47746341

2017-09-01 10:30:58 405

转载分布式和集群的区别（转）

分布式：一个业务分拆多个子业务，部署在不同的服务器上集群：同一个业务，部署在多个服务器上 1：分布式是指将不同的业务分布在不同的地方。而集群指的是将几台服务器集中在一起，实现同一业务。分布式中的每一个节点，都可以做集群。而集群并不一定就是分布式的。举例：就比如新浪网，访问的人多了，他可以做一个群集，前面放一个响应服务器，后面几台服务器完成同一业务，如果有业务访问的

2017-04-27 14:15:12 298

转载使用Apache commons-codec Base64实现加解密(转)

commons-codec是Apache下面的一个加解密开发包官方地址为：http://commons.apache.org/codec/ 官方下载地址：http://commons.apache.org/codec/download_codec.cgi 在线文档：http://commons.apache.org/codec/userguide.html 下面示例为使用

2017-04-27 13:54:44 2369

转载 linux之cp/scp命令＋scp命令详解(转)

名称：cp 使用权限：所有使用者使用方式： cp [options] source dest cp [options] source... directory 说明：将一个档案拷贝至另一档案，或将数个档案拷贝至另一目录。把计 -a 尽可能将档案状态、权限等资料都照原状予以复制。 -r 若 source 中含有目录名，则将目录下之档案亦皆依序拷贝至

2017-04-27 11:35:27 419

转载 linux 下查找大于100M的文件(转)

命令行如下 find . -type f -size +1000000k Linux系统下查找大文件或目录的技巧当硬盘空间不够时，我们就很关心哪些目录或文件比较大，看看能否干掉一些了，怎么才能知道呢？　　#已易读的格式显示指定目录或文件的大小，-s选项指定对于目录不详细显示每个子目录或文件的大小　　du -sh [dirname|filename]

2017-04-27 11:33:44 1686

原创 java中单片redis到底应该怎么用，实践出真理

import org.apache.log4j.Logger; import com.yjhl.framework.base.PropertyUtil; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig; /**

2017-04-27 11:07:34 502

原创 Linux中shell编程需要避免的坑之shell语法篇（四）

shell函数 1.带有返回值的函数,如下： fun (){ a=10 b=20 echo "测试例子中的两个参数分别是$a 和 $b" return $(($a+$b)) } fun echo "两数之和为 $? " 通过$?接收返回参数注意：所有函数在使用前必须定义。这意味着必须将函数放在脚本开始部分，调用函数时候直接函数名调用即可。 2.传参函数，如

2017-04-24 10:53:33 907

原创 Linux中shell编程需要避免的坑之shell语法篇（三）

开头不说废话，直接进入流程控制，条件的使用 if条件 if else用的时候如果没有else条件就不要写，否则会出错，结构应该是这样的： if 需要满足的条件 then 扒拉扒拉一堆逻辑 fi 老是写这么枯燥的挺无聊的，结合Linux命令来一发： if [ $(ps -ef | grep -c "ssh" ) -gt 1 ] then echo "true" fi 意思是

2017-04-21 16:19:28 626

原创 Linux中shell编程需要避免的坑之shell语法篇（二）

test的用法数值参数说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真 a=50 b=30 if test $[a] -eq $[b] then

2017-04-21 14:08:44 409

原创 Linux中shell编程需要避免的坑之shell语法篇（一）

开头用#!/bin/bash用于shell识别定义数组用小括号等号两边不允许有空格 arry = (A B C) 正确如下 arry=(A B C) √ echo "获取数组元素*和@都可以 : ${myarr[*]} 另一种：${myarr[@]}" echo "获取数组长度加#号 : ${#myarr[*]} 另一种：${#myarr[@]}" 算术运算

2017-04-21 10:52:00 1304

eclipse的svn中间件

2017-04-26

angular文档

2017-04-26

elasticsearch5.5.0

Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 RESTfulAPI 来隐藏Lucene的复杂性，从而让全文搜索变得简单。不过，Elasticsearch不仅仅是Lucene和全文搜索，我们还能这样去描述它：分布式的实时文件存储，每个字段都被索引并可被搜索分布式的实时分析搜索引擎可以扩展到上百台服务器，处理PB级结构化或非结构化数据而且，所有的这些功能被集成到一个服务里面，你的应用可以通过简单的 RESTful API 、各种语言的客户端甚至命令行与之交互。上手Elasticsearch非常容易。它提供了许多合理的缺省值，并对初学者隐藏了复杂的搜索引擎理论。它开箱即用（安装即可使用），只需很少的学习既可在生产环境中使用。

2017-09-11

Webharvest爬虫

2017-04-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人