地狱小子--hellboy-CSDN博客

原创 cdh001

-------------------------------------------------------VM模版-------------------------------------------------------------- 安装VM (虚拟机设置-》硬件-》网络适配器-》桥接模式) 所有主机root 123456 vi /etc/sysconfig/network

2017-09-07 14:20:39 396

原创无密码登陆

ssh-keygen -t rsa 在~/.ssh/目录中生成两个文件id_rsa和id_rsa.pub 如果想从hadoop001免密码登录到hadoop002中要在hadoop001中执行 ssh-copy-id -i ~/.ssh/id_rsa.pub [用户名]@hadoop002 这里为了实现任何机器之间都可以免密码登陆，所以在hadoop001中再执行两

2017-09-07 14:12:28 273

转载 Cloudera Manager 5和CDH5离线安装,CDH-5.7.1

文件下载 CDH (Cloudera’s Distribution, including Apache Hadoop)，是hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理

2017-08-02 13:42:04 415

转载 Hadoop HA on Yarn——集群配置

集群搭建因为服务器数量有限，这里服务器开启的进程有点多：机器名　　安装软件　　运行进程　　 hadoop001　　　 Hadoop,Zookeeper　　 NameNode, DFSZKFailoverController, ResourceManager DataNode, NodeManager QuorumPeerMa

2017-08-01 18:03:18 452

转载 Flume架构以及应用介绍

在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程：从hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。（一）Flume架构介绍 1、Flume的概念 flume是分布式的日

2017-08-01 14:58:35 317

转载 Sqoop_详细总结使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出

一简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。二特点 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。

2017-08-01 11:37:32 761

转载 Hbase原理、基本概念、基本架构

概述 HBase是一个构建在HDFS上的分布式列存储系统； HBase是基于Google BigTable模型开发的，典型的key/value系统； HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服

2017-07-31 18:09:44 255

转载 hive学习笔记

1. HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 hadoop 中的大规模数据的机制。hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 re

2017-07-31 17:57:09 1148

转载【Hadoop】Yarn 框架原理及运作机制

1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。

2017-07-31 16:13:11 272

转载【Hadoop】HDFS的运行原理

HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③

2017-07-31 16:02:39 325

原创 shell常用命令

shell 常用笔记 .当前目录 .. 上级目录 ~用户根目录(/home/lzm) 文件状态测试 -d 目录 -s 文件长度大于0 -f 正规文件 -w 可写 -L 符号连接 -u 文件有suid位设置 -r

2017-07-28 16:36:25 340

原创 linux集群时间同步，ntpd、ntpdate

spark001 spark002 spark003 都安装 yum install ntp ----------------------------------------------spark001---------------------------------- 修改配置文件/etc/ntp.conf，在其中插入： restrict

2017-07-28 11:26:58 657

转载手机用fiddler抓包

手机用fiddler抓包电脑最好是笔记本，这样能和手机保持统一局域网内；其他不多说，直接说步骤了。一.对PC（笔记本）参数进行配置 1. 配置fiddler允许监听到https（fiddler默认只抓取http格式的）打开Fiddler菜单项Tools->TelerikFiddler Options->HTTPS，勾选

2017-07-27 17:40:41 327

原创 spark集群

-------------------------------------------------------VM模版-------------------------------------------------------------- 1.) 安装VM (虚拟机设置-》硬件-》网络适配器-》桥接模式) 所有主机root 123456 vi /etc/sysconfig/ne

2017-07-27 16:32:13 302

原创 vmware11配置vmware-tools实现windows文件与vm文件共享

#参考地址http://jingyan.baidu.com/article/ca00d56c74dde4e99eebcfd2.html root用户进入 #在任意位置,新建一个目录 /mnt/cdrom, 用于挂载虚拟光驱(cd): mkdir /mnt/cdrom #将目录 /mnt/cdrom挂载在虚拟光驱 /dev/cdrom: mount /dev/cdrom /

2017-07-27 16:30:34 1422

原创 liunx安装jdk及VisualVM性能配置

官网地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 1.）文件jdk-7u17-linux-x64.tar.gz放在/root/tools/ 2.） sudo tar zxvf /root/tools/jdk-7u17-linux-x64.t

2017-07-27 16:27:04 877

原创 grep-awk-seq快速上手文档

grep-awk-seq快速上手文档 grep 正则文件内容查找特定字符匹配 grep '1' /usr/local/logs 范围内字符：单个字符[] grep '[a-zA-Z]' /usr/local/logs 空行 grep '^$' /usr/local/logs 匹配包含 e f grep 'e.*f' /usr

2017-07-27 16:22:08 525

原创 Centos没有网卡eth0配置文件

复制 /etc/sysconfig/network-scripts/ifcfg-lo 改名 ifcfg-eth0 内容修改如下 DEVICE=eth0 NETMASK=255.255.255.0 NETWORK=192.168.0.0 BROADCAST=127.255.255.255 ONBOOT=yes DEVICE="eth0" B

2017-07-25 11:36:13 2890

转载 Linux系统下安装rz/sz命令及使用说明

可以提示 cc yum install cc 对于经常使用Linux系统的人员来说，少不了将本地的文件上传到服务器或者从服务器上下载文件到本地，rz / sz命令很方便的帮我们实现了这个功能，但是很多linux系统初始并没有这两个命令。今天，我们就简单的讲解一下如何安装和使用rz、sz命令。 1.软件安装 root 账号登陆后，依次执行以下命令：

2017-07-24 16:00:06 489

原创 liunx 配置tomcat

官网地址 http://tomcat.apache.org/ 1.) 文件apache-tomcat-7.0.65.tar.gz放在/root/tools/ 项目编译代码/var/wwwroot/下 2.) sudo tar zxvf /root/tools/apache-tomcat-7.0.65.tar.gz -C /root/lzmInstall/tomcat

2017-06-16 11:21:48 279

原创 liunx 基础

CentOS 6.4版本，64位 http://archive.cloudera.com/cdh5/ 在整个大数据领域，对于Hadoop 发行版本，有公司Cloudera >>>>>>> 虚拟化工具VMWare 1）安装VMWare虚拟机软件 2）创建虚拟机 ---- 此处省略 3）安装CentOS 6.4操作系统 ---- 此处省略 4）导入已经安装好的虚拟机

2017-06-16 11:03:18 289

转载【HTTPS服务器配置】----Nginx配置

一、SSL证书申请 1、确认需要申请证书的域名 2、生成私钥和csr文件在linux机器上执行以下命令生成私钥 #openssl genrsa -out server.key 2048 在linux机器上执行以下命令生成csr文件 #openssl req -new -key server.key -out certreq.csr 以下黑色标识文字仅供参

2017-06-14 10:23:56 472

base64 编码图片显示处理

JSP severlet 动态 base64 编码图片显示处理

2012-09-12

HTML 5 教程.pdf

2012-11-19

jBPM4.3用户指南pdf

jBPM4.3用户指南 1. 导言 1.1. 许可证与最终用户许可协议 1.2. 下载 1.3. 源码 1.4. 什么是jBPM 1.5. 文档内容 1.6. 从jBPM 3升级到jBPM 4 1.7. 报告问题 2. 安装配置 2.1. 发布 2.2. 必须安装的软件 2.3. 快速上手 2.4. 安装脚本 2.5. 依赖库和配置文件 2.6. JBoss 2.7. Tomcat 2.8. Signavio基于web的流程编辑器 2.9. 用户web应用 2.10. 数据库 2.10.1. 创建或删除表结构 2.10.2. 更新已存在的数据库 2.11. 流程设计器（GPD） 2.11.1. 获得eclipse 2.11.2. 在eclipse中安装GPD插件 2.11.3. 配置jBPM运行时 2.11.4. 定义jBPM用户库 2.11.5. 在目录中添加jPDL4模式 2.11.6. 导入示例 2.11.7. 使用ant添加部分文件 3. 流程设计器（GPD） 3.1. 创建一个新的流程文件 3.2. 编辑流程文件的源码 4. 部署业务归档 4.1. 部署流程文件和流程资源 4.2. 部署java类 5. 服务 5.1. 流程定义，流程实例和执行 5.2. ProcessEngine流程引擎 5.3. Deploying a process部署流程 5.4. 删除流程定义 5.5. 启动一个新的流程实例 5.5.1. 最新的流程实例 5.5.2. 指定流程版本 5.5.3. 使用key 5.5.4. 使用变量 5.6. 执行等待的流向 5.7. TaskService任务服务 5.8. HistoryService历史服务 5.9. ManagementService管理服务 5.10. 查询 API 6. jPDL 6.1. process流程处理 6.2. 控制流程Activities活动 6.2.1. start启动 6.2.2. State状态节点 6.2.2.1. 序列状态节点 6.2.2.2. 可选择的状态节点 6.2.3. decision决定节点 6.2.3.1. decision决定条件 6.2.3.2. decision expression唯一性表达式 6.2.3.3. Decision handler决定处理器 6.2.4. concurrency并发 6.2.5. end结束 6.2.5.1. end process instance结束流程处理实例 6.2.5.2. end execution结束流向 6.2.5.3. end multiple多个结束 6.2.5.4. end State结束状态 6.2.6. task 6.2.6.1. 任务分配者 6.2.6.2. task候选人 6.2.6.3. 任务分配处理器 6.2.6.4. 任务泳道 6.2.6.5. 任务变量 6.2.6.6. 在任务中支持e-mail 6.2.7. sub-process子流程 6.2.7.1. sub-process变量 6.2.7.2. sub-process外出值 6.2.7.3. sub-process外向活动 6.2.8. custom 6.3. 原子活动 6.3.1. java 6.3.2. script脚本 6.3.2.1. script expression脚本表达式 6.3.2.2. script 文本 6.3.3. hql 6.3.4. sql 6.3.5. mail 6.4. Common activity contents通用活动内容 6.5. Events事件 6.5.1. 事件监听器示例 6.5.2. 事件传播 6.6. 异步调用 6.6.1. 异步活动 6.6.2. 异步分支 6.7. 用户代码 6.7.1. 用户代码配置 6.7.2. 用户代码类加载器 7. Variables变量 7.1. 变量作用域 7.2. 变量类型 7.3. 更新持久化流程变量 8. Scripting脚本 9. Configuration配置 9.1. 工作日历 9.2. Email

2012-11-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

地狱小子