- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 01.聚类分析-Kmeans的简单实现
Kmeans实例实现代码软件环境：scala2.10.4+spark1.6.3import org.apache.log4j.{Level, Logger}import org.apache.spark.mllib.clustering.{KMeans, KMeansModel}import org.apache.spark.mllib.linalg.Vectorsimport org.ap...
2018-02-27 10:58:02
667
原创 一个日志实时处理方案
主要功能 *日志实时写入ES，实现实时查询 *日志实时写入HDFS，用于日志分析 *日志异常实时预警使用的主要组件 rsyslog、flume、kafka、hive、zookeeper、storm、presto、sqoop本案例也是第一次尝试，基本实现了自己需要的功能，中间可能有许多不是很合理的地方。大致架构思路如下：
2017-07-31 14:45:46
1976
原创 Kettle调度实现
本文介绍使用shell调用kettle job实现数据调度功能。主要功能：1、通过crontab定时调度shell2、使用shell调用kettle job 可以快速配置需要调度的JOB3、调度异常发送邮件预警shell调度kettle job的脚本实现基本步骤为 1、创建extract文件夹，用于存放脚本&JOB配置文件 2、创建extract_log文件夹，用于存放调度log 3
2017-07-31 14:05:42
4889
2
原创 sqoop运用
介绍下从通过sqoop将数据定时转移至mysql的使用方法过程：把存储在hive表的日志数据汇总成天、时、分数据，然后把三份数据同步至mysql前提：hive表已创建好、mysql表已创建好将可执行sqoop语句封装成shell脚本1、汇总脚本etl.sh#!/bin/bash. ~/.bash_profiletoday=$(date -d '-0 day' '+%Y%m%d')yetoda
2017-07-31 11:27:25
649
原创 Flume基本使用
Flume的核心组件为source、channle、sink：组件描述source可以对接数据源，可以是mysql、file、tcp等 channle为数据传输通道，可指定为内存、文件等 sink为数据输出，可以是file、mysql、es、hdfs、hive、kafka等等功能描述-1由于soucre和sink均有多样性，因此可以根据需求非常灵活的组织自己需要的数据流转模式，可以跨越各种限制功
2017-07-31 11:14:03
506
原创 Hadoop环境搭建
包含hadoop、hive、hbase、zookeeper、storm、spark、Kafka、flume、sqoop一、服务器基本配置服务器系统版本：CentOS release 6.4 (Final) JDK版本：java version “1.7.0_60*二、 集群信息三、 各组件版本信息四、安装步骤4.1 环境基本配置addusr hadusr #创建用户passwd h
2017-07-29 16:23:23
595
原创 03、用Tensorflow训练一个线性回归
目标：根据给定的线性回归公式，训练构建模型，获取与给定公式参数相差最小的参数值代码：#######################################################################给出一个线性代数,通过给出的值训练自己模型,得出接近给出线性代数的参数#################################################
2017-07-29 16:14:52
311
转载 02、Tensroflow简单例子
实现乘法计算 实例代码#ex1.pycoding:utf-8import tensorflow as tf#定义两个变量a = tf.placeholder("float")b = tf.placeholder("float")#创建一个OP,mul为乘法函数y = tf.mul(a,b)#建立会话sess = tf.Session()#启动会话 输入数据 计算节点 打印数据prin
2017-07-29 15:58:02
636
原创 01、Tensorflow环境安装
基础环境：cnetos7+python2.7.6+ Cuda 7.0+ CUDNN 6.5 #一定要用centos7系统，低版本的由于glib版本低，会导致各种问题出现1、支持PGU(若不开启GPU运算可略过此步)：a、Cuda 7.0 下载地址：https://developer.nvidia.com/cuda-toolkit-70 下载 run文件，安装时第一个选项选择N，否则安装会出问题
2017-07-29 15:39:14
318
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人