Data_Analyst-CSDN博客

原创 python使用sqlalchemy从mysql获取数据后调整为mysql的数据格式

def get_data_from_mysql_table(db_url, is_debug=False): '''pandas>=0.24.0''' engine = create_engine(db_url, echo=is_debug) conn = engine.connect() #获取数据表字段的类型 meta_data = MetaD...

2019-07-12 16:27:15 591 1

原创 Centos7清理/tmp文件夹

Centos 6以及6以下的系统使用watchtmp + cron来实现定时清理临时文件的效果，这点在Centos 7发生了变化。一. 系统自动清理在Centos 7下，系统使用systemd管理易变与临时文件，/tmp目录的清理规则主要取决于/usr/lib/tmpfiles.d/tmp.conf文件的设定，默认的配置内容为：# This file is part of

2018-01-24 10:22:52 8723

原创基于Kerberos的NIFI集群安全登陆模式

本文档旨在说明如何在NIFI集群模式下中配置kerberos安全登陆模式。

2017-08-03 18:09:01 2091

原创基于Kerberos的NIFI单节点安全登陆配置

NIFI安全登陆模式有LDAP和Kerberos两种方式，本文档旨在说明如何在单节点中配置kerberos登陆模式。基于kerberos的NIFI安全模式配置过程中有两大部分:证书生成以及用户登陆的配置。

2017-08-01 09:18:22 2194 1

原创 NIFI简介

一、NiFi是什么？任何一个大数据应用分析的软件，都需要一个强大的数据抽取组件、数据仓储系统、数据处理引擎、任务调度引擎和流程设计界面。Hadoop和Spark的重点是在数据的存储和任务调度，R的重点是数据分析引擎。而本文所说的nifi的主要功能则体现在数据拉取和流程的设计上。 Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统。Apache NiFi

2017-07-22 09:16:18 14373

原创 centos7系统安装python3.6.2版本

目前Python存在两个版本Python2和Python3系列，且这两个版本同时在更新与维护。到底是选择Python2还是选择Python3，取决于当前要使用的库、框架支持哪个版本。因此一台电脑上可能需要同时安装Python2和Python3两个版本。本文主要讲述的是如何在centos7系统中存在python2系列的同时安装python3.6.2(目前python3系列的最新版本)1.安装

2017-07-21 10:57:05 2449

原创 alluxio的适用场景

最近一直在研究alluxio,希望其能够和hive,spark，hbase集成在一起，达到更快的运行速度，提高性能；但从目前看来看，想用alluxio来提升某个具体应用的性能，不大现实。从网上查找资料来看，应用比较广泛的几家大公司比如：百度，去哪儿--都是建立在多个数据中心提取数据的前提下提升的性能。参考文章如下，mark下，免得忘记。 alluxio的应用场景---（参考文

2016-11-23 15:21:14 5670

原创 Hive在spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法

1、问题描述自从spark2.0.0发布之后，每次启动hive的时候，总会发现一个小问题，启动 hive --service metastore的时候，会报一个小BUG: 无法访问/lib/spark-assembly-*.jar分析其源码架构，发现主要原因是：在//bin/hive文件中，有这样的命令：加载spark中相关的JAR包。但是spark升级到spark2以后，原

2016-09-28 17:29:40 7498

原创 Centos7.1 安装测试Alluxio 出现Pseudo-terminal will not be allocated because stdin is not a terminal 错误的解决

在Centos7.1系统安装测试过程中出现了Pseudo-terminal will not be allocated because stdin is not a terminal错误的解决方法

2016-07-15 09:48:09 911

转载 WordCount程序中隐藏的秘密

MR具体流程如下： 1）文件拆分成splits，这一步由MapReduce框架自动完成，其中偏移量（即key值）包括了回车所占的字符数和Linux环境有关。 2）将分割好的对交给用户定义的map方法进行处理，生成新的对。 2.5）得到map方法输出的对后，先进行分区 (ps:自己添加的图，后面的排序没有改)

2016-03-09 10:30:13 466

原创关于mysql时间类型datetime与timestamp范围

关于mysql时间类型datetime与timestamp范围datetime类型取值范围：1000-01-01 00:00:00 到 9999-12-31 23:59:59timestamp类型取值范围：1970-01-01 00:00:00 到 2037-12-31 23:59:59timestamp类型具有自动初始化和自动更新的特性。

2014-07-14 18:05:30 7162