NewBeeMu的博客

ElasticSearch是一个分布式，高性能、高可用、可伸缩、RESTful 风格的搜索和数据分析引擎。通常作为Elastic Stack的核心来使用，Elastic Stack大致是如下这样组成的：E：EalsticSearch 搜索和分析的功能L：Logstach 搜集数据的功能，类似于flume（使用方法几乎跟flume一模一样），是日志收集系统K：Kibana 数据可视化（分析），可以用图表的方式来去展示，文不如表，表不如图，是数据可视化平台。

# coding=utf-8 # @Time : 2019/12/6 10:21 # @Author : Z # @Email : S # @File : CosMoviesRecommend.py #给用户推荐电影 import math import sys from texttable import Texttable #pip install texttable...

# coding=utf-8 # @Time : 2019/12/12 0:34 # @Author : Z # @Email : S # @File : 10.1CTR.py # 读入数据 import os data_path = os.path.join(".", "train_small.csv") import pandas as pd ctr_data1 = pd....

# coding=utf-8 # @Time : 2019/12/3 14:48 # @Author : Z # @Email : S # @File : 2.6ML_SMOTO_talentFeatures.py #数据挖掘项目构建人才(用户)流失模型 import pandas as pd talent_data = pd.read_csv("./train.csv")...

步骤： 1、加载数据 2、查看数据的特征信息 3、特征选择-pclass船舱仓位-sex-age 4、对age列进行空值填充 5、对pclass处理和sex的处理 6、对数据集进行划分，划分为训练集和测试集 7、加载算法构建模型 8、预测 9、校验 # coding=utf-8 # @Time : 2019/12/1 20:49 # @Author : Z # @Email : S #...

# coding=utf-8 # @Time : 2019/12/4 20:21 # @Author : Z # @Email : S # @File : UserBasedCF.py #MovieLens电影推荐系统 import math #定义基于用户得协同过滤算法类 class UserBasedCF: #初始化对象 def __init__(self...

map段： LogClearMap.java package etl; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.io.LongWritable; imp...

package report import config.ConfigHelper import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, SparkSession} import utils.MakeATPKpi //利用sparksql进行报表分析 object TrainTimeSparkSQLAna...

package report import config.ConfigHelper import org.apache.spark.sql.{Dataset, SparkSession} import scalikejdbc.{DB, SQL} import scalikejdbc.config.DBs import utils.MakeATPKpi //利用mysql存储traintime进...

package report import config.ConfigHelper import org.apache.commons.lang3.StringUtils import org.apache.spark.sql.SparkSession import utils.{GetJedisConn, MakeATPKpi} //利用redis存储中间字典表进行统计分析 object T...

package tools import java.util.Properties import config.ConfigHelper import org.apache.spark.sql.{SaveMode, SparkSession} //将列车出厂时间数据灌入mysql object TrainTime2Mysql { def main(args: Array[String])...

package tools import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, SparkSession} import utils.GetJedisConn //将列车出厂时间灌入redis中 object TrainTime2Redis { def main(args: Array[String...

package report import config.ConfigHelper import org.apache.spark.broadcast.Broadcast import org.apache.spark.rdd.RDD import org.apache.spark.sql.SparkSession import scalikejdbc.{DB, SQL} import scal...

我们在对报表进行处理的时候，怎么以一个属性为维度，统计其他属性的指标。 以下的案例是我们对我们的报表以配属铁路局为维度统计他们的各个指标，而且要使用多种方法，并且要能输出到json和mysql中 package report import java.util.Properties import com.google.gson.Gson import config.ConfigHelper im...

在对数据进行处理的时候，很多时候需要我们进行数据清洗。 下面的案例就是对大量的数据进行处理： 每行代码完成的任务在备注中都有叙述 package etl import java.io.File import java.text.SimpleDateFormat import java.util.Date import bean.{Logs, logSchema} import config.C...