Mew97-CSDN博客

原创基于 Spring Cloud Alibaba 构建一个微服务

文章目录基于Spring Cloud Alibaba构建一个微服务微服务方案简介Spring Cloud Alibaba服务注册与发现CAPZookeeper 是个 CP 系统，强一致性理想的注册中心服务间通信服务熔断降级路由网关统一访问接口Spring Cloud Gateway 功能特征Spring Cloud Gateway 工程流程链路追踪异步通信基于Spring Cloud Aliba...

2020-03-10 14:22:45 2819

原创 Spring-Cloud-Alibaba与Dubbo的集成

前言为什么要集成Dubbo在我之前的文章提到过，spring-cloud-alibaba无缝的集成类feign组件，底层属于http调用，所以使用起来会非常灵活，但是在性能上不及rpc，Dubbo正是一款高性能的rpc框架，有着良好的负载均衡与熔断降级特性，在微服务中也是一个非常流行的框架集成方案集成方案有多种，可以让zookeeper作为注册中心，然后把zookeeper集群集成到na...

2020-04-02 18:08:53 2263 1

原创 Hexo一键部署到阿里oss

Hexo一键部署到阿里oss首先上脚本感谢zhaohan提供的脚本(有点小问题，我自己修复了一下)const fs = require('fs')const path = require('path')const util = require('util')const OSS = require('ali-oss')const promisifyReaddir = util.pro...

2020-03-17 18:12:09 636

原创 mongoDB安装与pymongo的使用

mongoDB安装与pymongo的使用安装推荐docker-compose安装：环境需求：dockerdocker-composedocker-compose文件version: '2'services: mongo-container: image: mongo:3.4 container_name: mongodb environment...

2020-03-13 14:02:29 339

原创 Hexo + Github + 自定义域名(阿里免费SSL证书) 搭建个人博客/网站

最终成果：mew.wiki 欢迎您的到访～前提准备：nodejs 环境自己的域名(没有也可以，就使用github page默认提供的)安装Hexo官方文档：https://hexo.io/zh-cn/（看官方文档就能完成，没什么难度）npm install hexo-cli -ghexo init blogcd blognpm installhexo serv...

2020-03-09 23:56:30 3295 2

原创 Zookeeper集群搭建

前提：三台hadoop节点可以正常启动hdfs 步骤：1、下载zookeeper安装压缩包，解压到相应的目录2、在安装目录下创建data/zkData文件夹，在文件夹下新建myid文件，里面输入12、修改conf目录下zoo.cfg文件（原始没有zoo.cfg, 把zoo_sample.cfg 复制一份更名为zoo.cfg）表明集群有几台机器，并且指定和leader的端...

2019-03-28 16:48:56 151

原创 MapRduce python Top_n

数据格式：4234 4565 89579 0989 ····3455 879 123 9090 ····2342 9897 765 5746 ····987 8098 8008 80099 ········需求：计算这一组数中出现次数最多的数字，按出现次数从大到小排序，取前n个数以及他们出现的次数（top n）Python 代码：mapper：对于读入的每个数...

2019-03-21 17:41:31 221

原创 MapReduce之计算平均数的Java与Python实现

Java代码重写map：public class WCMapper extends Mapper<LongWritable, Text, Text, Text> { @Override protected void map(LongWritable key, Text value, Context context) throws IOException, Interrup...

2019-03-21 17:25:05 1131

原创 MapReduce之wordcount的java与python实现

Java代码：重写map类：public class WCMapper extends Mapper<LongWritable, Text, Text, IntWritable> { @Override protected void map(LongWritable key, Text value, Context context) throws IOExceptio...

2019-03-21 17:10:35 327

原创 Mapreduce基本工作流程

map 端从hdfs读入数据到完成映射到详细过程：以用wordcount计算一个文本为例读取数据之后在内存中的大体形式是：键值对map task 要做排序（方便索引），并且会把结果写在本地磁盘上（而不是写入hdfs，以免占用大量资源），reduce直接通过yarn找到对应的map，从map的磁盘上读取结果进行reduce（聚合）,也会通过归并排序进行排序reduce会把最...

2019-03-18 10:55:19 2349

原创 Centos7快速搭建Ngrok服务器及配置文件详解

准备工作：一台具有公网IP的服务器（服务器端）一个已经解析到此服务器的域名内网服务器（客户端）步骤：一、服务器端的操作安装git（先卸载旧版本）yum remove gityum install epel-releaseyum install https://centos7.iuscommunity.org/ius-release.rpmyum install gi...

2019-03-14 21:46:38 3619

原创 Hadoop分布式文件系统数据流：文件读取与写入

文件读取（流程图）：节点距离：两个datanode节点分别到他们最近的共同父节点距离的和（举例：相同机架不同服务器节点距离为2，相同机房不同机架节点距离为4，相同数据中心不同机房节点距离为6）在读取过程中如果某datanode节点宕机，就会找下一个datanode去拉取数据，并且client会记下此节点，下次读取数据时直接跳过此节点若拉取回的数据块损坏，则到下一个datano...

2019-03-14 19:15:16 1229