繁星和孤岛的故事-CSDN博客

原创 Hadoop启发，写一个简单的“网盘”

本来想写一个分布式文件系统，类似Hadoop，以此来增加Hadoop的认识，但是奈何技术受限，所以先写一个一对一的文件传输系统。一、设计方向设计一个简单的网盘，服务器一台，客户端若干。实现简单地文件传输。二、设计思路运用serversocket与socket网络编程作为底层来实现框架。运用Java的I/O实现文件传输的一系列问题。运用配置文件properties来实现统一的参数管理。三、系统文件版本v0.20.8.2.1的问题以及以后改进我给我写的这个简单的系统框架起了一个简单名字Lee

2020-08-17 15:50:28 1187

原创集群管理专家zookeeper详细笔记

基于Hadoop的集群管理专家zookeeper 避免无聊，先看福利一、zookeeper定义 zookeeper是Hadoop的分布式协调服务特点：简单（核心是一个精简的文件系统）、富有表现力、高可用、采用松耦合交互方式二、安装三、zookeeper的结构 zookeeper可将其看作是一个具有高可用的特征文件系统，而是像Linux的文件系统一样，是一个树的数据结构。（父节点、子节点） ...

2020-08-04 16:40:34 464

原创大数据Hadoop分布式（MapReduce编程）& python可视化分析

Hadoop分布式大数据 & python可视化分析一、MapReduce MapReduce作为Hadoop专门用作计算的一个组件，虽然相比spark略有不足，但是他的与原生Hadoop的紧密配合还是可观的。分布式存储指的是HDFS组件，现在的MapReduce计算组件也被看做分布式并发计算，因为YARN资源控制组件，将资源调度和分配处理的清清楚楚。本次note主要记载了MapReduce的第一个小实验：入门分词wordcount（类似python的jieba库，但处理的数据是来源于大数据H

2020-07-14 21:38:18 3556 1

原创 Hadoop安装踩坑总结

Hadoop安装踩坑总结配置文件搭配切记按照格式来，否则他会有一个提醒你 [Fatal Error] hbase-site.xml:2:6: The processing instruction target matching "[xX][mM][lL]" is not allowed. 这时候只需要把相关的配置文件开头的空格删除即可。参考切记那主机名更改，且与其他想换文件匹配这个错误是因为我看的视频教学讲的是centos6在/etc/hosts更改即可，但是，centos7想改主机名得

2020-07-10 14:46:14 517

原创 Hadoop学习：Linux集群搭建

在写此文之前，郑重告诉大家，别轻易尝试rm -rf /*#这个命令。本文辅看视频：点链接即可>>> ???? Hadoop学习：Linux集群搭建一、Linux虚拟机环境搭建先建立好一台虚拟机，命名好配置Linux的网络环境: 编辑虚拟机进入虚拟机，在/etc目录下配置虚拟机IP centos7目录为: vi /etc/sysconfig/network-scripts/ifcfg-ens33 centos6目录为： vi /etc/sysconfig/n

2020-07-07 18:22:48 253 1

原创 MySQL之引狼入室（JDBC操作远程服务器数据库）

MySQL之引狼入室（JDBC操作数据库）一、欲速则不达，先踩坑第一个坑就是什么是JDBC？JDBC如何操作数据库？ JDBC通俗的来讲，就是一个“黄牛”，这个黄牛可以将数据库厂商和我们所写的应用程序连接，并进行沟通。你说这个“黄牛图”啥呢？我也不知道????。这是第一个坑，了解了JDBC是干啥的，然后想要操作数据库是吧？第二个坑，远端服务器的端口记得开放。我看了许多的文章，讲述JDBC如何连接到MySQL，就是没人告诉我，这个远端服务器的3306的端口一定要记得开放。第三个坑，MySQL

2020-07-03 23:49:01 221

原创 MySQL入门到入洞房（二）

一、MySQL查询篇本文接上文：MySQL从入门到入洞房（一）排序查询 limit x,y (x:表示从X条数据开始 y:需要查出多少条)，不同于python的切片 SELECT c_no, s_no,sc_degree FROM score ORDER BY sc_degree DESC LIMIT 0,1; 关键字：order by 理解为“按照。。排序” mysql> SELECT c_no, s_no,sc_degree FROM score ORDER BY sc_degree

2020-07-01 21:13:56 217

原创 MySQL入门到入洞房（一）

安装MySQL就不做笔记了，安装始终是我的阴影，安装啥也是，恶心极了。 MySQL基础命令先登录： mysql -u 用户名 -p -h ip地址 -P端口号 Enter password: welecom..... 1、创建数据库（1）创建一个database： create [database\schema] [if not exists] name; mysql> create database StuIMS; Query OK, 1 row affected (0.00 sec)

2020-06-27 11:39:19 1996 7

原创 Tensorflow入门note：搭建神经网络（谁看谁会）

Tensorflow入门note：搭建神经网络一、我所理解的神经网络众所周知，我们的大脑里有成千上万个神经元，神经元之间通过突触传递信息。而一个个神经元就是搭建神经网络的基础，而传递的信息，就是我们的关键点。如果神经元是搭建神经网络的一个个砖块，那么多个神经元就会组成一个神经网络。二、回到现实，那么我们所讨论的神经网络是啥呢？ 1、神经网络的认识：首先，是输入层，即所有数据集的入口，训练数据的大门，通过输入层进入下一层神经元，隐藏层。用到的知识可能是数据清洗，数据处理，pandas ,nump

2020-06-17 11:03:31 451

原创 Python机器学习：线性回归（梯度下降法得最优解）

Python机器学习：线性回归一、线性回归及梯度下降看到线性回归，我首先想到的是高中算那个线性回归题，一节课只算出一个k，而且数据规模只有几组而已。可如今，“大人时代变了” 关于什么是机器学习，我就暂且不做笔记了，网上介绍远比我介绍的清楚。我看的是周志华的西瓜书，疫情原因不得返校，有些数学知识不得细细咀嚼，实在是颇有遗憾。步入正题，线性回归：线性回归简单来说就是用一条曲线，来预测未知的可能的值。不知准确？求得theta0、1最初的办法是利用最小二乘法，求得欧氏几何最小的闭式解。梯度下降优化算

2020-05-31 16:10:17 1569

原创 Java提升学习（七）：Java集合类、迭代器

Java提升学习（七）：Java集合类、迭代器一、Java集合类（一）集合的概念 Java提供了一种类，这种类相当于容器，可存储一系列对象，统称为集合。集合与数组相近，但区分于数组数组的长度是固定的。集合的长度是可变的。数组中存储的是同一类型的元素，可以存储基本数据类型值。集合存储的都是对象。而且对象的类型可以不一致。在开发中一般当对象多的时候，使用集合进行存储。（二）Colle...

2020-05-06 09:00:56 321

原创 Python线程式“对讲机”：socket网络编程、线程

Python线程式“对讲机”：socket网络编程、线程在阅读我的博客之前，推荐大家阅读一下这两篇文章。Python 网络编程入门——用 Socket 做一个风花雪月服务器Python 进阶必备：线程模块 threading 先看一下程序的运行效果：一、什么是socket？ socket是用于在两个基于TCP/IP协议的应用程序之间相互复通信。我们平时用的QQ，微信，等社交软件，基本都与so...

2020-05-03 18:28:42 684 1

原创 Java提升学习（六）：Object类，泛类

Java提升学习（六）：Object类，泛类，迭代器，Collection集合一、Obejct类 java.lang.Object 类是Java语言中的根类，即所有类的父类。它中描述的所有方法子类都可以使用。在对象实例化的时候，终找的父类就是Object。 Object的方法有以下几种：拿toString();方法举例：父类 public class Factory/*extends Ob...

2020-05-02 14:47:39 496 1

原创 Java提升学习（五）：Scanner类、Random类、Math类

Java提升学习（五）：Scanner类、Random类、Math类一、Scanner类一个可以解析基本类型和字符串的简单文本扫描器。简单来说就是从键盘收入输入的数据。引用包： import 包名.类名; import java.util.Scanner; 构造方法：public Scanner(InputStream source) :构造一个新的 Scanner ，它生成的...

2020-04-20 17:57:46 238

原创 Java提升学习（四）：final关键字、内部类

Java提升学习（四）：final关键字、内部类一、final关键字 final关键字以为：不可改变的。可用于修饰类、方法和变量。当被修饰类的时候，类不可被继承。当被修饰方法的时候，不可被覆盖重写。当被修饰变量的时候，不可被赋值。修饰类： public final class 类名 { } 修饰方法：修饰符 final 返回值类型方法名(参数列表){ //方法...

2020-04-15 09:20:29 237

原创 Java提升学习（三）：抽象类、多态、接口

Java提升学习（三）：抽象类、多态、接口一、抽象类父类中的方法，被它的子类们重写，子类各自的实现都不尽相同。那么父类的方法声明和方法主体，只有声明还有意义，而方法主体则没有存在的意义了。我们把没有方法主体的方法称为抽象方法。Java语法规定，包含抽象方法的类就是抽象类。就像上面所画出来的例子，图形可以计算面积，但是，得具体到什么图形，动物们可以吃东西，但得具体到他们吃什么东西。定...

2020-04-13 21:19:35 323

原创 Python爬取Linux命令，并保存于Excel（爬虫基础）

Python爬取Linux命令，并保存于Excel 学习Linux运维，最难过的不是看不懂字符界面，而是不懂命令，前几日发现一个网站，上面保存了很多Linux的命令，唯一不足的就是网页并没有写明各个命令的归属，命令的功能。无情？？？315个命令，找自己想要的命令怎么查？好在我们有工具，python带你爬取所有命令，并详细保存。一、爬取篇首先，查看网页源代码，看看自己会不会爬，不会？出门...

2020-04-10 15:00:13 782 3

原创 Java提升学习（二）：构造方法，类的继承，封装

Java提升学习（二）：构造方法，类的继承，封装一、构造方法类有一种特殊的成员方法叫做构造方法，构造方法与类同名，在创建对象时，会自动调用类的构造方法。构造方法没有返回类型，更不能定义为void，不可加其他修饰符。若没有被定义，则在编译的时候，会自动加上一个默认的构造方法，但是不会有任何操作。可重载多个构造方法。示例：修饰符构造方法名(参数列表){ // 方法体 } pub...

2020-04-08 17:16:52 450

原创 Java提升学习（一）：面向对象、Java与面向对象

Java进阶学习（一）：面向对象、Java与面向对象 Java语言是一种面向对象的程序设计语言，而面向对象思想是一种程序设计思想，我们在面向对象思想的指引下，使用Java语言去设计、开发计算机程序。这里的对象泛指现实中一切事物，每种事物都具备自己的属性和行为。面向对象思想就是在计算机程序设计过程中，参照现实中事物，将事物的属性特征、行为特征抽象出来，描述成计算机事件的设计思想。它区别于面向过...

2020-04-04 12:48:31 352

原创 Java基础学习（七）：数组的创建、访问、遍历和输出

Java基础学习（七）：数组的创建、访问、遍历和输出一、数组的创建数组是由索引和元素构成，数组分为一维数组和多维数组。数组的创建：[数据类型] 数组名[]；或[数据类型][] 数组名；声明后的数组内容如果为空，则无法访问，必须初始化才能访问。有两种初始化方法：1、利用new内存空间，可以在后面追加赋值，也可以命名空间 2、直接赋值。数组赋值是用大括号和英文逗号组成。不同于C语言。示例...

2020-04-01 19:04:42 457

原创 Java基础学习（六）：StringBuilder、StringBuffer、String类方法汇总

Java基础学习（六）：StringBuilder、StringBuffer、String类方法汇总一、为什么要学习StringBuilder、StringBuffer? 字符串拼接，删除，改动需要重新申请内存，重新复制对象，浪费空间与时间。 StringBuilder、StringBuffer事先会分配一定的大小空间，字符串操作不需要重新分配内存。 StringBuilder是非线程安全，S...

2020-04-01 09:22:26 157

原创 Java基础学习（五）：String类、字符串常见操作

Java基础学习（五）：String类、字符串常见操作一、String类、字符串字符串是常量，创建后其值不可改变，长度也不可变。 String str = "hahaha" ; 如果不初始化字符串对象，变量就不会指向任何一个内存地址，此时调用会出错。创建一个空字符串可以使用null赋值。 String str = null ; 初始化字符串 ·String str = "hah...

2020-03-30 19:39:13 297

原创 Java基础学习（四）：条件控制，循环控制，跳转语句

Java基础学习（四）：条件控制，循环控制，跳转语句一、条件控制语句 1、if语句 if(布尔表达式){ //条件成立，将执行语句 } 2、if…else语句 if(布尔表达式){ //条件成立，将执行语句 }else{ //条件不成立执行此语句 } 三目运算符使用：逻辑运算？成立运行表达式：不成立运行表达式 3、if…else if语句 if（条件1）{//语句1 }else if（条件2...

2020-03-25 10:21:25 270

原创基于远程服务器：Python实现每天给女朋友发送QQ邮件，信息包括天气

基于远程服务器：Python实现每天给女朋友发送QQ邮件，信息包括天气哎，说到女朋友也惭愧，受疫情影响情人节也开始“云”体验，什么东西也没送，也没陪人家。事后我钢筋直男想了想，给女朋友写个脚本吧，毕竟自己是学这个的，那就写个发QQ邮箱的脚本吧，每天给他发QQ邮箱，告诉她“多喝热水，多穿衣服” ????想想也香香，情人芳心也得了，学习的目的也达到了。干！一、首先获得QQ邮箱授权打开QQ邮箱打开...

2020-03-24 09:49:36 2090 7

原创 Java基础学习（三）：方法的定义和使用、可变参数

Java基础学习（三）：方法的定义和使用、可变参数、内置方法一、方法其他语言称之为“函数”，Java称之为“方法”。它是一组通用性的操作。 - 比如求正弦值，获得某天日期返回值可有可无。 Java提供了超过1200个自带的函数方法可以调用第三方方法（代码复用）二、方法定义何使用 1、方法的格式：[权限，修饰] [返回类型] 方法名 ([参数类型] 参数名 ...){ // 具体语句...

2020-03-23 16:56:53 478

原创 Java基础学习（二）：常量变量，运算符，表达式，关键字

Java基础学习（二）：常量变量，运算符，表达式，关键字一、常量 1、定义：常量是一种预先定义，后不可改变的固定值。 2、关键字：final 3、定义格式为：（访问权）（static） final [数据类型] 常量名 = [数值] ；（常量名一般都大写），static在定义局部变量不可加。 4、预定义常量：如Math.E，Math.PI 5、常量在不同作用域可定义同名，但不建议。二、变量 ...

2020-03-18 16:16:48 475

原创 Java基础学习（一）：包，主类，数据类型及转换

Java基础学习（一）：包，主类，数据类型及转换一、Java包 1、定义：Java中，类文件不止一个会被使用，所以，Java代码以包管理。 2、关键字：package 3、简单示例： package firstpack; 4、命名规则：一般为保存路径。 5、一般通过import来调用。二、类的成员变量和局部变量先明确概念：类 = 属性 + 方法，将类实例化，就是对象。 1、定义：①类的成员...

2020-03-16 21:37:10 294

原创抗击肺炎，我们能做到的，就是别让爱隔离——python分析B站三个视频弹幕内容，云图数据。

武汉是个美丽的城市，但这个城市现在生病了。 “人之初，性本善” 美丽的武汉生病了，一场大病，有钱的人能捐钱，而我，一直陪着你们吧，武汉加油 ! 有人说“武汉人咋啥也吃” 有人说“武汉人真讨厌，生病了还往外跑” 有人说“武汉加油” … … 前几天想，为什么我会看到人们都在骂武汉？是少部分人在骂？还是我们都在希望这个城市恢复。为了验证这个想法，我想看看，大多数人们怎么想。首先确定数据来源我选取...

2020-01-29 22:40:38 454

原创用来图像识别pytesseract，tesseract的相关问题和方法

tesseract文字识别技术首先，下载tesseract-ocr 其次，安装（注意选择你要识别的语言库，虽然事后自己也能从官网下载）下载完成后就是最令人头疼的环境变量的配置 1.首先，右击此电脑，打开高级系统设置 2.点击环境变量 3.找到path，点击，并新建一个path，这个新建的path，必须是以你安装tesseract的目录（比如我的安装目录是：‪C:\Program ...

2020-01-21 13:08:48 502

原创用python的GUI、requests、BeautifulSoup库和pyinstaller，做个高校排名查询窗口的应用（新老手做项目）

用python的GUI、requests、BeautifulSoup库和pyinstaller，做个高校排名查询窗口放假了，闲着也是闲着，青春短暂。看到2019级的孩子们，登上大学的舞台，并想到了2020级的孩子还在苦苦奋斗，于是突发奇想，做个查询窗口，以便于他们树立目标，获得自己想去高校的部分信息。也借此机会，学点没学过的python的知识，给自己入门的爬虫技巧做个总结。用到的库 impor...

2020-01-02 13:18:13 418 1

原创 C语言网练习题：蛇行矩阵Python的解题方法

C语言网的练习题：蛇行矩阵题目描述：蛇形矩阵是由1开始的自然数依次排列成的一个矩阵上三角形。输入本题有多组数据，每组数据由一个正整数N组成。（N不大于100）输出对于每一组数据，输出一个N行的蛇形矩阵。两组输出之间不要额外的空行。矩阵三角中同一行的数字用一个空格分开。行尾不要多余的空格。样例输入 5 样例输出 1 3 6 10 15 2 5 9 14 4 8 13 7 12 11 先...

2019-12-21 19:11:58 687 2

原创《大学离散数学》图的矩阵表示，无向图关联矩阵，有向图关联矩阵

《大学离散数学》图的矩阵表示，无向图关联矩阵，有向图关联矩阵无向图关联矩阵相关计算 mport numpy as np ramdom_matrix = np.array([[1,1,1,0,0,0], [0,1,1,0,1,0], [0,0,0,1,1,0], ...

2019-12-16 21:04:52 4477

weixin_43818177的博客