- 博客(52)
- 收藏
- 关注
RSS订阅原创 linux 安装redis 遇到问题解决方案
查看当前服务起的gcc 版本：因为redis需要c++编译器编译。centos 7 系统自带的gcc 版本为：4.8.5。进入解压后的redis目录（这里采用tar包安装）这时查看一下/etc/yum.repo.d/下面的文件，会发现多了。这时候我们就需要升级一下gcc 版本，在网上搜到的解决方案会提示。多了两个yum源，但是连接不到这个源，所以解析不到。当我执行了这个命令时，会遇到下面如此情况。当执行make命令时。然后进入到redis目录下，执行。需要更改一下这两个文件中的源。redis 安装成功。
2024-07-13 15:58:13
551
1
原创 HBase
核心概念：Client：发起读写请求的角色，面向hbase client 编程 首先hbase查询Meta表，找到读或写的数据的region区域位置信息 然后向region对应的HRegionServer上发送读写请求 zookeeper：存储Hbase源数据放置的位置 负责HMaster的选择和主备切换 负责对HRS进行监控 对Roo
2022-06-15 21:07:32
1038
原创 Hive数据仓库
基本使用 sql语言show databases; 查看数据库 ; 不能省略优点：缺点：HIve架构设计特别说明：hive2.2以后版本变化较大，去掉了HWI模块，HiveCLI模式也直接采用了beeline链接从上图可以看出，Hive的体系结构分为以下几部分:Hive 基础应用1。Hive基础概念1.hive 数据模型2。HiveSqlDDL建表说明1 元数据：描述数据的数据2.表分类：主要分内表和外表 1.内表：元数据和数据本身均被Hive管理。删除表则全部删除 2.外表：元数据被hive管理，数据本身
2022-06-15 20:49:39
6613
原创 Spark
1.Spark架构设计 1.1架构设计图 1.2 相关术语名词解释 1、RDD（Resillient Distributed DataSet） 弹性分布式数据集，是对数据集在Spark存储和计算过程中的一种抽象 是一组制度，可分区的分布式数据集和 一个RDD包含多个分区Partition（相当于MapReduce中的INputSplit），分区是依照一定的规则的，将具有相同规则的属性的数据记录放在一起 横向上课切分并行计算，以分区Partition为切分后的最小存储和计算单元。 纵向上可
2022-05-27 20:53:43
1776
原创 Yarn加总结
1 是什么： Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者) 一种新的Hadoop资源管理器，一个通用资源管理系统 为上层提供统一的资源管理与任务调度即监控，提高了集群管理效率，资源使用率，数据共享效率 2 MRv1：包括三个部分：运行是环境（JobTracker和TaskTracker）编程模型（MapReduce）和数据处理引擎（Map，Reduce任务） JobTracker主要功能： 资源管理，协调平衡集群中
2022-04-27 19:18:16
507
原创 MapReduce 进阶
1HDFS数据格式详解： 1.1文件格式 分为面向行和面向列的两大类文件格式 面向行 ： 文本文件格式（.TXT） 可切分 优点：查看方便编辑简单 缺点：无压缩占空间打，传输业利达，数据解析开销大 适用场景：学习练习使用 面向行： 序列文件格式（.seq） 可切分 优点：衍生支持，二进制kv存储，支持行和块压缩 缺点：本地查看不方便，小文件合并成KV结构后不易查看内部数据 适用场景：生产环境使用。map 输出的默认文件格式 面向列：（.rc）可切分 优点：数据加载快，查询快，空间利用率高，高负载
2022-04-26 16:43:41
466
原创 MapReduce
是什么： 一种编程模型，基于集群的高性能并行计算平台，可以使用普通服务器构成一个包 数十数百甚至数千个节点的分布式和并行计算集群 2：基本特点： 分布可靠，对数据集的操作分发给集群中的多个节点实现可靠性，每个节点周期性返回他完成的任务和最新的状态 封装了实现细节，基于框架API变成，面向业务展开分布式编码 提供了跨语言编程的能力 3：主要功能 3.1 数据划分和计算任务调度： 系统自动将一个作业(Job)待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务(Tas...
2022-04-24 19:10:55
291
原创 HDFS
1Hadoop核心组件与应用 HDFS：分布式海量数据存储功能 Yarn：提供资源调度与任务管理功能 资源调度：根据申请的计算任务，合理分配集群中的计算节点 任务管理：任务在执行过程中，负责过程监控，状态反馈，任务在调度等工作 MapReduce:分布式并行编程模型和计算框架 Hive：提供数据摘要和查询的数据仓 Streaming:解决非Java开发人员使用Hadoop平台语言的问题 Hbase:基于列式存储模型的分布式数据库 Zookeeper:分布式协同服务 2Hadoo.
2022-04-22 21:11:43
133
原创 Linux
1关闭linux服务器 方法一：halt 方法二：shutdown -h now 方法三：poweroff 2如何重启linux服务器 方法一：reboot 方法二：shutdown -r now 3查看当前用户 whoami 切换用户： su [用户名] 添加用户： useradd 4修改密码： passwd 5切换目录：cd 6创建目录：mkdir 7查看目录文件或者子目录 ls 8查看当前路径： pwd 9创建文件 touch 10 编辑 ： vi : 进入.
2022-04-19 20:07:09
271
原创 Springboot
一、介绍 1.优势 ①创建独⽴的 Spring 应⽤程序 ②嵌⼊的 Tomcat，⽆需部署 WAR ⽂件 ③ 简化 Maven 配置 ④⾃动配置 Spring ⑤提供⽣产就绪型功能，如指标，健康检查和外部配置 2.特性 ①为基于 Spring 的开发提供更快的⼊⻔体验 ②开箱即⽤，没有代码⽣成，也⽆需 XML 配置。同时也可以修改默认值来满⾜特定的需求 ③提供了⼀些⼤型项⽬中常⻅的⾮功能特性，如嵌⼊式服务器、安全、指标，健康检测、外部配置等 ④Spring Boot 并不是对 Spring 功能上的增强，⽽
2022-04-10 20:19:16
2415
原创 SpringMvc
1 三层架构介绍 咱们开发服务器端程序，一般都基于两种形式，一种C/S架构程序，一种B/S架构程序 使用Java语言基本上都是开发B/S架构的程序，B/S架构又分成了三层架构 三层架构 表现层：WEB层，用来和客户端进行数据交互的。 业务层：处理公司具体的业务逻辑的。 持久层：用来操作数据库的。 2 MVC设计模式介绍 MVC全名是Model View Controller 模型视图控制器，每个部分各司其职。 Model：数据模型，JavaBean的类，用来进行数据封装。 Vie
2022-03-24 21:04:26
104
原创 Spring_02
AOP Spring 是解决实际开发中的一些问题，而 AOP 解决 OOP 中遇到的一些问题.是 OOP 的延续和扩展. 使用面向对象编程 （ OOP ）有一些弊端，当需要为多个不具有继承关系的对象引人同一个公共行为时，例如日志、安全检测等，我们只有在每个对象里引用公共行为，这样程序中就产生了大量的重复代码，程序就不便于维护了，所以就有了一个对面向对象编程的补充，即面向方面编程 （ AOP ), AOP 所关注的方向是横向的，区别于 OOP 的纵向。 2.1 为什么学习 AOP 在不修改源...
2022-03-23 21:44:06
133
原创 Spring_02
IOC注解: XMl方式: 优点: 1.XML配置方式进一步降低了耦合,使得应用更加容易扩展,及时对配置文件进一步修改也不需要工程进行修改和重新编译 2.在处理大的业务量的时候，用XML配置应该更加好一些。因为XML更加清晰的表明了各个对象之间的关系，各个业务类之间的调用。同时spring的相关配置也能一目了然。 缺点: 配置文件读取和解析需要花费一定的时间,配置文件过多的时候难以管理,无法对配置的正确性进行校验,增加了测试难度 Annotation配置 优点: 1.在class文件中, 可
2022-03-22 16:44:08
109
原创 Spring 01
Spring是什么 Spring是分层的 Java SE/EE应用 full-stack 轻量级开源框架，以 IoC（Inverse Of Control：反转控制）和 AOP（Aspect Oriented Programming：面向切面编程）为内核。 提供了展现层 SpringMVC 和持久层 Spring JDBCTemplate 以及业务层事务管理等众多的企业级应用技术 ，还能整合开源世界众多著名的第三方框架和类库，逐渐成为使用最多的Java EE 企业应用开源框架。 优点: 1:方便解耦
2022-03-21 19:44:39
102
原创 Mybatis
1mybatis中的连接池 1.1什么是连接池 数据库连接是一项有限的昂贵资源，一个数据库连接对象均对应一个物理数据库连接，每次操作都打开一个物理连接，使用完都关闭连接，这样造成系统的性能低下。 数据库连接池的解决方案是在应用程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由应用程序动态地对池中的连接进行申请、使用和释放。 对于多于连接池中连接数的并发请求，应该在请求队列中排队等待。并且应用程序可以根据池中连接的使用率，动态增加或减少池中的连接数。 总结： 连接池是面向数据库..
2022-03-18 20:22:27
425
原创 Mybatis _02
1 #和$的区别 #{}表示一个占位符号 通过#{}可以实现 preparedStatement 向占位符中设置值，自动进行 java 类型和 jdbc 类型转换， #{}可以有效防止 sql 注入。 #{}可以接收简单类型值或 pojo 属性值。 可以自动对值添加 ’ ’ 单引号 ${}表示拼接 sql 串 通过${}可以将 parameterType 传入的内容拼接在 sql 中且不进行 jdbc 类型转换， ${}可以接收简单类型值或 pojo 属性值，如果 parameterTyp.
2022-03-17 22:35:10
104
原创 Mybatis
1什么是框架 1.1什么是框架 框架（Framework）是整个或部分系统的可重用设计，表现为一组抽象构件及构件实例间交互的方法; 另一种定义认为，框架是可被应用开发者定制的应用骨架。前者是从应用方面而后者是从目的方面给出的定义。 简而言之，框架其实就是某种应用的半成品，就是一组组件，供你选用完成你自己的系统。简单说就是使用别人搭好的舞台，你来做表演。而且，框架一般是成熟的，不断升级的软件。 1.2框架解决什么问题 框架要解决的最重要的一个问题是技术整合的问题，在J2EE的框架中，有...
2022-03-17 22:33:02
215
原创 Day 01 - cookie && session
## 会话技术 1 会话: 一次会话中包含多次请求和响应 * 一次会话: 浏览器第一次给服务器资源发送请求,会话建立,直到有一方断开为止 2 功能: 在一次会话的范围内的多次请求间,共享数据 3 方式: 1 客户端会话技术 :cookie 2 服务器端绘画技术 : session ## cookie 概念: 客户端会话技术,将数据保存到客户端 2 快速入门 : * 使用...
2022-03-08 21:08:31
152
原创 Days 38 JQuery
1 jQuery 介绍 1) 与JS比较 js: 1 入口函数只有一个 window.onload 2 浏览器兼容性: 非常让人头疼 比如textContent 虽然作为标准方法但是只支持IE8+以上的浏览器 3 DOM错综复杂,实现简单的效果很麻烦 4 代码容错性差 出错后导致后面的代码不执行 JQuery 1 市场占有率稳步上升 代码比较少,功能强大 2 DOM 比较强大 事件处理, 万全解决了浏览起的兼容性问题 3 Ajax 操作比较好 2 什么是jQuery 1、jQue...
2022-03-05 13:41:31
131
原创 Days 37 Dom
节点操作 、什么是节点 根据W3C的HTMLDOM标准，HTML文档中的所有内容都是节点： 整个文档是一个文档节点document 每个HTML元素是元素节点 HTML元素内的文本是文本节点 每个HTML属性是属性节点 注释是注释节点 、节点类型 通过noteType属性可以获取节点的类型 document的节点类型---9 console.log(document.nodeType);//9 标签的节点类型---1 varbox1=d...
2022-03-04 07:31:08
96
原创 Days 36 DOM
webapi介绍 、api的概念 API（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。例如：alert()、prompt()、log()、reverse()、getMonths() 任何开发语言都有自己的API API的特征输入和输出(I/O) API的使用方法(console.log()) 、webapi的概念 浏...
2022-03-02 21:04:42
78
原创 Days35 js
数组 、为什么要学习数组 之前学习的数据类型，只能存储一个值(比如：Number/String。 如果我们想存储班级中所有学生的姓名，此时该如何存储？ 、数组的定义 所谓数组，就是将多个元素（通常是同一类型）按一定顺序排列放到一个集合中，那么这个集合我们就称之为数组。 数组是一个有序的列表，可以在数组中存放任意的数据，并且数组的长度可以动态的调整。 、通过数组字面量创建数组 // 创建一个空数组 var arr1 = []; // 创建一个包含3个数值的数组，多个数组项以逗号隔开 var...
2022-03-01 21:53:15
68
原创 Days34 js
JavaScript介绍 、JavaScript是什么 1、JavaScript的历史 Netscape（网景）在最初将其脚本语言命名为LiveScript，是布兰登.艾克发明的。后来Netscape在与Sun合作之后将其改名为JavaScript。JavaScript最初受Java启发而开始设计的，目的之一就是“看上去像Java”，因此语法上有类似之处，一些名称和命名规范也借自Java。JavaScript与Java名称上的近似，是当时Netscape为了营销考虑与Sun微系统达成协议的结果。Java
2022-02-28 20:40:43
61
原创 Days32 css
(1)、标准流 这个单词很多人翻译为文档流，字面翻译普通流或者标准流都可以。 html语言当中另外一个相当重要的概念----------标准流！或者普通流。普通流实际上就是一个网页内标签元素正常从上到下，从左到右排列顺序的意思，比如块级元素会独占一行，行内元素会按顺序依次前后排列；按照这种大前提的布局排列之下绝对不会出现例外的情况叫做普通流布局。 前面我们说过，网页布局的核心，就是用CSS来摆放盒子位置。如何把盒子摆放到合适的位置？ CSS的定位机制有3种：普通流（标准流）、浮动和定位。 (2
2022-02-24 20:55:07
90
原创 Days31 CSS
CSS初识 (1)、CSS的发展历程 从HTML被发明开始，样式就以各种形式存在。不同的浏览器结合它们各自的样式语言为用户提供页面效果的控制。最初的HTML只包含很少的显示属性。随着HTML的成长，为了满足页面设计者的要求，HTML添加了很多显示功能。但是随着这些功能的增加，HTML变的越来越杂乱，而且HTML页面也越来越臃肿。于是CSS便诞生了。 (2)、CSS 网页的美容师 CSS的出现，拯救了混乱的HTML，当让更加拯救了我们web开发者。 让我们的网页更加丰富多彩。 CSS的最大贡献就是：
2022-02-23 18:51:14
104
原创 Days 30 html 续
创建表格 在HTML网页中，要想创建表格，就需要使用表格相关的标签。创建表格的基本语法格式如下： <table> <tr> <td>单元格内的文字</td> ... </tr> ...</table> 在上面的语法中包含三对HTML标签，分别为 table、tr、td，他们是创建表格的基本标签，缺一不可，下面对他们进行具体地解释。 1.table用于定义一个表格。 2.tr 用于定义表格中的一行...
2022-02-22 20:48:16
81
原创 Days 28 Jdbc
1 : JDBC : java Database Connectivity (java 数据库链接) 是让java链接数据库的API API Application Proramming Intergace (应用程序接口) 就是函数库 所以JDBC
2022-02-17 21:10:45
76
原创 Days 27数据库应用
1 DDL 基础,扩展 Alter : 更改表名 Alter table 表名 rename 新表名 例: alter table student rename student info 更改字段名 类型 alter table student info change student name student name int 添加字段 alter table student info add student age int 删除字段 ...
2022-02-15 19:36:43
96
原创 【无标题】
项目介绍 背景 根据IP得到位置,加标签 进行大数据分析,比如淘宝推荐等提供优质数据 www.ip.cn 等 查询IP 需求 IP 分析 归属地信息 , 查找在毫秒内完成 IP地址库,公网都是开放的 IANA : 国际组织,负责公网IP维护分发 技术栈 Eclipse ,JavaSE中面向对象、IO流、二分法算法、Base64编码、工具类封装 目标 通过开发IP地址归属地查询平台，我们需要对JavaSE综合技术有所提升，增强实战能力。学习完该项目我们应该具备如下能力： 1 面向对
2022-02-11 21:20:38
438
原创 Days25 jdk新特性
1.Lambda 表达式 1.1 介绍 Lambda表达式是一种没有名字的函数,也可称为闭包，是Java 8 发布的最重要新特性。 本质上是一段匿名内部类，也可以是一段可以传递的代码。 还有叫箭头函数的... 闭包 闭包就是能够读取其他函数内部变量的函数,比如在java中,方法内部的局部变量只能在方法内部使用,所以闭包可以理解为定义在一个函数内部的函数 闭包的本质就是将函数内部和函数外部链接起来的桥梁 1.2 特点 允许把函数作为一个方法的参数（函数作为参数传递进方法中...
2022-02-10 21:14:45
225
原创 Days 24 网络编程 正则表达式
1. 网络编程 1.1 概述 Java是 Internet 上的语言，它从语言级上提供了对网络应用程 序的支持，程序员能够很容易开发常见的网络应用程序。 Java提供的网络类库，可以实现无痛的网络连接，联网的底层 细节被隐藏在 Java 的本机安装系统里，由 JVM 进行控制。并 且 Java 实现了一个跨平台的网络库，程序员面对的是一个统一 的网络编程环境。 1.2 网络基础 计算机网络： 把分布在不同地理区域的计算机与专门的外部设备用通信线路互连成一个规 模大、功能强的网络系统，从而使众多的计
2022-02-09 19:26:34
111
原创 Days23 死锁 线程通信 单列模式
1. 死锁 1.1 概述 1.2 代码实现 2. 线程通信 2.1 概述 2.2 使用方式 2.3 生产者和消费者 3 .单列模式 单列模式 让某个类只实列话一个对象 构造方法私有化静态变量保存对象 ,公共的静态方法用于获取类对象 饿汉模式在多线程环境下没有问题,因为不管多少线程 类只能被加载一次,所以只会被初始化一次,也就意味着只能创建一个对象 ...
2022-01-25 20:00:20
69
原创 Days 线程
1 .多线程 1.1 程序 进程 线程 程序 : 一组命令的集合,为了完成指定的功能,程序是静态概念,一般保存在硬盘当中 进程 : 正在运行的程序,是一个动态概念,需要保存在内存当中,操作系统会分配对应的PID,当我们直接关闭某个进程的时候,该进行会在运行内存中被销毁 线程 : 一个程序中,不同的执行分支,如果同一个时间节点允许多个线程同时执行的时候,我们称为支持多线程 在Java中,main方法开始执行,就是一个线程,称为主线程 1.2 并行和并发 并行 :多个cpu 同时执行多个任务 并
2022-01-24 21:16:52
135
原创 Days 20 操作 递归复制 序列化
1.File 1.1 概述 java.io.File类：文件和文件目录路径的抽象表示形式，与平台无关 File 能新建、删除、重命名文件和目录，但 File 不能访问文件内容本身。 如果需要访问文件内容本身，则需要使用输入/输出流。 想要在Java程序中表示一个真实存在的文件或目录，那么必须有一个File对 象，但是Java程序中的一个File对象，可能没有一个真实存在的文件或目录。 File对象可以作为参数传递给流的构造器 1.2 构造方法 public File(String path
2022-01-23 19:20:50
64
原创 Days 19 IO 流
1 IO 1.1 概述 流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作 I :input O: output 1.2 分类 1.3 四大抽象类 1.3.1 InputStream 1.3.2 OutputStream 1.3.3Reader 1.3.4 Writer 1.4 文件流 1.4.1 FileInputStream ..
2022-01-21 19:28:26
288
原创 Days 散列表、泛型
1.Set 1. 1hashSet使用 2.散列表 2.1概述 2.2 HashSet 以上两个截图可以看出来,当我们时候HashSet时候,其实就等于是再使用HashMap 添加数据的时候,虽然调用的是HashSet的add方法,但是本质还是调用map的put方法 在map中,put是添加方法 而map中,需要保存的是k和v映射关系,所以set中有一个变量保存了value的值,所以我们在进行set添加的时候之操作了cap中的key,value的值我们...
2022-01-20 20:44:00
342
原创 Days 17 集合2
1.5.2 LinkedList 1.5.2.1 基本使用 1.5.2.2 底层实现 1.5.2.2.1 节点类 链表由节点构成,因为是双向链表,所以节点中有三个属性 1 保存的数据 Object 2 下一个节点对象 节点类型 3 上一个节点对象 节点类型 1.5.2.2.2 LinkedList类 为了首尾添加效率更高,在LinkedList类中保存了首节点和尾结点 1.5.2.2.3 添加 1.5.2.2.4 获取 ...
2022-01-19 18:02:41
391
原创 Days 16 集合
1.数组封装 1.1 需求 数组操作,相对还是比较复杂的,也不能做添加和删除操作,当需要添加和删除的时候需要新建数组,复制数组,或者元素移位,比较麻烦 所以 我们对这些添加和删除操作进行封装 1.2 编码实现 1.4 测试 2.集合 2.1 概述 2.2 继承体系 Collection 是集合,两个直接子接口是List和set List 特性 : 有序 可重复,保证数据的添加顺序和取出顺序一致 Set 特性 : 无序 不可重复,不能保证数据的添加和取出顺...
2022-01-18 20:56:43
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人