海边看花开的博客

原创 5 Java的Beak,Continue,Return的使用

在任何循环语句的主体部分，均可用break控制循环的流程。1 break用于强行退出循环，不执行循环中剩余的语句。2 continue 语句用在循环语句体中，用于终止某次循环过程，即跳过循环体中尚未执行的语句，接着进行下一次是否执行循环的判定。3 return的作用,结束当前所在方法的执行.return 的使用public class TestReturn { public static void main(String[] args) { for (int i =1;i&

原创 4 Java的Arrays工具类常用方法

public class TestArr0 { public static void main(String[] args) { int[] arr = {1, 2, 5, 7, 4, 3}; // 将数据格式化打印为字符串 System.out.println(Arrays.toString(arr)); // 对数组进行排序 Arrays.sort(arr); // 按照升序进行排序 System.

原创 6 Java的可变参数使用

1.可变参数：作用提供了一个方法，参数的个数是可变的 ,解决了部分方法的重载问题int…numdouble…numboolean…num2.可变参数在JDK1.5之后加入的新特性3.方法的内部对可变参数的处理跟数组是一样4.可变参数和其他数据一起作为形参的时候，可变参数一定要放在最后5.我们自己在写代码的时候，建议不要使用可变参数。public class TestArr03 { public static void main(String[] args) { met

原创 3 Java 的switch语法使用

【1】语法结构：switch(){case * :case * :…}【2】switch后面是一个()，()中表达式返回的结果是一个等值，这个等值的类型可以为：int,byte,short,char,String,枚举类型【3】这个()中的等值会依次跟case后面的值进行比较，如果匹配成功，就执行:后面的代码【4】为了防止代码的“穿透”效果：在每个分支后面加上一个关键词break，遇到break这个分支就结束了【5】类似else的“兜底”“备胎”的分支：default分支【6】defa

原创 2 Java接受外部输入

java的Scanner可以接受外部输入参数来处理public class TestVar3 { public static void main(String[] args) { // 从键盘录入学生信息 姓名，年龄，身高，性别 Scanner sc = new Scanner(System.in); System.out.print("请输入学生姓名:"); String name = sc.next(); Syste

原创 1 JAVA整数类型使用

Java 整数类型使用Java整数类型占用空间位置Java整数类型使用public class TestVar { public static void main(String[] args) { // 定义整数类型的变量 int num = 12; // 默认情况下，赋值为十进制 System.out.println(num); int num2 = 012; // 前面加0，表示8进制 System.out

原创 19 scala的模式匹配

scala的模式匹配使用的 match 关键字，每个分支使用 case 进行声明，会从第一个case 语句进行匹配，匹配成功则执行相关逻辑，匹配不成功，则执行 case _ 的逻辑， 如果没声明 case _ 且没匹配成功，则会抛出 MatchError 的错误。1 守卫匹配 for (ch <- "+-3!") { var sign = 0 var digit = 0 ch match { case _ if ch.toString.

原创 18 Scala常用集合操作

1 map映射操作map 映射可以将集合内的每一个元素通过指定的功能(函数) 映射转化成新的集合# 将 list1内的每一个元素加 1 操作 ，也可以传入一个函数scala> val list1=List(1,2,3,4)list1: List[Int] = List(1, 2, 3, 4)scala> val list2 = list1.map(x=>x+1)list2: List[Int] = List(2, 3, 4, 5)scala> list2res0

原创 centos6.8 yum安装时 bash: yum: command not foun

解决办法： 去centos官方网站下载这几个包：centos官网链接官网下载比较慢，可以使用百度云链接下载链接：百度云链接提取码：qw2npython-iniparse-0.3.1-2.1.el6.noarch.rpmyum-3.2.29-81.el6.centos.noarch.rpmyum-metadata-parser-1.1.2-16.el6.x86_64.rpmyum-plugin-fastestmirror-1.1.30-41.el6.noarch.rpm然后 使用 rpm -

原创 17 scala集合使用

1 数组的使用1.1 定长数组的使用val arr01 = new Array[Int](4) // 定义一个数组，类型为Int，长度为4的数组arr01(3)=10 // 修改数组arr01的下标为3的元素1.1 变变数组的使用import scala.collection.mutable.ArrayBufferval arr02 = ArrayBuffer[Any](3, 2, 5) // 定义一个类型为Any的变长数组 # 可变数组的增删改查 arr02(0) // 查询

原创 16 Scala 构造器基本使用

在scala中构建对象时也需要使用构造器，并且可以用多个构造器，scala的构造器分为主构造器和辅助构造器两类， 构造器的作用时为了完成对新对象的初始化，构造器没有返回值。每一个辅助构造器都必须把 主构造器的参数列表调用一遍(可以直接或间接)辅助构造器，必须在第一行显式调用主构造器，方法名字为： this基本使用：// person有4个构造器，一个主构造器Person() 三个辅助构造器class Person2(){ var name:String = _ var age:Int

原创 15 scala异常处理

scala中为了防止代码异常终止，处理就需要用到 try 和catch 块处理，出错的代码写在 try 块中，catch用来处理异样基本语法： /* 说明 * 1. 在scala中只有一个catch * 2. 在catch中可以有多个case，每个case可以匹配一种异常 case ex:ArithmeticException * 3. => 关键符号，表示后面要执行的代码块 * 4. finally 最后要执行的 * */

原创 记录一次Flume消费kafka数据到HDFS踩到到的坑

Flume 原始配置a1.sources=r1a1.channels=c1a1.sinks=k1a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.batchSize = 5000a1.sources.r1.batchDurationMillis = 2000a1.sources.r1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:909

原创 14 scala-惰性函数

惰性函数又称为懒汉模式，在使用时需要加上 lazy 关键字惰性函数使用需注意：1 lazy 不能修饰var类型的变量2 在调用函数时加了lazy，函数会延时执行3 在声明一个变量时，如果加了lazy，也会延时执行惰性函数的基本使用：object lazydemo { def main(args: Array[String]): Unit = { lazy val res = sum(10,20) // 代码在这里只是做了缓冲，并未真正执行，可以根据打印观察 println

原创 13 scala-Io操作

1 从控制台读取import scala.io.StdInobject IoDemo { def main(args: Array[String]): Unit = { // 从控制台接受用户信息： name,age,sal val name = StdIn.readLine() // name val age = StdIn.readInt() // age val sal = StdIn.readDouble() //sal printf("姓名为：

原创 12-Scala类型转换

object TypeConvert { def main(args: Array[String]): Unit = { /* * classOf 可以得到类名 * isInstanceOf 判断是否为指定类型 * asInstanceOf 类型转换 * 注意点： * 1 需要使用isInstanceOf 判断对象是否为指定类的对象，如果是的话，则可以使用 asInstanceOf 将对象转换为指定类型； * 2 p.isInstanceOf[

原创 hive 外部表删除恢复数据

需要执行下面语句，修复分区即可MSCK REPAIR TABLE table_name;可以看到，原来查询没有数据，执行MSCK REPAIR TABLE table_name; 在次查询有数据了

原创 Hive使用python自定义utf函数

要处理的字段样式：BaseFieldUDF.pyline_list = ['1601837183327|{"cm":{"ln":"-69.1","sv":"V2.0.8","os":"8.1.4","g":"[email protected]","mid":"1","nw":"4G","l":"es","vc":"19","hw":"640*960","ar":"MX","uid":"1","t":"1601825265783","la":"23.6","md":"Huawei-9","vn":"1.2

原创 11 scala 伴生对象之apply方法

在scal的伴生对象中，可以通过apply来实现类名加参数的方式来创建对象object ApplyDemo { def main(args: Array[String]): Unit = { val list = List(1,2,3) println(list) val pig = new Pig("xiaohua") // 使用apply来创建对象 val pig1 = Pig("heizhu") val pig2 = Pig() p

原创 10 Scala 伴生对象基本使用

object Accompanyobject { def main(args: Array[String]): Unit = { println(ScalaPerson.sex) // true 在底层等价于 ScalaPerson.MOUDLE$.sex() ScalaPerson.sayHi() // 在底层等价于 ScalaPerson.MOUDLE$.sayHi() }}// 说明：// 1. 当在同一个文件中，如果有class ScalaPerson 和objec

原创 9 while循环

object Demo1 { def main(args: Array[String]): Unit = { var i= 0 while (i < 10){ println("hello word" + i) i += 1 } }}

原创 8 scala数据类型

1 在scala中数据类型都是对象，scala中没有java中的原生类型varnum1:Int=10//Int是一个类，因此它可以有多个实例//在scala中，如果一个方法没有形参，则可以省略println(num1.toDouble+"\t"+num1.toString())2 scala数据类型分为两大类AnyVal(值类型)和AnyRef(引用类型)，注意，不管是AnyVal还是AnyRef都是对象1 在scala中有一个根类型Any，他是所有类的父类2 scala中一切皆对象，分为

原创 7 Scala注释

原创 6 scala实现break和continue

1 Break的实现import scala.util.control.Breaks._object useBreak { def main(args: Array[String]): Unit = { var num = 99 var sum = 0 /* breakable(op :=>Unit) 1)：op :=>Unit 表示接受的参数没有输入也没有返回值的函数 2)：breakable(op :=>Unit) 可以接受一

原创 5 Scala for循环基本用法

1 基本使用：val start = 1 val end = 10 // start从那个值开始循环 // to关键字 // end循环结束的值 // start to end 表示前闭后闭 for(i <- 1 to 10){ println(i) } // for也可以对集合进行遍历 var list = List("hello","tom","30") for(item <- list)

原创 4 scala值类型与string类型转换

val d1 = 1.2// 基本数据类型转换stringval s1 = d1 + "" // 下划线表示编译器做了转成// string类型转基本数据类型var s2 = "12"var num1 = s2.toIntvar num2 = s2.toByte// 注意在将string类型转换成基本数据类型时，要保证string类型能够转换成有效的数据// 比如可以把“123”转换成一个整数，但不能把“hello”转成一个整数// 在对string进行转换时要注意，如果带有小数点，

原创 3 scala字符串输出

var str1: String = "Hello"var str2: String = "World!"var name: String = "Tom"var age: Int = 10var sal: Float = 10.67fvar height: Double = 180.15println(str1 + str2)// 格式化输出printf("名字:%s,年龄:%s,身高:%s,薪水:%s", name, age, height, sal)// scala支持使用$输

原创 2 scala字符串切割 IndexOf，lastIndexOf，substring，split

var str: String = "6月29日， 直播带货最火爆， 各方关注问题多。"// IndexOf(int index)返回string对象第一次在str中出现的位置，找不到返回-1var first_num: Int = str.indexOf("火爆，")println(first_num) //11//带两个参数：int indexOf(int ch,int Index)，注：ch表示字符，Index表示从str字符串的第Index个字符开始查找到的位置,如果找不到返回-1var

原创 1 scala 查找首字母，和尾字母

var str1: String = "Hello"println("方法一：-------------")var first_str :String= str1.take(1)var last_str :String= str1.reverse.take(1)println("first_str:"+first_str)println("last_str:"+last_str)println("方法二：-------------")println("first_str:"+str1.he

原创 hbase写入数据时挂掉

在hbase中查看表时，出现下面错误原因可能时由于zookeeper不稳定导致的处理办法：重启zookeeper，重启hbasestop-hbase.shstart-hbase.sh

原创 python对hdfs创建文件时报权限问题

# -*- coding:utf8 -*-from hdfs.client import Clientclient = Client("http://192.168.37.100:50070")def hdfs_status(): # 查看hdfs状态 print(client.status("/"))def hdfs_mkdirs(): client....

原创 启动spark时出现：failed to launch org.apache.spark.deploy.worker.Worker:

[root@master spark-1.6.0-bin-hadoop2.6]# ./sbin/start-all.shstarting org.apache.spark.deploy.master.Master, logging to /usr/local/src/spark-1.6.0-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy...

原创 Hadoop2.6简单集群搭建

1 环境准备centos7安装包： jdk1.7.0_45.tgz, hadoop-2.6.1.tar.gz三台机器的IP:master: 192.168.37.100slave1: 192.168.37.101slave2: 192.168.37.1022 关闭防火墙检查防火墙状态： systemctl status firewalld.service关闭防火墙： ...

原创 hive报错

在学习hive中partition建表时报错：FAILED: ParseException line 5:0 cannot recognize input near ‘)’ ‘partitioned’ ‘by’ in column specificationhive> CREATE EXTERNAL TABLE Rating_partition_tableCREATE EXTERN...

转载 多台机器间免密登录

百度了很久，个人觉得这两个文章较好，记录下免密方法1免密登录方法2

原创 Hbase集群关闭时，报错

执行关闭hbase集群命令时： ./stop-hbase.sh出现stopping hbasecat: /tmp/hbase-root-master.pid: No such file or directory解决办法： 修改hbse-env.sh文件export HBASE_PID_DIR=/var/hadoop/pids重新启动hbase集群，集群已正常启动...

原创 Hbase安装完成后，web打不开

版本： 0.98check配置后发现配置没问题后考虑重启过几次虚拟机，可能是防火墙为关闭导致：永久性关闭防火墙，重启hbase，正常打开web页面chkconfig iptables off # 永久性关闭防火墙...

原创 HDFS命令

[-ls <path>] # hadoop fs -ls / 查看路径下的文件 [-lsr <path>] # Hadoop ...

原创 记录学习mapreduce时出现的一个错误

执行代码，查看log，出现如下错误INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201912100452_0009_r_000002_0: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code...

原创 hadoop搭建完成后，记录执行wordcount遇到的坑

1 Error Launching job : org.apache.hadoop.mapred.SafeModeException: JobTracker is in safe mode解决办法：关闭安全模式 hadoop dfsadmin -safemode leave2 /usr/bin/hadoop-config.sh: No such file or directory...