整理常用Scala函数代码供大家参考（附wordcount源码）

最新推荐文章于 2025-03-28 11:40:57 发布

原创

最新推荐文章于 2025-03-28 11:40:57 发布 · 482 阅读

1 ·

CC 4.0 BY-SA版权

git地址：https://github.com/biws-byte/mxq

文章标签：

#spark #hadoop #大数据

本文详细介绍了Scala中偏应用函数、高阶函数、柯里化函数等核心特性，并提供了完整的Wordcount大数据处理示例。通过实例展示了如何在Scala中使用这些高级函数，以及如何在Spark上实现Wordcount任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

随着大数据的发展，spark逐渐成为主流技术之一，而且支撑的scala语言也成为做大数据热门的编程语言之一，在家无聊，就将scala中一些常用的的scala的高端函数以及set、map等代码进行整理，在最后有一个完整的wordcount大数据入门源码

偏应用函数

偏应用函数是一种表达式，不需要提供函数需要的所有参数，只需要提供部分，或不提供所需参数。

    /**

     * 偏应用函数

     */

deflog(date :Date, s :String)= {

      println("date is "+ date +",log is "+ s)

    }

    val date = new Date()

    log(date ,"log1")

    log(date ,"log2")

    log(date ,"log3")

    //想要调用log，以上变化的是第二个参数，可以用偏应用函数处理

vallogWithDate = log(date,_:String)

    logWithDate("log11")

    logWithDate("log22")

    logWithDate("log33")

高阶函数

函数的参数是函数，或者函数的返回类型是函数，或者函数的参数和函数的返回类型是函数的函数。

l 函数的参数是函数

l 函数的返回是函数

l 函数的参数和函数的返回是函数

    /**

     * 高阶函数

     * 函数的参数是函数或者函数的返回是函数或者函数的参数和返回都是函数

     */

    //函数的参数是函数

    def hightFun(f : (Int,Int) =>Int, a:Int ) : Int = {

      f(a,100)

    }

deff(v1 :Int,v2: Int):Int = {

      v1+v2

    }

    println(hightFun(f, 1))

    //函数的返回是函数

    //1，2,3,4相加

defhightFun2(a : Int,b:Int) : (Int,Int)=>Int = {

deff2 (v1: Int,v2:Int) :Int = {

        v1+v2+a+b

      }

      f2

    }

    println(hightFun2(1,2)(3,4))

    //函数的参数是函数，函数的返回是函数

defhightFun3(f : (Int ,Int) => Int) : (Int,Int) => Int = {

      f

    }

    println(hightFun3(f)(100,200))

    println(hightFun3((a,b) =>{a+b})(200,200))

    //以上这句话还可以写成这样

    //如果函数的参数在方法体中只使用了一次那么可以写成_表示

    println(hightFun3(_+_)(200,200))

柯里化函数

l 可以理解为高阶函数的简化

   /**

     * 柯里化函数

     */

    def fun7(a :Int,b:Int)(c:Int,d:Int) = {

      a+b+c+d

    }

    println(fun7(1,2)(3,4))

Scala字符串

1. String

2. StringBuilder 可变

3. string操作方法举例

Ø 比较:equals

Ø 比较忽略大小写:equalsIgnoreCase

Ø indexOf：如果字符串中有传入的assci码对应的值，返回下标

    /**

     * String && StringBuilder

     */

valstr = "abcd"

valstr1 = "ABCD"

    println(str.indexOf(97))

    println(str.indexOf("b"))

    println(str==str1)

    /**

     * compareToIgnoreCase

     *

     * 如果参数字符串等于此字符串，则返回值 0；

     * 如果此字符串小于字符串参数，则返回一个小于 0 的值；

     * 如果此字符串大于字符串参数，则返回一个大于 0 的值。

     *

     */

    println(str.compareToIgnoreCase(str1))

valstrBuilder =newStringBuilder

    strBuilder.append("abc")

//    strBuilder.+('d')

    strBuilder+ 'd'

//    strBuilder.++=("efg")

    strBuilder++= "efg"

//    strBuilder.+=('h')

    strBuilder+= 'h'

    strBuilder.append(1.0)

    strBuilder.append(18f)

    println(strBuilder)