【软件技术经验分享】计算机毕业设计hadoop+spark知识图谱音乐推荐系统音乐预测系统音乐可视化音乐数据分析音乐爬虫音乐大屏音乐大数据大数据毕业设计

最新推荐文章于 2024-12-09 15:16:19 发布

转载最新推荐文章于 2024-12-09 15:16:19 发布 · 538 阅读

9 ·

CC 4.0 BY-SA版权

原文链接：https://www.bilibili.com/video/BV1tV4y1q7RJ/?spm_id_from=333.999.0.0

文章标签：

#课程设计 #hadoop #计算机毕业设计 #大数据毕业设计 #spark #推荐算法 #知识图谱

推荐系统同时被 3 个专栏收录

49 篇文章

订阅专栏

python数据分析

40 篇文章

订阅专栏

数据分析

34 篇文章

订阅专栏

该文章介绍了一个基于Hadoop和Spark的大数据处理系统，用于音乐推荐和分析。系统包含了Python爬虫、机器学习算法如KNN和SVD，以及Echarts的数据可视化。还涉及了阿里云短信接口、支付宝沙箱支付功能、身份证自动识别和SpringBoot、Vue.js等前端技术的应用。此外，文章提到了使用知识图谱Neo4j和SparkSQL进行数据挖掘和分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

开发技术

Hadoop、Spark、SparkSQL、Python、MySQL、协同过滤算法、皮尔逊相关系数、KNN、echarts可视化、阿里云短信接口、支付宝沙箱支付、百度AI身份证自动识别、SpringBoot、Vue.js、MyBatis-Plus

系统创新点

大屏统计可视化

用户网页端(实时推荐)

Python爬虫

机器学习离线计算分析

短信接口修改密码或者注册

支付宝沙箱支付(网页、app都实现了)

身份证自动识别认证

新增知识图谱neo4j

KNN CNN卷积神经预测音乐热度流量

SVD神经网络进行音乐推荐算法实现

代码思路分析

爬虫代码

def getLink(baseurl):
    html = requests.get(baseurl, headers=hea)
    html.encoding = 'utf8'
    soup = BeautifulSoup(html.text, 'html.parser')
    for item in soup.select('div.content_list > ul > li'):
        # 对不符合的数据进行清洗
        if (item.a == None):
            continue
        data = []
        type = item.div.text[1:3]  # 类型
        link = item.div.next_sibling.next_sibling.a['href']
        data.append(type)
        data.append(link)
        links.append(data)

if __name__ == '__main__':
    main()

spark分析代码

package com.bigdata.spark.reducebykey_sort

import org.apache.spark.{SparkConf, SparkContext}

/**
 * @program: spark-api-demo
 * @description: 类作用描述
 * @author: 小毕
 * @company: 清华大学深圳研究生院
 * @create: 2019-09-02 18:00
 */
object ReduceByKeySortRddDemo {

  def main(args: Array[String]): Unit = {
    val conf=new SparkConf()
      .setAppName("MapFilterApp")
      .setMaster("local")
    val sc=new SparkContext(conf)
    val rdd1=sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2),  ("shuke", 1)))
    val rdd2=sc.parallelize(List(("jerry", 2), ("tom", 3), ("shuke", 2), ("kitty", 5)))
    val rdd3=rdd1.union(rdd2)
    //按key进行聚合
    val rdd4=rdd3.reduceByKey(_+_)
    rdd4.collect.foreach(println(_))
    //按value的降序排序
    val rdd5=rdd4.map(t=>(t._2,t._1)).sortByKey(false).map(t=>(t._2,t._1))
    rdd5.collect.foreach(println)
  }

}