spark短视频推荐系统-毕业设计源码53097


基于spark的短视频推荐系统的设计与实现

摘 要

随着互联网的快速发展和智能手机的普及,短视频已成为人们日常娱乐和获取信息的重要渠道。面对海量的短视频内容,如何为用户推荐感兴趣的视频成为了一个关键问题。本文提出了一种基于Spark的短视频推荐系统的设计与实现方案,旨在为用户提供个性化的视频推荐服务。

本文首先分析了短视频推荐系统的需求,包括视频资讯、视频推荐等核心问题。在此基础上,设计了基于Spark的系统架构,包括数据采集与处理、用户兴趣分析、视频内容特征提取、推荐算法实现等模块。Spark作为大规模数据处理和分析的框架,能够高效地处理海量数据,并提供强大的计算能力,为推荐算法的实现提供了有力支持。

在视频推荐方面,系统利用Python的机器学习库,如Scikit-learn和TensorFlow,构建推荐模型。通过对用户历史观看记录、点赞、评论等行为的深度分析,系统能够精准捕捉用户兴趣偏好,实现个性化推荐。同时,结合视频的内容特征,如标题、标签、描述等,进行内容推荐,为用户提供更加丰富的视频选择。

经过实际部署和测试,本文所设计的基于Spark的短视频推荐系统表现出良好的推荐效果和性能。该系统不仅提高了用户满意度,也为短视频平台带来了更高的用户粘性和活跃度。本文的研究成果对于推动短视频推荐技术的发展和应用具有一定的参考价值和实际意义。

关键词:spark;短视频推荐;个性化

Abstract

With the rapid development of the Internet and the popularity of smart phones, short videos have become an important channel for people to enjoy daily entertainment and obtain information. Faced with a massive amount of short video content, how to recommend videos of interest to users has become a key issue. This article proposes a design and implementation scheme for a Spark based short video recommendation system, aiming to provide users with personalized video recommendation services.

This article first analyzes the requirements of short video recommendation systems, including core issues such as video information and video recommendation. On this basis, a Spark based system architecture was designed, including modules such as data acquisition and processing, user interest analysis, video content feature extraction, and implementation of recommendation algorithms. As a framework for large-scale data processing and analysis, Spark can efficiently process massive amounts of data and provide powerful computing power, providing strong support for the implementation of recommendation algorithms.

In terms of video recommendation, the system utilizes Python's machine learning libraries such as Scikit learn and TensorFlow to build recommendation models. Through in-depth analysis of user historical viewing records, likes, comments, and other behaviors, the system can accurately capture user interests and preferences, and achieve personalized recommendations. At the same time, combining the content characteristics of videos, such as titles, tags, descriptions, etc., to recommend content and provide users with more diverse video choices.

After actual deployment and testing, the Spark based short video recommendation system designed in this article has shown good recommendation effectiveness and performance. This system not only improves user satisfaction, but also brings higher user stickiness and activity to short video platforms. The research results of this article have certain reference value and practical significance for promoting the development and application of short video recommendation technology.

Keywords: spark; Short video recommendation; individuation


目录

第1章 引言

1.1 研究背景与意义

1.2 国内外研究现状

第2章 系统开发环境

Python简介

2.2 B/S体系结构介绍

2.3 spark框架介绍

2.4 MySQL数据库

第3章 系统分析

3.1 可行性分析

3.1.1 技术可行性

3.1.2 经济可行性

3.1.3 操作可行性

3.2 功能需求分析

3.3 性能需求分析

3.4 系统用例分析

第4章 系统设计

4.1 系统体系结构

4.2 总体结构设计

4.3 数据库设计

4.3.1 概念设计

4.3.2 逻辑设计

第5章 系统实现

5.1 登录模块的实现

5.2 普通用户功能模块的实现

5.2.1 注册模块的实现

5.2.2 前台首页模块的实现

5.2.3 视频资讯模块的实现

5.2.4 视频推荐模块的实现

5.3 管理员功能模块的实现

5.3.1 用户管理模块的实现

5.3.2 系统首页模块的实现

5.3.3 视频推荐管理模块的实现

5.3.4 通知公告管理模块的实现

5.3.5 资源管理模块的实现

5.3.6 系统管理模块的实现

第6章 系统测试

6.1 测试目标

6.2 功能测试

6.3 测试结果

第7章 总结与展望

参考文献

致谢

  1. 引言

    1. 研究背景与意义

随着互联网的迅猛发展,短视频已成为全球用户广泛喜爱的内容形式。每天,数以亿计的视频被上传、观看和分享,形成了一个庞大的视频数据海洋。然而,如何帮助用户从海量的视频内容中快速找到他们感兴趣的内容,成为了一个亟待解决的问题。传统的推荐方法往往难以应对如此大规模的数据量,且难以提供个性化的推荐服务。

在此背景下,基于Spark的短视频推荐系统应运而生。Spark作为大数据处理领域的佼佼者,具有强大的分布式计算能力和高效的数据处理能力,能够轻松应对海量视频数据的挑战。而Python,作为一种简洁、易学的编程语言,结合了大量的数据处理和机器学习库,为推荐算法的实现提供了极大的便利。

本研究的意义在于,通过结合Spark和Python大数据技术,设计并实现一个高效、准确的短视频推荐系统,旨在解决当前短视频推荐领域面临的挑战。该系统不仅能够为用户提供个性化的视频推荐服务,提升用户的浏览体验,还能帮助视频平台优化内容分发,提高用户粘性,进而实现商业价值的最大化。

此外,本研究还具有推动大数据技术、推荐算法和短视频行业发展的重要意义。通过不断优化和完善系统,可以为其他领域的大数据推荐系统提供有益的参考和借鉴,推动整个大数据和人工智能领域的发展。

综上所述,基于Spark的短视频推荐系统的设计与实现,具有重要的研究背景和意义,不仅有助于解决当前短视频推荐领域的难题,还能推动相关技术的创新和发展。

    1. 国内外研究现状

在国内,随着大数据技术的快速发展和短视频行业的崛起,基于Spark和Python的短视频推荐系统成为了研究的热点。国内的研究者和企业纷纷投入到这一领域,致力于提高推荐系统的准确性和效率。

一方面,国内的研究团队在推荐算法上进行了大量创新,如基于深度学习的用户兴趣建模、协同过滤算法的优化等。这些算法在Spark平台上得到了实现,并取得了良好的推荐效果。

另一方面,国内的研究还注重将短视频推荐系统与实际应用场景相结合。例如,一些短视频平台通过引入用户社交网络信息,构建更加精准的用户兴趣模型,从而提高推荐的个性化程度。

在国外,大数据和人工智能技术在短视频推荐系统中的应用也备受关注。许多知名的短视频平台,如YouTube、TikTok等,都在推荐系统上投入了大量的研发力量。

国外的研究团队在推荐算法上同样取得了显著进展,如基于强化学习的推荐策略优化、基于生成对抗网络的推荐内容生成等。这些先进的算法和技术为短视频推荐系统的发展提供了有力支持。

此外,国外的研究还注重推荐系统的可解释性和用户隐私保护。例如,一些研究者致力于提高推荐结果的透明度,让用户了解推荐的原因和依据;同时,也关注用户隐私的保护,确保推荐系统在处理用户数据时遵守隐私政策和法律法规。

国内外在基于Spark和Python大数据版的短视频推荐系统的研究与应用上均取得了一定的成果。国内的研究注重算法创新和实际应用场景的结合,而国外的研究则更注重推荐系统的可解释性和用户隐私保护。未来,随着技术的不断发展和用户需求的不断变化,短视频推荐系统的研究和应用将更加深入和广泛。通过借鉴国内外的成功经验和技术创新,我们可以进一步推动基于Spark和Python大数据版的短视频推荐系统的发展和应用。

  

  1. 系统开发环境

    1. Python简介

Python 是一个高层次的脚本语言结合了解释性、编译性、互动性和面向对象的。Python 的设计,相比其他语言经常使用英文关键字和其他语言的一些标点符号,它具有比其他语言更有特色语法结构,具有很强的可读性。

解释型语言:类似于Python和Perl语言,这意味着开发过程中没有了编译这个环节。

交互式语言:可以在一个 Python 提示符 >>> 后直接执行代码。

面向对象语言:Python支持面向对象的风格或代码封装在对象的编程技术。

    1. B/S体系结构介绍

B/S结构(Browser/Server,浏览器/服务器模式),是WEB兴起后的一种网络结构模式,WEB浏览器是客户端最主要的应用软件。这种模式统一了客户端,将系统功能实现的核心部分集中到服务器上,简化了系统的开发、维护和使用。客户机上只要安装一个浏览器,如ChromeSafariMicrosoft EdgeNetscape NavigatorInternet Explorer,服务器安装SQL ServerOracleMYSQL等数据库。浏览器通过Web Server同数据库进行数据交互。 

    1. spark框架介绍

spark是高水准的Python编程语言驱动的一个开源模型.视图,控制器风格的Web应用程序框架,它起源于开源社区。使用这种架构,程序员可以方便、快捷地创建高品质、易维护、数据库驱动的应用程序。这也正是OpenStack的Horizon组件采用这种架构进行设计的主要原因。另外,在spark框架中,还包含许多功能强大的第三方插件,使得spark具有较强的可扩展性。spark 项目源自一个在线新闻 Web 站点,于 2005 年以开源的形式被释放出来。spark 框架的核心组件有:

(1)用于创建模型的对象关系映射

(2)为最终用户设计较好的管理界面;

(3)URL 设计;

(4)设计者友好的模板语言;

(5)缓存系统。

spark(发音:[`dʒæŋɡəʊ]) 是用python语言写的开源web开发框架(open source web framework),它鼓励快速开发,并遵循MVC设计。spark遵守BSD版权,初次发布于2005年7月, 并于2008年9月发布了第一个正式版本1.0 。

spark 根据比利时的爵士音乐家spark Reinhardt命名,他是一个吉普赛人,主要以演奏吉它为主,还演奏过小提琴等。

由于spark在近年来的迅速发展,应用越来越广泛,被著名IT开发杂志SD Times评选为2013 SD Times 100,位列“API、库和框架”分类第6位,被认为是该领域的佼佼者。

    1. MySQL数据库

Mysql的语言是非结构化的,用户可以在数据上进行工作。MySQL因为其速度、可靠性和适应性而备受关注。大多数人都认为在不需要事务化处理的情况下,MySQL是管理内容最好的选择。并且因为Mysql的语言和结构比较简单,但是功能和存储信息量很强大,所以得到了普遍的应用。

Mysql数据库在编程过程中的作用是很广泛的,为用户进行数据查询带来了方便。Mysql数据库的应用因其灵活性强,功能强大,所以在实现某功能时只需要一小段代码,而不像其他程序需要编写大段代码。总体来说,Mysql数据库的语言相对要简洁很多。

数据流程分析主要就是数据存储的储藏室,它是在计算机上进行的,而不是现实中的储藏室。数据的存放是按固定格式,而不是无序的,其定义就是:长期有固定格式,可以共享的存储在计算机存储器上。数据库管理主要是数据存储、修改和增加以及数据表的建立。为了保证系统数据的正常运行,一些有能力的处理者可以进行管理而不需要专业的人来处理。数据表的建立,可以对数据表中的数据进行调整,数据的重新组合及重新构造,保证数据的安全性。介于数据库的功能强大等特点,本系统的开发主要应用了Mysql进行对数据的管理。


  1. 系统分析

    1. 可行性分析

开发任何一个系统,都要对其可行性进行分析,对其时间和资源上的限制进行考虑,这样可以减少系统开发的风险。同时,分析之后不仅能够合理的运用人力,还能在各方面资源的消耗上得到节省。下面就对技术、经济和社会三个方面来介绍。

      1. 技术可行性

基于spark的短视频推荐系统在技术上是完全可行的。spark作为一个成熟的Python Web框架,提供了丰富的功能和工具,使得开发人员能够快速构建稳定、高效的Web应用程序。此外,Python作为一种广泛使用的编程语言,具有强大的数据处理和分析能力,可以很好地满足短视频推荐系统的需求。

      1. 经济可行性

从经济角度来看,基于spark的短视频推荐系统具有较高的投资回报率。相比于其他传统的短视频推荐方式,智能化的推荐系统能够更好地满足用户需求,提高用户满意度和忠诚度,从而带来更多的商业机会和收益。同时,由于spark和Python的开源性质,系统的开发和运行成本相对较低,企业可以通过合理的资源投入和运营管理,实现系统的快速部署和推广。

      1. 操作可行性

在操作方面,基于spark的短视频推荐系统具有良好的用户友好性和易用性。系统的界面设计应简洁明了,功能模块清晰易懂,使用户能够快速上手。同时,系统应提供完善的用户手册和在线帮助文档,以方便用户更好地理解和使用系统。此外,由于spark提供了强大的后台管理功能,管理员可以通过简单的操作实现对系统的管理和维护。

综上所述,基于spark的短视频推荐系统在技术、经济和操作方面均具有较高的可行性。通过合理的系统设计和开发,可以构建一个高效、可靠的短视频推荐系统,为用户提供更好的旅游服务体验。

    1. 功能需求分析

基于spark的短视频推荐系统针对普通用户和管理员进行了详细的功能需求分析,以确保系统的实用性和易用性。以下是针对普通用户和管理员的具体功能需求:

1.普通用户功能:

登录注册:用户可以注册新账户,并使用已有账户登录系统。

首页:展示最新的通知公告、热门视频、推荐视频等内容。

通知公告:发布平台的通知公告,用户可以查看最新的系统通知和公告。

视频资讯:提供关于短视频行业的最新资讯、活动信息等内容。

视频推荐:根据用户的兴趣和行为,推荐个性化的短视频内容给用户。

我的账户:用户可以查看和编辑个人账户信息。

个人中心:用户可以管理收藏的短视频和资讯信息。

2.管理员功能:

后台首页:管理员可以查看系统的整体情况,包括用户数量、视频推荐情况等。

系统用户:管理员可以管理平台的用户信息,包括权限设置、账户管理等。

视频推荐管理:管理员可以管理短视频的推荐策略和推荐结果。

视频类型管理:管理员可以管理视频的分类和标签。

系统管理:管理员可以管理系统首页轮播图的展示内容。

通知公告管理:发布和管理系统的通知公告信息。

资源管理:管理员可以发布和管理短视频行业的相关资讯信息和资讯信息的分类和标签。

以上功能需求分析将有助于设计和实现一个完善的基于Spark的短视频推荐系统,满足普通用户对短视频的浏览和收藏需求,同时为管理员提供便捷的管理工具,以提高短视频推荐的精准性和用户体验。

    1. 能需求分析

评判一个系统好坏的一项重要指标就是性能,下面是对此系统的一些性能进行阐述。

1.系统的安全性和稳定性: 基于spark的短视频推荐系统在管理权限上有着严格的控制,即想登录此平台进行操作,则必须要有操作权限,没有权限的用户是不可能登录平台查看任何的信息和数据,从而确保了系统的安全性。

2.数据的完整性和准确性:第一个是各项记录信息的完整性,信息记录的内容可以为空;第二个是各项信息数据之间相互联系的准确性;第三个是数据在不同记录信息的一致性

3.用户操作系统简单方便:在系统开发中按照“简单易用”的原则,能够使用户对系统的使用一目了然,既能保证用户使用,同时又能保证维护人员方便维护。

    1. 系统用例分析

系统的用例展示的是系统功能与用户之间的关系,通过用例的方式能够直观的展示出来,本基于spark的短视频推荐系统的完整UML用例图如下所示。

普通用户用例图如下所示。

图3-1 普通用户用例图

管理员用例图如下所示。

图3-2 管理员用例图


  1. 系统设计

    1. 系统体系结构

短视频推荐系统选择B/S结构(Browser/Server,浏览器/服务器结构)和基于Web服务两种模式。适合在互联网上进行操作,只要用户能连网,任何时间、任何地点都可以进行系统的操作使用。系统工作原理图如图4-1所示:

图3-1 系统工作原理图

    1. 总体结构设计

根据对系统的功能的分析,可以总结基于spark的短视频推荐系统的具体功能模块包括下面的几个主要的功能模块:该系统主要从两大模块进行设计的,首先就是用户参与操作需要的模块,此外还需要有管理员用到的模块,两者之间不是互相独立的,他们之间有着密切的联系,同数据库表中的数据连接起来进行操作。每个模块访问相同的数据库,但访问的表不同。系统的各个功能模块是根据所收集的资料研究得到的。在以上分析功能的基础上,系统模块分为多个模块。普通用户含有的功能有登录注册、首页、通知公告、视频资讯、视频推荐、我的账户、个人中心(收藏)等功能,管理员含有的功能有后台首页、系统用户、视频推荐管理、视频类型管理、系统管理(轮播图管理)、通知公告管理、资源管理(视频资讯、资讯分类)等功能。

系统的功能结构图如下图所示。

图3-2系统功能结构图

    1. 数据库设计
      1. 概念设计

E-R图一般是由实体、实体的属性与联系三个要素组成的。在规划系统中所使用的数据库实体对象及实体E-R图,则需要通过对系统的需求分析、业务流程设计和系统功能结构来确定的。

总体ER图如下图所示。

图4-3总体ER图

      1. 逻辑设计

将实体属性模型转换为关系数据库应该遵循以下几个原则:

1.一个实体转换后要对应一个关系。

2.所有的主键必须要定义为非空(not null)。

3.针对二元联系也应该按照一对多、弱对实、一对一和多对多等联系来定义外键。

得到数据库的关系后,设计如下表结构。

表access_token (登陆访问时长)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

token_id

int

10

0

N

Y

临时访问牌ID

2

token

varchar

64

0

Y

N

临时访问牌

3

info

text

65535

0

Y

N

4

maxage

int

10

0

N

N

2

最大寿命:默认2小时

5

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

6

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

7

user_id

int

10

0

N

N

0

用户编号:

表article (文章:用于内容管理系统的文章)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

article_id

mediumint

8

0

N

Y

文章id:[0,8388607]

2

title

varchar

125

0

N

Y

标题:[0,125]用于文章和html的title标签中

3

type

varchar

64

0

N

N

0

文章分类:[0,1000]用来搜索指定类型的文章

4

hits

int

10

0

N

N

0

点击数:[0,1000000000]访问这篇文章的人次

5

praise_len

int

10

0

N

N

0

点赞数

6

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

7

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

8

source

varchar

255

0

Y

N

来源:[0,255]文章的出处

9

url

varchar

255

0

Y

N

来源地址:[0,255]用于跳转到发布该文章的网站

10

tag

varchar

255

0

Y

N

标签:[0,255]用于标注文章所属相关内容,多个标签用空格隔开

11

content

longtext

2147483647

0

Y

N

正文:文章的主体内容

12

img

varchar

255

0

Y

N

封面图

13

description

text

65535

0

Y

N

文章描述

表article_type (文章分类)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

type_id

smallint

5

0

N

Y

分类ID:[0,10000]

2

display

smallint

5

0

N

N

100

显示顺序:[0,1000]决定分类显示的先后顺序

3

name

varchar

16

0

N

N

分类名称:[2,16]

4

father_id

smallint

5

0

N

N

0

上级分类ID:[0,32767]

5

description

varchar

255

0

Y

N

描述:[0,255]描述该分类的作用

6

icon

text

65535

0

Y

N

分类图标:

7

url

varchar

255

0

Y

N

外链地址:[0,255]如果该分类是跳转到其他网站的情况下,就在该URL上设置

8

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

9

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

表auth (用户权限管理)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

auth_id

int

10

0

N

Y

授权ID:

2

user_group

varchar

64

0

Y

N

用户组:

3

mod_name

varchar

64

0

Y

N

模块名:

4

table_name

varchar

64

0

Y

N

表名:

5

page_title

varchar

255

0

Y

N

页面标题:

6

path

varchar

255

0

Y

N

路由路径:

7

position

varchar

32

0

Y

N

位置:

8

mode

varchar

32

0

N

N

_blank

跳转方式:

9

add

tinyint

3

0

N

N

1

是否可增加:

10

del

tinyint

3

0

N

N

1

是否可删除:

11

set

tinyint

3

0

N

N

1

是否可修改:

12

get

tinyint

3

0

N

N

1

是否可查看:

13

field_add

text

65535

0

Y

N

添加字段:

14

field_set

text

65535

0

Y

N

修改字段:

15

field_get

text

65535

0

Y

N

查询字段:

16

table_nav_name

varchar

500

0

Y

N

跨表导航名称:

17

table_nav

varchar

500

0

Y

N

跨表导航:

18

option

text

65535

0

Y

N

配置:

19

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

20

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

表collect (收藏)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

collect_id

int

10

0

N

Y

收藏ID:

2

user_id

int

10

0

N

N

0

收藏人ID:

3

source_table

varchar

255

0

Y

N

来源表:

4

source_field

varchar

255

0

Y

N

来源字段:

5

source_id

int

10

0

N

N

0

来源ID:

6

title

varchar

255

0

Y

N

标题:

7

img

varchar

255

0

Y

N

封面:

8

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

9

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

表comment (评论)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

comment_id

int

10

0

N

Y

评论ID:

2

user_id

int

10

0

N

N

0

评论人ID:

3

reply_to_id

int

10

0

N

N

0

回复评论ID:空为0

4

content

longtext

2147483647

0

Y

N

内容:

5

nickname

varchar

255

0

Y

N

昵称:

6

avatar

varchar

255

0

Y

N

头像地址:[0,255]

7

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

8

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

9

source_table

varchar

255

0

Y

N

来源表:

10

source_field

varchar

255

0

Y

N

来源字段:

11

source_id

int

10

0

N

N

0

来源ID:

表hits (用户点击)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

hits_id

int

10

0

N

Y

点赞ID:

2

user_id

int

10

0

N

N

0

点赞人:

3

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

4

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

5

source_table

varchar

255

0

Y

N

来源表:

6

source_field

varchar

255

0

Y

N

来源字段:

7

source_id

int

10

0

N

N

0

来源ID:

表notice (公告)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

notice_id

mediumint

8

0

N

Y

公告id:

2

title

varchar

125

0

N

N

标题:

3

content

longtext

2147483647

0

Y

N

正文:

4

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

5

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

表praise (点赞)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

praise_id

int

10

0

N

Y

点赞ID:

2

user_id

int

10

0

N

N

0

点赞人:

3

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

4

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

5

source_table

varchar

255

0

Y

N

来源表:

6

source_field

varchar

255

0

Y

N

来源字段:

7

source_id

int

10

0

N

N

0

来源ID:

8

status

bit

1

0

N

N

1

点赞状态:1为点赞,0已取消

表regular_users (普通用户)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

regular_users_id

int

10

0

N

Y

普通用户ID

2

user_name

varchar

64

0

Y

N

用户名称

3

user_gender

varchar

64

0

Y

N

用户性别

4

contact_information

varchar

64

0

Y

N

联系方式

5

examine_state

varchar

16

0

N

N

已通过

审核状态

6

user_id

int

10

0

N

N

0

用户ID

7

create_time

datetime

19

0

N

N

CURRENT_TIMESTAMP

创建时间

8

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间

表slides (轮播图)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

slides_id

int

10

0

N

Y

轮播图ID:

2

title

varchar

64

0

Y

N

标题:

3

content

varchar

255

0

Y

N

内容:

4

url

varchar

255

0

Y

N

链接:

5

img

varchar

255

0

Y

N

轮播图:

6

hits

int

10

0

N

N

0

点击量:

7

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

8

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

表upload (文件上传)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

upload_id

int

10

0

N

Y

上传ID

2

name

varchar

64

0

Y

N

文件名

3

path

varchar

255

0

Y

N

访问路径

4

file

varchar

255

0

Y

N

文件路径

5

display

varchar

255

0

Y

N

显示顺序

6

father_id

int

10

0

Y

N

0

父级ID

7

dir

varchar

255

0

Y

N

文件夹

8

type

varchar

32

0

Y

N

文件类型

表user (用户账户:用于保存用户登录信息)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

user_id

mediumint

8

0

N

Y

用户ID:[0,8388607]用户获取其他与用户相关的数据

2

state

smallint

5

0

N

N

1

账户状态:[0,10](1可用|2异常|3已冻结|4已注销)

3

user_group

varchar

32

0

Y

N

所在用户组:[0,32767]决定用户身份和权限

4

login_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

上次登录时间:

5

phone

varchar

11

0

Y

N

手机号码:[0,11]用户的手机号码,用于找回密码时或登录时

6

phone_state

smallint

5

0

N

N

0

手机认证:[0,1](0未认证|1审核中|2已认证)

7

username

varchar

16

0

N

N

用户名:[0,16]用户登录时所用的账户名称

8

nickname

varchar

16

0

Y

N

昵称:[0,16]

9

password

varchar

64

0

N

N

密码:[0,32]用户登录所需的密码,由6-16位数字或英文组成

10

email

varchar

64

0

Y

N

邮箱:[0,64]用户的邮箱,用于找回密码时或登录时

11

email_state

smallint

5

0

N

N

0

邮箱认证:[0,1](0未认证|1审核中|2已认证)

12

avatar

varchar

255

0

Y

N

头像地址:[0,255]

13

open_id

varchar

255

0

Y

N

针对获取用户信息字段

14

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

15

vip_level

varchar

255

0

Y

N

会员等级

16

vip_discount

double

11

2

Y

N

0.00

会员折扣

表user_group (用户组:用于用户前端身份和鉴权)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

group_id

mediumint

8

0

N

Y

用户组ID:[0,8388607]

2

display

smallint

5

0

N

N

100

显示顺序:[0,1000]

3

name

varchar

16

0

N

N

名称:[0,16]

4

description

varchar

255

0

Y

N

描述:[0,255]描述该用户组的特点或权限范围

5

source_table

varchar

255

0

Y

N

来源表:

6

source_field

varchar

255

0

Y

N

来源字段:

7

source_id

int

10

0

N

N

0

来源ID:

8

register

smallint

5

0

Y

N

0

注册位置:

9

create_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

创建时间:

10

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间:

表video_recommendation (视频推荐)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

video_recommendation_id

int

10

0

N

Y

视频推荐ID

2

video_name

varchar

64

0

Y

N

视频名称

3

video_type

varchar

64

0

Y

N

视频类型

4

video_images

varchar

255

0

Y

N

视频图片

5

video_content

varchar

255

0

Y

N

视频内容

6

viewing_records

int

10

0

Y

N

0

观看记录

7

number_of_likes

int

10

0

Y

N

0

点赞数量

8

number_of_comments

int

10

0

Y

N

0

评论数量

9

video_title

varchar

64

0

Y

N

视频标题

10

number_of_collections

int

10

0

Y

N

0

收藏数量

11

video_id

int

10

0

Y

N

0

视频ID

12

release_date

varchar

64

0

Y

N

发布日期

13

hits

int

10

0

N

N

0

点击数

14

praise_len

int

10

0

N

N

0

点赞数

15

recommend

int

10

0

N

N

0

智能推荐

16

create_time

datetime

19

0

N

N

CURRENT_TIMESTAMP

创建时间

17

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间

表video_type (视频类型)

编号

名称

数据类型

长度

小数位

允许空值

主键

默认值

说明

1

video_type_id

int

10

0

N

Y

视频类型ID

2

video_type

varchar

64

0

Y

N

视频类型

3

create_time

datetime

19

0

N

N

CURRENT_TIMESTAMP

创建时间

4

update_time

timestamp

19

0

N

N

CURRENT_TIMESTAMP

更新时间


  1. 系统实现

    1. 登录模块的实现

为确保系统安全性,系统操作员只有在登录界面输入正确的用户名、密码、权限以及验证码,单击“登录”按钮后才能够进入本系统的主界面。

用户登录流程图如下所示。

图5-1用户登录流程图

登录界面如下图所示。

图5-2登录界面

    1. 普通用户功能模块的实现
      1. 注册模块的实现

用户输入用户名、密码、电话、姓名等必填信息后,点击注册按钮完成用户的注册。

用户注册流程图如下所示。

图5-3用户注册流程图

用户注册界面如下图所示。

图5-4用户注册界面

      1. 前台首页模块的实现

当进入短视频推荐系统的时候,首先映入眼帘的是系统的导航栏、通知公告以及轮播图等,右上角是用户登录以及注册按钮,其主界面展示如下图5-5所示。

图5-5前台首页界面

      1. 视频资讯模块的实现

当用户点击短视频推荐系统中导航栏上的“视频资讯”后将会进入到该“视频资讯”列表的界面,用户可以查看关于短视频行业的最新资讯、活动信息等内容,还可进行点赞、收藏、评论等操作,界面如下图所示。

图5-6视频资讯界面

      1. 视频推荐模块的实现

当用户点击“视频推荐”这一菜单按钮,可以查看视频推荐的详情信息,可以进行点赞、收藏、评论等操作。界面如下图所示。

图5-7视频推荐界面

    1. 管理员功能模块的实现
      1. 用户管理模块的实现

系统用户管理主要是对新用户的添加和旧用户的删除。新用户的添加主要是指添加用户名称并确定其密码;旧用户的删除也是从下拉菜单中找到对应的用户名称将其删除。不论是新用户添加还是旧用户的删除,这个权限只有管理员具有。

用户管理流程图如下所示。

图5-8用户管理流程图

用户管理界面如下图所示。

图5-9普通用户管理界面

      1. 系统首页模块的实现

系统首页,管理员登录后台系统后,可以管理系统用户、视频推荐管理、视频类型管理、系统管理(轮播图管理)、通知公告管理、资源管理(视频资讯、资讯分类)等功能模块,在后台首页界面可以查看各种统计图和数据分析功能,如普通用户统计、视频类型统计等。

系统首页界面如下图所示。

图5-10系统首页界面

      1. 视频推荐管理模块的实现

管理员点击“视频推荐管理”这一菜单会显示视频推荐列表、视频推荐添加这两个子菜单,支持输入关键词进行查询,管理员可以对视频推荐信息进行管理,包括查询、删除、导入、下载导入文件等。界面如下图所示。

图5-11视频推荐管理界面

      1. 通知公告管理模块的实现

管理员点击“通知公告管理”这个菜单,可以查看到系统中所有添加的系统公告,支持通过标题对系统公告进行查询,添加、删除等操作。通知公告管理界面如下图所示。

图5-12通知公告列表界面图

      1. 资源管理模块的实现

管理员点击“资源管理”这一菜单会显示视频资讯、资讯分类这两个子菜单,管理员可以对这两部分涉及到的功能进行更新维护,更好的服务于前台用户。如下图所示。

图5-13资源管理界面图

      1. 系统管理模块的实现

管理员点击“系统管理”这一菜单会显示轮播图这一个子菜单,管理员可以对前台展示的轮播图进行设置,界面如下图所示。

图5-14系统管理界面图


  1. 系统测试

    1. 测试目标

系统测试是用于检查软件的质量、性能、可靠性等是否符合用户需求。一套严谨的、规范的、完善的测试过程将大大提高软件的质量、可信度、可靠性,降低软件的出错率,降低用户风险系数。通过在计算机上对系统进行测试试验并从中发现此系统中存在的问题和错误然后加以修改,使之更加符合用户需求。

1.测试的目的是通过测试来发现程序在执行过程中的错误的过程。

2.好的测试方案是可以检验出还未被发现的错误的方案。

3.好的测试是发现了到目前为止还未被发现的错误的测试。

4.该系统能够完成系统用户管理、视频推荐管理、视频类型管理、系统管理(轮播图管理)、通知公告管理、资源管理(视频资讯、资讯分类)等功能,做到所开发的系统操作简单,尽量使系统操作不受用户对电脑知识水平的限制。

    1. 功能测试

下表是系统登录功能测试用例,检测了用户名和密码的不同的输入情况,观察系统的响应情况。得出该功能达到了设计目标。

表6-1 系统登录功能测试用例

功能描述

用于系统登录

测试目的

检测登录时的合法性检查

测试数据以及操作

预期结果

实际结果

输入的用户名和密码带有非法字符

提示用户名或者密码错误

与预期结果一致

输入的用户名或者密码为空

提示用户名或者密码错误

与预期结果一致

输入的用户名和密码不存在

提示用户名或者密码错误

与预期结果一致

输入正确的用户名和密码

登录成功

与预期结果一致

下表是注册功能测试用例,检测了各种数据的输入情况,观察系统的响应情况。得出该功能达到了设计目标。

表6-2 注册功能测试用例

功能描述

用于用户注册

测试目的

检测用户注册时的合法性检查

测试数据以及操作

预期结果

实际结果

输入的手机号不合法

提示请输入正确的手机号码

与预期结果一致

输入的字段为空

提示必填项不能为空

与预期结果一致

输入的密码少于6位

提示密码必须为6-12位

与预期结果一致

输入的密码大于12位

提示密码必须为6-12位

与预期结果一致

下表是视频推荐管理功能的测试用例,检测了视频推荐管理中对视频推荐信息的导入,删除,修改,查询操作是否成功运行。观察系统的响应情况,得出该功能也达到了设计目标,系统运行正确。

前置条件;管理员登录系统。

表6-3 视频推荐管理的测试用例

功能描述

用于视频推荐管理

测试目的

检测视频推荐管理时的各种操作的运行情况

测试数据以及操作

预期结果

实际结果

点击导入视频推荐,必填项合法输入,点击保存

提示导入成功

与预期结果一致

点击导入视频推荐,必填项输入不合法,点击保存

提示必填项不能为空

与预期结果一致

点击修改视频推荐,必填项修改为空,点击保存

提示必填项不能为空

与预期结果一致

点击修改视频推荐,必填项输入不合法,点击保存

提示必填项不能为空

与预期结果一致

点击删除视频推荐,选择视频推荐删除

提示删除成功

与预期结果一致

点击搜索视频推荐,输入存在的视频推荐名

查找出视频推荐

与预期结果一致

点击搜索视频推荐,输入不存在的视频推荐名

不显示视频推荐

与预期结果一致

    1. 测试结果

经过对此系统的测试,得出该系统足以满足普通用户日常需求,在功能项目和操作等方面也能满足管理员对于普通用户的管理。但是,还有很多功能有待添加,这个系统仅能满足大部分的需求,还需要对此系统的功能更进一步的完善,这样使用起来才能更加的完美。

  1. 总结与展望

在开发本基于spark的短视频推荐系统之前,首先通过网上查询现有的短视频推荐系统功能、线下通过问卷调查的方式,了解普通用户对旅游景点推荐的具体需求,对系统的开发背景以及短视频推荐系统的研究现状进行研究,设计了本基于spark的短视频推荐系统具体实现的功能;确定好功能后,第二步就是开发工具的选择,在设计本基于spark的短视频推荐系统的时候,采用了现下比较流程的Pythong语言、spark框架,数据的存储方面采用的是开源的MYSQL。接下来就是对系统需求的分析,在文中主要通过对基于spark的短视频推荐系统进行可行性、性能、功能、用例、业务流程五个方面进行分析,确定了本基于spark的短视频推荐系统的具体功能,功能确定后就是对系统的设计以及数据库等方面,最终完成系统的开发,对系统进行测试总结。

在开发本基于spark的短视频推荐系统的过程中我成长了很多,学习到了很多书本上没有的知识,目前系统虽然已经完成,但是还有许多地方需要改进,比如界面布局方面,代码的编写方面,都可以进一步完善,由于自己专业知识的浅薄,系统做的并不是十分完美,以后我会不断进行学习,对系统进行完善,希望有机会能够投入到学校的使用当中,给同学们提供便利。


参考文献

[1]Ma D ,Wang X ,Lv X , et al.Data-driven smoothing approaches for interest modeling in recommendation systems[J].Expert Systems With Applications,2024,249(PA):123524-.

[2]Ceskoutsé T F R ,Bomgni B A ,Zanfack G R D , et al.Sub-clustering based recommendation system for stroke patient: Identification of a specific drug class for a given patient[J].Computers in Biology and Medicine,2024,171108117-.

[3]Yazdi A H ,Mahdavi S J S ,Yazdi A H .Dynamic educational recommender system based on Improved LSTM neural network.[J].Scientific reports,2024,14(1):4381-4381.

[4]周杨玥,李世锋,李林.基于Spark的智能菜品推荐系统设计与实现[J].软件工程,2024,27(02):69-73.DOI:10.19644/j.cnki.issn2096-1472.2024.002.014.

[5]陈昊.基于聚类和关联规则的短视频推荐系统的设计与实现[D].南京邮电大学,2023.DOI:10.27251/d.cnki.gnjdc.2023.001876.

[6]刘念,蔡春花.基于Spark的电影推荐系统的设计与实现[J].软件工程,2023,26(06):59-62+45.DOI:10.19644/j.cnki.issn2096-1472.2023.006.013.

[7]安邦.基于用户偏好的短视频混合推荐系统研究与实现[D].西安石油大学,2023.DOI:10.27400/d.cnki.gxasc.2023.000806.

[8]文小月.基于Spark平台的协同过滤推荐算法研究[D].云南财经大学,2023.DOI:10.27455/d.cnki.gycmc.2023.000291.

[9]孟瑞军.基于Spark的实时广告推荐系统研究[J].信息与电脑(理论版),2023,35(09):60-62.

[10]杨佳鹏,俎毓伟,纪佳琪等.基于Spark框架的瀑布型融合旅游推荐系统[J].智能计算机与应用,2023,13(04):142-146.

[11]黄宏昆,彭明.深度学习和Spark在电影推荐系统上的应用[J].福建电脑,2023,39(02):17-20.DOI:10.16707/j.cnki.fjpc.2023.02.004.

[12]周峰.基于Spark的混合策略音乐推荐系统的研究与实现[D].南京邮电大学,2022.DOI:10.27251/d.cnki.gnjdc.2022.001529.

[13]郝艳峰.基于人像聚类的短视频推荐系统的研究与实现[D].辽宁大学,2022.DOI:10.27209/d.cnki.glniu.2022.001992.

[14]彭宇,宁慧,张汝波.基于改进的LFM算法的短视频推荐系统的研究与实现[J].应用科技,2022,49(03):64-68.

[15]严辉.基于协同过滤推荐的短视频App运营系统的设计与实现[D].华中科技大学,2022.DOI:10.27157/d.cnki.ghzku.2022.000052.

[16]杨东辰.基于Spark大数据的短视频推荐系统的设计与研究[D].南昌大学,2021.DOI:10.27232/d.cnki.gnchu.2021.002662.

[17]李奥星.基于多模态信息及差分隐私的短视频推荐系统设计与实现[D].北京邮电大学,2021.DOI:10.26969/d.cnki.gbydu.2021.002187.

[18]马学明.基于XDeepFM模型的短视频推荐系统设计与研究[D].广东工业大学,2021.DOI:10.27029/d.cnki.ggdgu.2021.001917.

[19]齐德法.基于多重粒度召回的短视频推荐系统的设计与实现[D].山东师范大学,2019.DOI:10.27280/d.cnki.gsdsu.2019.000057.

[20]陶健.基于Spark的视频推荐系统研究与实现[D].重庆师范大学,2019.


致谢

在此论文完成之际,感谢我的指导老师。在指导老师的网页设计课上,当时我学到了很多东西,这对于我实习过程中也打了一定的基础,而且指导老师对于我的设计也提出许多建议,并予以悉心的指导,对于一些细小的问题都耐心的指导我去完善,授予我写论文的交流消息,时常的鼓励我,另外感谢教导我完善此项目的前端同学,对于这个项目,我是边学习边实现完成的,有许多东西开始并不是很明白,但前端开发的同学非常耐心的引导我去将这个项目完成,在系统的后端开发中,所用到的后台开发技术也时常会给我讲解,助于我更好的将论文完成,在此对帮助到我的同学和一直予以教导的指导老师致以衷心的感谢,祝事业有成。

请关注点赞+私信博主,免费领取项目源码

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值