python基于物品的协同过滤算法

推荐数据集推荐使用MovieLens数据集，该数据集包含多个版本，可以选择其中的ml-latest-small版本进行实验。 数据清洗包括数据预处理和数据过滤两个部分。数据预处理需要将原始数据转换为模型需要的格式，例如将用户行为转化为评分，转化为用户-物品评分矩阵；数据过滤则是为了提高推荐系统的效果，例如过滤掉评分数量较少的用户或物品，过滤掉评分较低的用户或物品。 推荐系统的算法设计思路是基于物品协同过滤算法。该算法基于用户的历史行为，计算出用户对未评分物品的可能评分，然后进行推荐。具体步骤如下： 1. 计算物品之间的相似度，可以使用余弦相似度或皮尔逊相关系数等方法。 2. 对于用户u，找出其已评分物品集合R(u)。 3. 对于每个物品i∈R(u)，找出与其相似度最高的k个物品，称为物品i的邻居集合N(i, k)。 4. 对于每个未评分物品j，计算其与用户已评分物品集合R(u)中每个物品的相似度，然后基于这些相似度和用户对已评分物品的评分，计算出用户对未评分物品的可能评分。 5. 对用户u的每个未评分物品，根据可能评分的大小进行排序，取前n个作为推荐结果。 编码过程可以参考以下步骤： 1. 加载数据集并进行数据预处理，构建用户-物品评分矩阵。 2. 计算物品之间的相似度，可以使用余弦相似度或皮尔逊相关系数等方法。 3. 对于每个用户，找出其已评分物品集合R(u)，然后根据物品之间的相似度计算出R(u)中每个物品的邻居集合N(i, k)。 4. 对于每个未评分物品j，计算其与用户已评分物品集合R(u)中每个物品的相似度，然后基于这些相似度和用户对已评分物品的评分，计算出用户对未评分物品的可能评分。 5. 对用户u的每个未评分物品，根据可能评分的大小进行排序，取前n个作为推荐结果。 下面是一个简单的Python代码示例： ```python import pandas as pd import numpy as np from sklearn.metrics.pairwise import cosine_similarity # 加载数据集 ratings = pd.read_csv('ratings.csv') movies = pd.read_csv('movies.csv') # 构建用户-物品评分矩阵 ratings_matrix = ratings.pivot_table(index='userId', columns='movieId', values='rating', fill_value=0) # 计算物品之间的相似度 item_similarity = cosine_similarity(ratings_matrix.T) # 对于每个用户，找出其已评分物品集合R(u)，然后根据物品之间的相似度计算出R(u)中每个物品的邻居集合N(i, k) def get_similar_items(user_id, item_id, k): similar_items = item_similarity[item_id-1] similar_items_indices = np.argsort(-similar_items)[1:k+1] return similar_items_indices # 对于每个未评分物品j，计算其与用户已评分物品集合R(u)中每个物品的相似度，然后基于这些相似度和用户对已评分物品的评分，计算出用户对未评分物品的可能评分 def predict_rating(user_id, item_id, k): similar_items_indices = get_similar_items(user_id, item_id, k) nearest_items = ratings_matrix.loc[user_id, similar_items_indices] nonzero_items = nearest_items[nearest_items != 0] if len(nonzero_items) == 0: return 0 else: predicted_rating = np.dot(nonzero_items, item_similarity[item_id-1][similar_items_indices][nonzero_items.index]) / sum(item_similarity[item_id-1][similar_items_indices][nonzero_items.index]) return predicted_rating # 对用户u的每个未评分物品，根据可能评分的大小进行排序，取前n个作为推荐结果 def recommend_items(user_id, n, k): rated_items = ratings_matrix.loc[user_id] unrated_items = rated_items[rated_items == 0].index predicted_ratings = [predict_rating(user_id, item_id, k) for item_id in unrated_items] sorted_items = unrated_items[np.argsort(-predicted_ratings)] return sorted_items[:n] # 示例：为用户1推荐5部电影 recommended_items = recommend_items(1, 5, 10) recommended_movies = movies[movies['movieId'].isin(recommended_items)] print(recommended_movies) ``` 注意：上述代码仅供参考，实际应用需要根据具体情况进行调整和优化。

### 基于物品的协同过滤推荐算法概述 基于物品的协同过滤推荐（Item-based Collaborative Filtering, Item-CF）是一种广泛应用的推荐技术。该方法的核心在于计算不同物品之间的相似度，并利用这些相似度为用户提供个性化推荐[^2]。 具体而言，Item-CF 的主要流程可以分为以下几个方面： 1. **数据准备** 需要收集用户对物品的行为记录，比如评分矩阵或者交互行为矩阵。通常表示为一个二维表 `R`，其中每一行代表一位用户，每一列表示一种物品，单元格中的值可能是评分或其他形式的互动强度。 2. **计算物品间的相似度** 使用特定的方法衡量两个物品之间是否存在关联以及关联程度大小。常用的相似度计算方式有余弦相似度 (Cosine Similarity)，皮尔逊相关系数 (Pearson Correlation Coefficient) 或调整后的余弦相似度等。 3. **生成推荐列表** 对目标用户已知偏好的每一件物品找到与其最相近的一组其他物品；再依据这些候选物品种类及其权重综合考虑得出最终建议清单。 以下是 Python 实现的一个简单例子，展示如何构建基于物品的协同过滤推荐系统： ```python import numpy as np from sklearn.metrics.pairwise import cosine_similarity def calculate_item_similarity(ratings_matrix): """ 计算物品间相似度矩阵 参数: ratings_matrix: 用户-物品评分矩阵 (n_users x n_items) 返回: item_similarities: 物品间相似度矩阵 (n_items x n_items) """ # 转置矩阵以便按列操作(即针对每个物品) transposed_ratings = ratings_matrix.T # 应用cosine similarity函数得到两两物品间的相似度得分 item_similarities = cosine_similarity(transposed_ratings) return item_similarities def recommend_items(user_id, user_item_matrix, item_similarities, top_n=5): """ 给定用户ID和预定义参数，返回前N个推荐项 参数: user_id: 当前用户的唯一标识符 user_item_matrix: 完整的用户-物品评分矩阵 item_similarities: 已经计算出来的物品间相似度矩阵 top_n: 推荐数量，默认为5 返回: recommendations: 包含top N推荐物品索引号的数组 """ interactions = user_item_matrix[user_id] scores = item_similarities.dot(interactions).flatten() ranked_scores_indices = np.argsort(-scores)[:top_n] return ranked_scores_indices # 示例输入：创建一个小规模的用户-物品评分矩阵 ratings_data = [ [0, 4, 3, 0], [4, 0, 0, 2], [3, 4, 0, 0], [0, 0, 5, 4] ] user_item_matrix = np.array(ratings_data) # 步骤一：计算物品相似度 item_sims = calculate_item_similarity(user_item_matrix) # 步骤二：获取指定用户的推荐结果 target_user_index = 0 # 设定测试的目标用户编号 recommended_items = recommend_items(target_user_index, user_item_matrix, item_sims, top_n=2) print(f"对于用户 {target_user_index} 推荐的商品序列为:", recommended_items.tolist()) ``` 上述代码片段展示了基本框架的设计思路——先建立物品相似性的评估机制，接着运用此模型预测可能感兴趣的项目集合。 #### 注意事项 实际部署过程中还需要注意处理稀疏性和冷启动等问题，同时优化性能以适应大规模应用场景下的需求。