在推荐系统中,主要有3种评测推荐系统的方法。即离线实验(offline experiment),用户调查(user study),在线实验(online experiment)。
1.离线实验
离线实验一般由如下几个步骤组成:
(1)通过日志系统获得用户的行为数据,并按照一定格式生成一个标准的数据集。
(2)将数据集按照一定的规则分成训练集和测试集。
(3)在训练集上训练用户兴趣模型,在测试集上进行预测
(4)通过事先定义好的离线指标评测算法在测试集上测试结果
优点 | 缺点 |
不需要有对实际系统的控制权 不需要用户参与实验 速度快,可以测试大量算法 |
无法计算商业上关心的指标 离线实验的指标和商业指标存在差距 |
2.用户调查
3.在线实验(AB测试)
评测指标
1.用户满意度
(1)问卷
(2)可以通过点击率、用户停留的时间和转化率等指标度量用户的满意度
2.预测准确度
(1)评分预测
RMSE(均方根误差)
MAE(平均绝对误差)
比较用户的实际评分,和预测评分
(2)TopN推荐
一般通过准确率(precision)/召回率(recall)度量
(3)覆盖率
描述的是对长尾的挖掘能力。
(4) 多样性
(5)新颖性
(6)惊喜度(serendipity):可以理解为与用户的历史兴趣并不同,但却让用户满意,那么就说惊喜度很高.
(7)信任度
(8)实时性
(9)健壮性
(10)商业目标
评测维度
用户维度
物品维度
时间维度
相关推荐
1、资源内容:基于spark的大数据过滤引擎推荐系统+源代码+文档说明 2、代码特点:内含运行结果,不会运行可私信,参数化编程、参数可方便更改、代码编程思路清晰、注释明细,都经过测试运行成功,功能ok的情况下才...
NEU大数据NEU大数据实验班课设搜索引擎基于Hadoop,Hbase实现的静态搜索引擎基于Spark,Kafka,HBase实现的动态搜索引擎实现原理:推荐系统协同过滤推荐系统其他简书用户大数据分析 CNN人脸识别情绪分类知乎舆情...
当前要解决这个问题主要有两个途径:一类是使用搜索引擎,比如谷歌、百度、搜狐等,但是这类方法需要用户的需求明确,用户也得十分清楚的表达出自己的意向,其搜索结果的质量很大程度上依赖于用户对需求描述的准确度...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
将个性化引入搜索引擎出现了稀疏性、精确性、扩展性等新问题。针对以上问题,提出了一种基于SVD(单值分解)影响集的协作过滤推荐算法,...实验表明,该算法可有效解决以上存在的问题,显著提高个性化系统的推荐质量。
Crab-Python的推荐引擎库Crab是Python的一种灵活,快速的推荐引擎,它在科学的Python软件包(numpy,scipy,matplotlib)中集成了经典的信息过滤推荐算法。 该引擎旨在提供一组丰富的组件,您可以从中使用一组算法...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
10.l 推荐系统的基本概念 ……......…· 305 10.2 推荐的核心要素…………········ 306 10.2.1 系统角色 .. . .. . ...…………·· 306 10.2.2 相似度 …. . ... . .......... . .…·· 307 10.2.3 ...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
新闻领域----新闻推荐系统等 游戏领域----游戏战略规划等 从上述所列举的应用可知,机器学习正在成为各行各业都会经常使用到的分析工具,尤其是在各领域数据量爆炸的今天,各行业都希望通过数据处理与分析手段,...
混合技术、加权混合推荐技术,最后利用多个模型进行融合,取得了较好的实验 效果,最终F1值为8.11%,并在此基础上验证了各混合技术的提升效果以及使 用条件; 2.利用Taobao Clothes Match数据集以及ODPS平台构建了...
该方法将领域词条与通用词条相结合,从发言文本流中实时提取话题,并在话题发生变化时自动生成检索词送入搜索引擎进行检索,再通过多个用户之间的协作推荐实现对重要检索结果的筛选。实验结果表明,这种方法可为综合...