剑客
关注科技互联网

YouTube推荐算法原理

近日,在谷歌刊登的一篇 论文
中,YouTube工程师详细地分析了YouTube推荐算法的内部工作原理。该论文在上周于波士顿举行的 第十次ACM大会
上进行了展示。

YouTube推荐算法以Google Brain为基础,后者最近以TensorFlow的名称开源。借助 TensorFlow
,开发人员可以使用分布式训练试验不同的深度神经网络结构。该系统包含两个神经网络。第一个生成候选集。它以用户的观看历史作为输入,使用 协同过滤
算法在数以百计的视频中进行选择。开发和最终部署到生产环境有一个重要的区别,谷歌使用离线指标衡量算法性能,但最终的决定来自对性能最好的算法进行在线A/B测试。

候选集生成使用用户观看视频的隐式反馈来训练模型。与隐式反馈相比,对于一个视频,类似支持或不支持这样的显式反馈一般很少。对于那些不受欢迎的长尾内容而言,这个问题更为严重。对于新上传的视频,为了加快模型训练速度,每个训练示例的年龄会作为一个特征传入。发现和展示新内容的另一个关键方面是使用所有用户观看过的YouTube视频(甚至是合作网站的)来训练算法。这样,协同过滤算法可以立刻识别出热门视频。最后,除了实际的观看外,通过增加更多的特征,如搜索深度和视频年龄,YouTube改善了离线holdout结果精度。

第二个神经网络用于对这几百个视频进行排序。这个问题比生成候选集简单许多,因为视频的数量较少,而且,对于每个视频及其和用户的关系,有更多的信息可用。该系统使用 逻辑回归
计算每个视频的得分,然后不断地使用A/B测试进行改进。这里使用的指标是预期观看时长,因为预期点击数会助长“点击诱饵( clickbait
)”。为了基于观看时长而不是点击率进行训练,该系统使用了逻辑回归的一个变种,以观看时长作为正相互作用权重,而负相互作用采用单位权。这之所以可行,部分原因是,“正面印象(positive impressions)”分量比总数小。

YouTube的推荐系统是业内最为复杂、使用最为频繁的系统之一。这篇论文只提供了一个肤浅的介绍,但即便如此,它也在深度学习系统设计方面提供了一些有用的见解。

查看英文原文: How YouTube’s Recommendation Algorithm Works

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址