全世界都看 TikTok：揭秘它背后强大的算法系统

编者按：抖音在全球范围内火爆起来了。根据Sensor Tower的报道，这个短视频应用程序在AppStore和Google Play的下载量已经超过了20亿次。这款风靡世界的应用程序背后究竟有怎样的魔力，让用户如此着迷？经过研究，我们将答案锁定在它应用的算法程序上。本文来自Medium，作者Catherine Wang，原文标题“Why TikTok made its user so obsessive? The AI Algorithm that got you hooked”.

图片来自tenor

划重点：

1.抖音的介绍。

2.抖音的系统模型（数据、功能、算法、学习系统）。

3.抖音的推荐流程。

病毒式传播

让我们开诚布公地说吧，有谁会不喜欢滑稽小狗或者小奶猫的视频呢？尤其是在全球因疫情陷入困境的今天，这样的小视频多多少少能让人逃离现实。

但是宠物小视频仅仅是抖音爆火的一小部分原因。在不到两年的时间里，这款来自中国的APP就在全球范围内拥有了8亿个活跃用户。2020年，在抖音上，含有“新冠病毒”的视频被观看过530亿次。

2020年1月，抖音成了下载量最高的APP｜图片来自 SensorTower

抖音在全球范围内的下载量｜图片来自 SensorTower

抖音以生产洗脑神曲和有趣的视频故事而闻名。它在全球到底有多火爆？通常，人们在抖音上花费的时间为52分钟，相比之下，人们在Snapchat、Instagram和Facebook上花费的时间仅为26分钟、29分钟和37分钟。

图片来自Oberlo

此外，在这款应用中，用户可以尽情上传60秒内的视频，几乎不限内容。视频可以包含有情节的故事、喜剧、舞蹈表演和其他才艺展示。对观看的用户来说，不需要搜索自己想看的内容，只要划一划，看几个视频，程序就会自动锁定你喜欢看的内容，然后为你推送类似的视频。

这种可以获得不间断的快乐和刺激的视频应用程序很难不让人上瘾，用户在不知不觉中就刷抖音刷了几个小时。有人将抖音称为“业余时间的终极杀手”，并且认为它会改变人们对时间的认识：“抖音上的5分钟等于现实世界中的1小时”。

推荐系统是抖音的秘密武器

今天，我们将要在这篇文章中讨论抖音如何利用机器学习技术，通过用户和手机的人机交互过程来分析用户的兴趣爱好。

在数字时代，推荐系统（recommendation engine）对我们来说并不是一个陌生的概念。有一些人甚至将它类比为“旧时代的AI系统”。比起未来的人工智能，推荐系统缺少很多令人眼花缭乱的特效，比如图像识别或者语音系统。但是推荐系统依旧非常实用和强大，现在我们熟悉的各大平台都在使用这一系统。

比如，Youtube的相关视频推荐，Amazon的相似商品推荐邮件，Kindle电子书店里的“你可能还喜欢这些书籍”板块，这些我们熟悉的内容都是推荐系统的“杰作”。

另外，在Uber和Netflix的产品负责人尼尔·亨特（Neil Hunt）的一篇论文中，他提到说算法系统让Netflix每年省下超过10亿美元的费用。另外，80%的用户都会在“推荐列表”里观看视频。

我们现在就来探究一下，抖音是如何利用这种推荐系统的。

1. 推荐系统的介绍

（对于已经熟悉推荐系统的人来说，可以跳过这一段内容）

事实上，现在已经有很多关于推荐系统的介绍文章了，大家可以自行搜索，补充最基本的知识。在这一部分中，我将介绍推荐系统是如何变得产业化的。它的背后需要一个强大的设计和运行后端。下面是一个简单的例子：

推荐系统示意图｜图片来自Medium，创作者Catherine Wang

实时推荐系统需要强大的数据作支撑（包括数据的收集和储存），用以支持相对抽象的层面（包括算法层面、服务层面和应用程序层面），从而解决业务方面的问题。

2.抖音推荐系统的设计原型

抖音的推荐系统，简单来说就是“以用户为中心”（User-Centric Design）。换句话说，抖音只会推荐用户喜欢的内容，从刚刚上手的用户到活跃的用户都是如此——当然，用户越是活跃，推荐的内容也就更加精准。

如果你刷舞蹈视频，那么推荐系统就会根据这个现象为你定制娱乐类的视频，并且根据你后期的表现进一步分析你的喜好，并且更加精准地锁定你喜欢什么类的舞蹈视频。

以下是其工作流程：

流程包含三个部分｜图片来自Medium，创作者Catherine Wang

在抖音的工作系统中，有三个主要的板块：（1）用户标记内容（2）创建用户的肖像及使用场景（3）训练机器学习算法。

2.1 数据和功能

首先我们来说说数据（Data）。如果我们想要推荐功能更加准确，数据将是一项必不可少的基础。数据包含三个部分：

内容数据。用户在使用抖音的过程中留下了大量的内容数据，这些数据可以被用来分类、归类，方便日后更加精准的推荐。

用户数据。这种数据包括用户在抖音上留下的各种标签、职业、年龄、性别等。

场景数据。这一类数据是关于用户使用场景的数据。比如，在上下班、旅行的时候，用户分别喜欢看哪一类的视频。

一旦搜集好了数据，接下来就是将数据应用在不同的功能中。

关联功能。这类功能包括根据标签推荐、关键词搜索、标签分类、资源搜索、主题标签等等。

用户-场景重现功能。这类功能是基于场景数据（包括用户的地理坐标、时间表、事件的标签）等重现用户观看视频的场景。

协同功能。简单来说，这类功能不仅会分析单个用户留下的数据，还会分析相似的用户组的数据（包括点击的内容、兴趣、关键词、主题）。

通过上述模型，这款应用程序将预测某些视频在某些具体的场景中是否适合某位用户。

2.2无法度量的目标

在推荐系统模型中，点击率、观看视频的时间、点赞数量、评论等都是可以量化的目标。系统可以根据这些量化的目标作出预测。

但是也有一些目标不可度量、无法察觉，难以用这种可量化的指标去评估。

举个例子，为了维护抖音社区的纯净，必须剔除内容含有色情暴力、欺骗消费者的内容或者谣言的视频。在这种情况下，就需要在可量化的学习框架之外再搭建一个控制边界的框架，也就是我们常说的内容审核系统。

2.3 算法

推荐系统的成长过程可以被视为机器学习的典型例子。然后通过算法（包括过滤模型、回归模型等）将整个推荐机制加以完善。

产业化的推荐系统需要灵活且可以拓展的ML平台，可以允许多种模型叠加起来，时时刻刻为用户服务。

除了主要算法之外，抖音的推荐系统还要根据用户肖像制定特殊的算法，具体的算法系统有层级分类。

2.4学习机制

抖音的系统中包含实时学习的机制。通过捕捉和分析用户留下的数据，它可以快速提供反馈。比如，当用户点击某一种视频后，抖音会根据这一信息快速更新该用户的“喜好库”，然后根据这一改变立马推荐相似的视频。

线上学习机制（简化版）｜制图Catherine Wang，图片来自Medium

3.抖音的推荐流程

图片来自Medium｜制图Catherine Wang

步骤一：双重审核Duo-Audit模型

在抖音上，每天都有数百万的用户上传自己的视频。有一些不符合规定的视频很可能会逃过单一的审核系统。在这种情况下，仅靠人工审核显然是不现实的，所以双重审核系统是抖音筛选内容的一个基础。

图片来自Medium｜制图Catherine Wang

一般来说，Duo-Audit模型可以识别视频图像和关键字。它主要有两个功能：（1）检查视频中是否有违法违规的内容（包括图像和文案），一旦有相关内容，系统会将该条视频标注成黄色和红色，留到后期再由人工审核（2）通过提取视频中的关键帧，可以将其与存档内容进行对比，减少审核时所消耗的流量，同时减少引擎的负担。

步骤二：启动（cold-start）

当上传的内容在双重审核下通过之后，它将被放入到启动池中。比如，当你的新视频通过审核之后，抖音会分给你200-300个活跃账户作为初始流量，你的视频由此可以获得几千次的展示机会。在这种机制下，新创作者和大V得以竞争，因为他们的起点都是一样的。

步骤三：量化评估

投放进流量池后，视频可以获得数千次观看，和视频相关的数据也会被收集和分析。比如获赞数量、观看数量、完整的观看数量、评论、关注者数量、转发数量、分享数量等等。然后，推荐引擎将根据这些数据对你的账户进行评估，给内容进行打分。如果你的得分比较高，那么你产出内容的10%左右将会收获额外的1万-10万不等的曝光率。

步骤四：放大器

经过上一个步骤，用户的反馈将成为一条视频是否可以获得更多曝光的标准。在第四个步骤中，我们将介绍一个用户肖像放大机制。换句话说，优秀的视频内容将在特定的用户组（比如球迷、时尚爱好者）中得到更多的曝光。这是一种类似于“猜您喜欢什么”的概念。通过用户留下的各类数据，抖音可以建立用户的个人资料库，从而在内容和用户间进行更好的搭配。

图片来自Medium｜制图Catherine Wang

步骤五：趋势池

在上述步骤重复一段时间后，抖音将筛选出少于1%的优秀内容投放到趋势池（Trending Pool）中。在这个区域，内容的曝光率将会比其他区域的曝光率都要高，因为这些被认为是优质内容的视频会被无差别地推荐给所有用户。举个例子，不管你喜欢足球、时尚还是电影，你都有可能看到最火爆的“美国反对警察暴力的游行”这段视频。

其他步骤：延迟曝光

用户会注意到，有一些视频在刚开始发布时反响平平，但是在发布数周之后却突然获得了巨大的影响力。这种现象是基于以下两个原因：

抖音有一个叫gravedigger的算法，可以回顾旧的视频内容，从中挑选并曝光高质量的视频。在这种算法的曝光下，一些优秀内容最终会被发掘出来。

潮流效应：如果你的某条内容获得了数百万的观看率，那么它就会固定在你的个人页面上。比如如果你专门发猫猫的视频，其中一条的观看率尤其高，那么这一条就会固定在你的个人页面上，而省去了其他相似的、关注度不那么高的视频。

曝光是有时效性的

根据研究，一条视频的曝光时间很短，有时候只有一周左右的时间。在一周之后，这条内容和这些账户的关注度就会变低。这是因为抖音希望用户收到的推荐不局限在同样的主题里，同时确保新的内容、新的用户有机会加入时尚大潮。