DL解释– Netflix如何使用AI预测下一个系列狂欢– 2020年
等等，Netflix是怎么知道我想看的？怪异…对吗？好吧，不完全是。 Netflix通过使用机器学习，协作过滤，NLP等功能，通过5个步骤来使用AI，不仅增强了用户体验，而且创建了量身定制的个性化平台，以最大程度地提高参与度，保留度和娱乐度。
- 当前五个主要的开发阶段包括Netflix的ML：排名和布局>相似性和促销>证据和搜索>模型改进>漏洞利用学习
- 关键挑战–了解用户意图，在任何给定时间的个人偏好以及不同帐户之间的用户之间的关联
- 提到的关键应用/技术：ML，RL，协作过滤，NLP
- 包括>机器学习简介，当前重点关注的5个关键领域，与AI研究人员进行的问答，Netflix演示文稿的视频。
在过去的十年中，Netflix的学习算法和模型已经演化为多层，多个阶段和非线性。现在已经发展到他们现在使用机器学习和深度变体对大型目录进行排名的阶段，即确定每个标题与每个用户的相关性，从而创建个性化的内容策略。不仅对内容进行了自定义，还对观看的可能性从最高到最低进行了排名。此过程还包括为每个图像选择图像，以根据您的喜好最佳地描述标题。从ML的最初使用到ML的排名布局以及Netflix的模型准确性的提高，下面将对此过程进行说明。
机器学习
关于机器学习，有两个重点领域需要关注：
- 收集海量数据集
- 尝试数十亿个假设以找到*有支持的人
使用Binary（0,1）观察许多天的天气，其中0表示可以下雨，1表示不下雨。同样，我们可以将多云或晴朗的天空视为另一个二进制变量。
虽然我们可以从仅包含几个变量的观测值中学习概率分布，但是当存在数千个变量时，要共同描述它们的概率要困难得多。通过限制变量之间通过网络进行的交互，我们使事情变得易于处理。这样可以提供更好的计算和统计效率。
这如何适用于讲故事
讲故事可以追溯到数千年前，直到人类诞生为止。以数字方式应用时，讲故事的人不知道听众是否参与其中（例如笑，皱眉等）。 Netflix充当其客户（听众）的故事讲述人。在Netflix，通过观察“交互”数据，研究触发条件来判断用户的参与度，这些触发条件可以看到单个的快进，退出标题，浏览界面（搜索或滚动）以及许多附带的变量。所有这些数据都添加到ML模型中，以为每位用户创建更清晰的图片。
Netflix的机器学习
Netflix专注于5个关键领域：
第一步：排名和布局
Netflix的电影和节目的整个目录以个性化的方式对每个用户进行排名和排序（您可以责怪您的室友弄乱了算法）。通过长期使用，Netflix可以根据客户的活动确定他们最喜欢的节目。如果客户X观看了几部喜剧（在这种情况下是可以理解的），则可以假定他们对喜剧电影/表演感兴趣。因此，例如，喜剧片将比惊悚片具有更高的排名分数。听起来很简单吧？继续阅读…
在基本级别上，推荐器系统会根据您以前的历史记录从您的帐户中了解您可能会感兴趣的系列或电影类型，并建议最相关的标题。
复杂算法的简化布局第二步：相似度和提升
一旦他们找到了您的收藏夹，就可以使用数据在整个平台上查找相似之处以进行内容建议。关于情节线，演员/女演员，年龄限制的相似性都被考虑在内。
第三步：证据和搜索
通过测试，可以得出人们的兴趣，观看记录等之间的相关性。这些测试的结果可以证明有效的方法和无效的方法。更好地搜索和购买新电影以鼓励人们注册是一个机器学习问题。其中一种方法是“协作过滤”，这是一种ML技术，通过这种技术，您可以尝试将相似的用户分组在一起，然后从他们的消费模式中推断出相关内容，并向具有相似品味的会员推荐相关的个性化电影和电视节目。寻找相似的用户是一个难题，许多Netflix数据科学家花了很多时间来解决这个问题。
第四步：改进模型
模型改进的第一阶段是上述数据收集期，该过程持续数月以建立大量高质量数据。然后，进行A / B测试以说明此新模型是否比当前模型更好。这时，一半的用户获得了新模型，一半的用户获得了旧模型，并对结果进行分析以决定推出哪种模型。
批处理学习方法存在许多问题。在花时间在新平台上建立对UX的理解时，客户可能有许多个月的经验，他们认为这是测试期间的较差体验。
第五步：探索/利用学习
对于探索/利用学习，然后Netflix对大量假设进行抽样，并排除表现不佳的假设。
- 统一的人口假设
- 选择一个随机假设h
- 根据h行动并观察结果
- 重新加权假设
- 转到2
Netflix然后使用探索/探索学习来找到最能描述电影的图片；因此，Netflix修改了代表电影的图像以适合每个客户。为了成功实现这一目标，Netflix进行了测试，以查看哪种影像更适合每部电影，以及其他因素（例如客户的流派偏好）如何影响他们的选择。
您的问题的答案
答案– Netflix机器学习研究科学家Anoop Deoras
个性化用户主屏幕的主要挑战是什么？
我们的目标是在会员参与我们的服务时最大程度地提高其Netflix会员的快乐度。我们相信，通过向用户提供相关且个性化的建议，我们可以致力于最大程度地提高这种乐趣。不了解用户状态（用户的上下文，用户的意图等）的推荐系统只能在一定程度上进行个性化设置。因此，个性化的主要挑战是正确设置用户的状态并对其进行建模。
您如何结合使用NLP，DL和推荐系统来提供最佳用户体验？
NLP和RecSys是机器学习的应用程序，并且通常情况下，底层的机器学习方法被证明是相似的。当我在Microsoft从事虚拟个人助理工作时，我们的首要任务是使用户的意图正确并善于主动建议（在飞行前向您显示路况，根据您的股票重新排列股票应用中的报价器喜欢在起床时看到最多的内容等。）在Netflix上，我们也努力使会员的意图正确，从而最大限度地减少播放会员真正喜欢的东西所花费的时间。然后，意图检测成为常见的机器学习问题，适用于NLP和RecSys。 NLP和RecSys之间还有其他一些共性，我们倾向于从一个领域借用想法并将其应用于其他领域。 Matrix Factorization是RecSys的非常标准的ML模型，最近用于学习NLP应用程序中的单词嵌入。另一方面，与NLP和RecSys不同，深度学习（DL）并不是ML的应用，而是它本身就是ML工具。例如，您可以应用DL进行意图检测。
Netflix如何利用AI产生积极影响？
推荐系统是达到目的的手段。我们会尝试建立推荐模型，以便我们可以最大程度地提高Netflix会员对所选项目的欣赏程度，同时最大程度地减少找到它们的时间。在建立ML / AI模型以产生积极影响时，我们考虑了一些因素，这些因素是随着时间的推移而享受的乐趣，即物品的好坏和视野的长短，随着时间的推移所增持的互动成本，即成员找到游戏所需的时间。在我们的1亿+成员中。
您最期待AI的哪些发展，您认为哪些行业会受到最大影响？
我对AI的子领域强化学习（RL）感到非常兴奋。 RL的应用比比皆是，但是我认为RL不仅会在机器人技术领域而且还会在人机交互（对话建模）领域产生最大的影响。人机交互将无处不在，从交谈到电话以获取有关餐馆或当地利益的建议，到与机器交谈以解决某些医疗问题。如果您还没有的话，我会推荐“ Alpha Go”电影，该电影可在全球Netflix上播放，其中Google DeepMind的RL专家使用RL训练ML模型来与世界冠军对抗，赢得最复杂的Go游戏； Lee Seedol。
人工智能和机器学习引发了许多道德问题，例如偏见，安全性和隐私性。您对此有何看法？如何避免机器偏差？
AI和ML是我们提供给训练数据的功能。很多时候，用于训练ML模型的数据具有固有的偏差，这些偏差会反映在模型预测和AI行为中。因此，对于ML从业人员来说，认识到数据中存在这样的偏差是非常重要的，并且有必要确保通过明确的去偏差，数据分层，模型调整或以下方法的组合来解决此类偏差：他们。在Netflix，偏差会以“反馈循环”的形式出现，即印象偏差会加剧某些商品（电影/电视节目）的知名度。 ML模型中的生产偏差可能会导致推荐系统加强这些反馈回路。我们专门在因果推荐空间中进行研究和开发，以使我们的推荐器模型摆脱由于严重的生产偏差而导致的反馈循环。
查看我的BlockDelta个人资料以获取其他文章。
DL Explained – Netflix如何使用AI来预测您的下一个系列Binge – 2020的帖子首次出现在BlockDelta上。