见知AI巡山报告 – 11月

Deepfake真是让人又爱又恨。

众所周知，基于深度学习模型的Deepfake软件，可以制造虚假的人脸视频或图像。它在影视、娱乐等行业有着广泛的应用场景。

然而近年来，不法分子也看上了这项强大的技术，比如Deepfake也开始涉足政治领域，被用来伪造虚假政客言论，相关数据也在逐年增长。

奥巴马发表着与自己不相关的言论

更重要的是，随着Deepfake技术的不断升级，这些伪造视频越来越难以分辨真假，对社会稳定构成了极大的威胁。

而近日，一篇刊登在IEEE PAMI（模式分析与机器智能汇刊）的论文声称，有新的方法能够识别Deepfake视频，准确率高达97.29%，而且还能够发现制造Deepfake背后的生成模型。不同于常规检测法，该论文强调其利用的是生物信号——心跳。

我们知道，血管遍布人体全身，包括面部。当心脏跳动时会带动全身的血液流动，流动的血液会在人脸表面产生细微的变化，而经研究验证，Deepfake生成的假“人”是无法正常还原因血液流动造成的微弱变化的，于是这种变化便成为了研究人员区分真假视频的关键。

研究人员把区分这种变化的方法称为光体积变化描计法（PPG）。简单来说，就是利用光率的脉动变化，折算成电信号，从而对应成心率。

如果是Deepfake视频，所产生的面部效果会非常不自然。如下图：

由此便可很清楚地分辨出视频中的人是真是假了。

而与此同时，微软亚研院（MSRA）也提出了另一种AI换脸识破技术：Face X-Ray

Face X-Ray， 顾名思义就是要给人脸图像、视频做“X 光检测”，因为如果是被替换过的人脸图像，那么一定会留下痕迹，Face X-Ray 可以检测并画出这个边界，就像照 X 光一样，让这个边界清晰可见。

本质上来讲，Face X-Ray的目的是将图像分解为两个不同来源的图，毕竟不同来源的图像有些细微的差异人眼无法发现，而计算机可以。

如下图所示，a是天然人脸，b是交换后的人脸，第二列是噪声分析，第三列是误差分析，很显然，并融合的原始图和目标图在这两项指标上是存在明显差异的。而这些差异人眼无法识别。

而Face X-Ray恰恰是一种发现图像差异的计算表示，它关心并利用混合边界来辨别真伪。

不过相比之下，似乎还是“心跳”检测法更靠谱些，因为连续视频很难模拟周期性的呼吸引起的变化，而且在换脸科学家们在生成算法的时候不会去考虑到这一层。

总之，随着这些换脸破解技术的诞生，我们再也不用担心不法分子利用AI技术干坏事啦！

有数据显示，世界50%新冠（COVID-19）病例由无症状感染者传染。

无发烧、乏力、头晕等明显特征的无症状感染者，已在不知不觉中成为新冠病毒传播和复发的最大威胁。

在最近发表在《IEEE医学与生物工程学杂志》上的一篇论文中，麻省理工学院（MIT）研究团队明确表示，他们已经开发出一种能够识别COVID-19咳嗽声的AI。该AI算法已通过迄今为止最大的咳嗽数据集测试，无症状感染者的诊断准确率可达到100%。

在医学领域，AI识别「咳嗽声」已用于多项疾病检测任务。比如AI检测肺炎，哮喘或者神经肌肉疾病等。如项目负责人Brian Subirana所说：，“说话和咳嗽的声音都受到声带和周围器官的影响。这也意味着，我们可以从声音中获取有关体内器官的信息，而AI恰好可以做到这一点。”

因此，在疫情爆发之前，MIT研究团队已经在尝试利用AI辨“音”来诊断阿尔茨海默症（AD）早期的患者。正是通过这项研究，研究人员发现了识别COVID-19无症状感染者的可能性，并提供了AI算法支持。

阿尔茨海默病是一种神经系统退行性疾病，不仅与记忆力衰退有关，还与声带减弱等神经肌肉退化有关。因此，研究人员开发了一种通用的机器学习算法（或称为ResNet50的神经网络），结合针对声带强度、情绪、肺和呼吸功能的三种模型，形成了一个用于检测肌肉退化的AI框架。研究人员经过检测发现，基于以上生物特征，该AI能够准确识别出AD患者。

基于此，当冠状大流行开始蔓延后，Subirana开始思考是否可以利用AI诊断COVID-19，因为已经有证据表明，新冠感染患者会发生一些类似的神经系统症状，比如，暂时性神经肌肉损伤。于是他在COVID-19咳嗽数据集上训练了阿尔茨海默氏病AI模型，结果取得了惊人的发现。该AI模型不仅可以高精度识别出新冠感染患者，而且无症状感染者的准确率更高。

看到这里，你或许会对这个“100%”产生质疑，「AI探病」真的有这么准吗？

我们知道，AI模型和数据集是决定机器学习准确率的两项关键指标，运用到疾病诊断上亦是如此。

今年4月，MIT研究人员建立了一个公开咳嗽数据收集网站，允许所有人通过网络浏览器、手机或者笔记本电脑等设备自愿提交咳嗽录音。

网站地址：https://opensigma.mit.edu/

截止测试前，该网站收集了超过7万个录音，每段录音中有几次咳嗽，约有20万份咳嗽音频样本。其中，2500多个样本是由已经确诊患者提交的，包括那些无症状感染者。Subirana称：“在医疗领域，这是迄今为止最大的咳嗽数据集”。

在模型方面，采用的仍然是阿尔茨海默氏症AI模型，并且同样以声带强度、情绪、肺和呼吸四项生物特征作为诊断COVID-19感染患者的标准。

基于以上两个方面，研究人员对其进行了测试，结果发现AI模型识别COVID-19患者的准确率为98.5％，无症状感染者的准确率为100%。

但是由于使用的是阿尔兹海默症的模型，而且2500个病患样本也不算特别充足。因此就这一点，Subirana在论文中明确强调说，不管他们的症状是由COVID-19还是其他症状（如流感或哮喘）引起的。该工具的优势在于它能够分辨无症状感染者的咳嗽和健康人的咳嗽，而不在于区分有症状的新冠患者和流感、哮喘等其他疾病患者。

虽然这个项目看起来有些玄学，但是在成本有限的情况下，相较于时间和金钱成本都更高的核酸检测，如果能快速的筛选出无症状患者然后加以核酸检测，还是很有价值的！

目前，MIT研究团队已经与一家企业展开合作，计划将该AI算法整合到手机应用程序中。Subirana表示：如果每个人在去教室，工厂或餐厅之前都使用该AI诊断工具，将会有效减少新冠大流行的传播。”

AI摄像机：我在哪？我是谁？我在干啥？

苏格兰球迷们前几天经历了一场别开生面的足球比赛。

在苏格兰足球冠军联赛的一场比赛上，场边的AI摄像机将裁判员的光头识别成了足球，疯狂追了一整场。

无论哪支球队进攻，无论哪个球员带球，AI摄像机都选择了视而不见。相反，它却不弃不离地跟着一名边裁，并不时给出锃光瓦亮的光头C位特写。所以电视机前的球迷们压根看不到任何球员的跑位，而是欣赏了一整场的光头盛宴。

英国《每日邮报》报道称，本场比赛的主队因弗内斯队曾引入了一项智能转播技术，现场AI摄像机原本可以自动捕捉到足球从而实现智能转播，让因新冠疫情而无法前往主场的球迷不错过任何一场比赛。

但事与愿违，由于裁判的光头太亮，加之阳光的照射曝光，AI摄像机遭遇滑铁卢，根本分不清哪个是球，哪个是头。

这样的直播效果显然不能让买了季票的球迷们买账，集体在一条推文下开起了吐槽大会，“太糟糕了，这个AI摄像机毁掉了整场比赛。”

有的网友则开起了玩笑，“甚至想冲上球场帮裁判戴一顶帽子。”

苏格兰本次AI应用的Bug其实不太多见，或许可以通过丰富数据集的方式，来让机器深刻学习：到这是教练的头，而不是足球。

在因弗内斯队引入AI摄像机之前，相关技术、产品在体育界的渗透已具规模化。它们通常可以帮助裁判们更好地观察细节，帮助观众们更全面地欣赏比赛，已经成为不少球队的心仪之选。此前，海康就曾为欧洲豪门阿贾克斯俱乐部建立过一套视频分析和处理的技术解决方案。

与上期介绍的目标检测自动驾驶技术有着相同的原理，全景摄像机通过深度学习等AI算法来对场内人员进行识别与行为分析，之后将图像通过第三方软件来分析球员跑位等场上信息，在比赛当中和结束后通过这些数据可以进行战术分析和讨论。

AI的赋能势头显然已经烧到了体育圈，但想要做好这件事也着实不易。

以足球赛场为例，赛场足够大，场上运动员众多、而且一般是晚上开赛，这就要求前端摄像机必须足够清晰、智能，这些对于硬件、算法要求极高。

另外，系统还须有一颗强大的后台大脑，它能实时地分析若干数据，在最短的时间内提供最为科学的现场报告。

虽然苏格兰本次直播乌龙事件让大众看到了AI摄像机在实战中的不足，但这并不妨碍技术在赋能体育市场的可能性。或许在不久的将来，我们观看体育比赛的模式将因为AI发生巨大的改变，就像在追剧时我们可以选择观看自己喜欢演员的单人Cut一样，球迷也可以选择在一场球赛中只观看自己喜欢的球星了。

相关文章：

https://www.leiphone.com/news/202010/jFvDiDXOFPDJq9cE.html

https://zhuanlan.zhihu.com/p/125770231

https://www.leiphone.com/news/202011/B4DTCMkLmlSdDKq0.html

https://www.leiphone.com/news/202011/UZz5bR6yeQHZ10ur.html