本文将介绍如何编写一个只有200行嘚Python脚本为两张肖像照上人物的“换脸”。
get_landmarks()函数将一个图像转化成numpy数组，并返回一个68 x2元素矩阵输入图像的每个特征点对应每行的一个x，y坐标
特征提取器（predictor）要一个粗糙的边界框作为算法输入，由传统的能返回一个矩形列表的人脸检测器（detector）提供其每个矩形列表在图像中对应一个脸。
为了构建特征提取器预训练模型必不可少，相关模型可从dlib sourceforge库下载()
现在我们已经有了两个标记矩阵，每行有一组坐标对应一个特定的面部特征（如第30行給出的鼻子的坐标）我们现在要搞清楚如何旋转、翻译和规模化第一个向量，使它们尽可能适合第二个向量的点想法是，可以用相同嘚变换在第一个图像上覆盖第二个图像
把它们更数学化，寻找Ts和R，令下面这个表达式的结果最小：
代码分别实现了下面几步：
3．校正第二张图像的颜色
如果我们试图直接覆盖面部特征，很快就会看到一个问题：
此函数试图改变图像2的颜色来匹配图像1它通过用im2除以im2的高斯模糊，然后乘以im1的高斯模糊这里的想法是用RGB缩放校色，但是不是用所有圖像的整体常数比例因子每个像素都有自己的局部比例因子。
用这种方法两图像之间光线的差异只能在某种程度上被修正例如，如果圖像1是从一边照亮但图像2是均匀照明的，色彩校正后图像2也会出现未照亮边暗一些的现象
也就是说，这是一个相当粗糙的办法而且解决问题的关键是一个适当的高斯内核大小。如果太小第一个图像的面部特征将显示在第二个图像中。过大内核之外区域像素被覆盖，并发生变色这里的内核用了一个0.6 *的瞳孔距离。
4．把第二张图像的特性混合在第一张图像中
用一个遮罩来选择图像2和图像1的哪些部分应該是最终显示的图像：
前一段时间用于人物换脸的deepfake火爆了朋友圈早些时候Cycle GAN就可鉯轻松完成换脸任务，其实换脸是计算机视觉常见的领域比如Cycle GAN
，3dmm以及下文引用的论文均可以使用算法实现换脸(一定程度上能模仿表情)，而不需要使用PS等软件手工换脸（表情僵硬不符合视频上下文），只能说deepfake用一个博取眼球的角度切入了换脸算法所以一开始我并没有呔过关注这方面，以为是Cycle GAN干的后来隐约觉得不对劲，因为GAN系列确实在image to
image领域有着非凡的成绩但GAN的训练是出了名的不稳定，而且收敛时间長某些特定的数据集时不时需要有些trick，才能保证效果但deepfake似乎可以无痛的在各个数据集里跑，深入阅读开源代码后()发现这东西很多值嘚一说的地方和优化的空间才有了这一篇文章。
本文主要包括以下几方面：
Encoder部分用了简单的堆叠5x5卷积核采用aplha=0.1的LeakRelu作为激活函数。Decoder部分使用了卷积和PixelShuffer来做上采样结构上采用了4x4,8x8……64x64这样逐分辨率增加的重建方式（网络整体是类U-net的结构）。
如果你想要复现和改进模型的话需要主要一点的是，虽然峩们期望输入A脸然后输出B脸输入B脸输出A脸，但训练却不把AB脸作为pair输进神经网络（输入A脸期望在另一端获得B脸），仍然是像训练普通autoencoder的┅样我给出A脸，你要复原A脸B脸亦然。(用不同的decoder)这样训练的结果是decoderA能学会用A的信息复原A，decoderB用B的信息复原B而他们共用的Encoder呢？则学会了提取AB的共有特征，比如眼睛的大小皮肤的纹理，而解码器根据得到的编码分别找对应的信息复原，这样就能起到换脸的效果了
而Encoder獲取到共同的特征，比单独学习A的特征信息要损失得更为严重，故会产生模糊的效果另一个照片模糊得原因是autoencoder使用得是均方误差(mse)这一點已经是不可置否的了，后文提及的使用GAN来优化可以一定程度上缓解模糊的问题。
在文处我就强调了这个不是end2end的东西，接下来就着找介绍deepfake里的预处理和后处理
我们都知道在CV里用深度学习解决问题前，需要用进行数据增强然而涉及人脸的数据增强的算法和平时的有一點点不一样。
在开源代码中作者分别使用了random_transform，random_warp 两个函数来做数据增强但这个两个函数只是做一些有关比例之类的参数的封装，真正做叻转换的是opencv的warpAffine、rmap两个函数下面分别解读这两个函数做了些什么。
首先解读rmap其直译过来就是重映射其所做的就是将原图的某一个像素以某种规则映射到新的图中。利用该函数可以完成图像的平移，反转等功能
在数据增强中，我们不希望改动数据会影响label的分布在常见嘚有监督任务中，数据的标签由人工打上如类别，位置等图像的扭曲，反转不会影响到label的分布但在deepfake中，我们做的是生成任务作为無监督任务中的一种，其反向转播的误差由图像自己的提供而要使得数据增强后(代码中的warped_image)有对应的样本（代码中的target_image），作者使用了rmap构造除warped_image而使用umeyama和warpAffine构造出target_image。
Umeyama是一种点云匹配算法简单点来理解就是将源点云(source cloud)变换到目标点云(target
cloud)相同的坐标系下,包含了常见的矩阵变换和SVD的***過程，（碍于篇幅本文不作详解）调用umeyama后获取变换所需的矩阵，最后将原图和所求得矩阵放进warpAffine即可获的增强后对应的target_image其中warpAffine的功能就是根据变换矩阵对源矩阵进行变换。
说完了数据增强部分后我们来***后处理。
在deepfake(上述链接中)的命令行版本中有一个-P参数，选中后可以實时演示图片的变化过程在通过预览这个演变过程中，不难发现进入神经网络的不是整张图片也不是使用extract出来的整个256x256的部分(头像)，而昰仅仅只有脸部的小区域(64x64)因此在预测阶段，首先就是截取人脸然后送进网络，再根据网络的输出覆盖原图部分
至于将头像部分传进網络，也并非不行脸部还是会可以进行转换，但背景部分也会变得模糊且很难修复，因此我们只选择脸部替换
在脸部替换后，会出現如下问题：
（原图下文所有图片的原图都是这个，由官方提供）
该图使用的是官方提供的预训練权重和数据接下来在试试低尺寸下的视觉效果：
相对来说，边界效果没那明显了
至于另外的两个问题，官方给出了下面的几种后处悝方法缓减：
这个方法解释其实起来很简单你神经网络输出的图像不是很模糊吗？要模糊变清晰很难但清晰变糊还不简单吗？直接用高斯模糊将边界进行处理从而让过渡看起来自然。
这个方法背后的理论同样很简单假设A图要换成B图，那么做法就是A图加上自身和B图的烸一个像素的均值的差值算是作为一种色彩的调和。
(左图未经处理右图经过上述两种方法处理)
以上两种便是deepfake默认的处理方式。下面介紹另外一种图像编辑常用的算法这种算法作为deepfake的后备选项，由参数-S控制
此外，deepfake给出了基于泊松融合算法的来进行后处理泊松融合的夶致思想提供一个一个mask矩阵，背景区域为0ROI区域（region of insteresing 这里就是指脸部，下文同一简称ROI）的区域为255算法通过该矩阵得知拿一步分是融合的部汾，然后通过计算梯度,用梯度场作为指示,修改ROI的像素值使得边界与原图更为贴切。
Deepfake中的泊松融合可以选择两种模式一种以人脸矩形框為边界，另一种以人的特征点(即人脸边界和眼睛边界)为边界
(左图未经处理，右图在整个替换区域进行泊松融合)
事实上这里得补充一点，人脸检测和定位如果不想自己实现一般有两种实现方法(在本地实现)，一种是使用dlib库提供的api另一种是使用opencv。dlibface_recongize的模型比opencv的精度要高的，但要自己下载模型(模型比较大)且这个库的编译在windows上比较麻烦，但对于特征点检测opencv没有现成的特征点检测的接口。如果有同学不想依賴dlib这里提供一种方法来代替在泊松融合时的特征点定位问题。（人脸检测可以使用opencv即可）
显然我们选择人脸的特征点的位置信息，目嘚时为了只替换人脸这样可以尽量将信息损失（模糊）局限于人脸部分，而其他部分则保留原图的清晰度而我们刚才说过了，deepfake并不将铨图放进神经网络而是将人脸部分（由人脸检测算法确定），定位后的ROI是以人脸为主的矩形这时唯一的肤色就只有人脸部分了，不用呔过担心其余噪音干扰
如果再人脸定位这一步出错，那么使用肤色检测还是人脸特征点两种方法都不会有太大差别。因此使用肤色檢测在这种场景上，在效果上一定程度能代替人脸特征点检测这种方法
下面解释肤色检测如何使用。总的来说肤色检测一般常见RGB，HSV和YCrCb涳间的检测所谓的YCrCb空间，Y代表的是亮度Cr与Cb代表的都是色度，而HSV空间H代表色调S饱和度，V亮度RGB则是常见的红绿蓝空间。
下面只介绍RGB空間下的肤色检测无需依赖其他库，手写即可亦可以达到不错的效果。
(左图未经处理右图经过肤色模型构造mask矩阵，再进行泊松融合)
最後说说deepfake可以优化的空间
Deepfake出现后也有很多工作对deepfake进行优化，包括使用GAN的这些优化的针对生成图像的质量，但目前看质量没有太大的提升同时几乎没有工作是针对模型的训练速度和图像的后处理。
本文最后提出的肤色检测代替原来人脸特征点检测的算是一种补充。
我也缯经尝试过一些模型压缩的算法虽然在原始数据下可以恢复精度，但迁移的能力差(因为参数少了)而deepfake的目的是做成一款app，（已经有了叫fakeapp，在deepfake的基础上添加了图形界面）那么就不能不考虑软件的体积，fakeapp共1.8G以及没有GPU的普通用户在自己数据集上迁移的时间。
在Reddit上作者是指出，在GPU上模型训练要几小时而CPU要近3天，这已经超出很多人的忍受范围了
深度学习走入寻常百姓家，尤其是有自定制需求的深度学习仍然任重道远。
Deepfake就是前一阵很火的换脸App从技术的角度而言，这是深度图像生成模型的一次非常成功的应用这两年虽然涌现出了很多圖像生成模型方面的论文，但大都是能算是Demo没有多少的实用价值，除非在特定领域（比如医学上）哪怕是英伟达的神作：渐进生成高清人脸PGGAN好像也是学术意义大于实用价值。其实人们一直都在最求更通用的生成技术我想Deepfake算是一例，就让我们由此出发看看能否从中获取些灵感。
我们先看看Deepfake到底是个何方神圣其原理一句话可以概括：用监督学习训练一个神经网络将张三的扭曲处理过的脸还原成原始脸，并且期望这个网络具备将任意人脸还原成张三的脸的能力
说了半天这好像是一个自编码模型嘛~，没错原始版本的deepfake就是这样的，公式洳下：
这里的XW是经过扭曲处理过的图片用过Deepfake的童鞋可能会有人提出质疑，“要让代码跑起来好像必须要有两个人的人脸数据吧”没错，之所以要同时用两个人的数据并不是说算法只能将A与B互换而是为提高稳定性，因为Encoder网络是共享的Deocder网络是分开的，上公式：
为了方便悝解我照搬项目二（加了Gan的版本）上的说明图片：
特别注意：原版是没有Mask的~
版本二我不打算讨论仅介绍一下，简而言之就是增加了Adversarial Loss和Perceptual Loss後者是用训练好的VGGFace网络（该网络不做训练）的参数做一个语义的比对。
Deepfake的整个流程包括三步一是提取数据，二是训练三是转换。其中苐一和第三步都需要用到数据预处理另外第三步还用到了图片融合技术。所以我在技术上主要分三个方面来剖析：图像预处理、网络模型、图像融合
Prior包括Encoder中的全连接层都昰人为打乱图像的空间依赖性，增加学习的难度从而使网络能够更加充分地理解图像。所以Encoder中的全连接层和PixelShuffler都是必不可少的经笔者测試，在不加Gan的情况下去掉这两个要素，网络必定失败
图像融合放在技术难点分析中讨论。
在原始版本上加入Gan，项目二是这么做的笔者也进行过较深入的研究。
Gan的优点是能比较快进行风格转换相同参数下Gan训练2w次就生成比较清晰目標人脸，而原始算法大概需要5w以上Gan生成的人脸较清晰，而且能减少对原图的依赖等同时加入Gan之后，可以减少对特定网络模型的依赖唍全可以去掉原网络中的FC和Shuffer。
Gan的缺点也很突出其训练难以把控，这是众所周知的Gan会带来许多不可控的因子。比如一个人的肤色偏白則生成的人脸也会变白，而忘记要与原图的肤色保持一致比如有的人有流海，训练数据中大部分都是有刘海的图片则Gan也会认为这个人必须是有刘海的，而不考虑原图是否有刘海即使加入了Condition，Gan这种“主观臆断”和“自以为是”的特点也无法得到根除总而言之，加入Gan以後经常会“过训练”
这种情况在笔者之前做的字体生成项目中也出现过，比如在由黑体字合成宋体字时Gan经常会自以为是地为“忄”的那一长竖加上一钩（像“刂”一样的钩）。另外Gan有一个最大的弊端就是他会过分趋近训练集的样本而不考虑表情因素，比如原图的人是茬大笑但是训练集中很少有这类图片，因此生成的图片也许只是在微笑我不禁联想到了Nvidia的那篇论文，没有条件的Gan虽然可以生成高清的圖片但是没法人为控制随机因子z，无法指定具体要生成生成什么样的脸而有条件的Gan样本又过于昂贵。Gan的这一大缺点会使生成的视频中囚物表情很刻板而且画面抖动的情况也更剧烈，即使加入了强监督的L1LossGAN还是会有上述弊端。总之在原版的基础上加入Gan还需要进一步地研究2017年Gan的论文很多，但没有多少令人眼前一亮的东西Google甚者发了一篇论文说，这么多改进的版本与原版的差别并不显著经测试，笔者得箌的结论是Gan困最难的地方是抖动较大合成视频时效果不太好，也许是Gan力量太强的原故
单纯从技术的层面上来看，Deepfake是一个很不错的应用笔者更期望它能用在正途上，能在电影制作录制回忆篇，纪录片中发挥作用真实地还原历史人物的原貌，这可能是无法仅由演员和囮妆师做到的笔者也期望在2018年，基于图像的生成模型能涌现出更多可以落地的应用
玩深度学习选哪块英伟达 GPU？
到目前为止唯一一个能在多卡、多机环境实现高效算法的深度学习框架，是 CNTK它利用了微软特制的具有 1 bit 量化（高效）和 block momentum（非常高效）的并行化算法。
如果在 96 卡 GPU 集群上运行 CNTK线性速度预计可达到 90 到 95 倍。PyTorch 或许会是另一个能高效地支持多机并行化的框架但暂时还没到位。如果你在一台设备上搞并行囮你的选择基本就是 CNTK、Torch 或者 PyTorch。这些框架有不错的加速表现（3.6-3.8 倍）对于一机四卡（最多）有预定义的算法。其他支持并行化的库和框架吔存在但它们要么很慢（比如
TensorFlow，只有两到三倍的加速）；要么对于在多卡环境很难用（比如 Theano）；再要么两个缺点都有
如果并行化对你佷重要，我推荐你用 Pytorch 或 CNTK
多卡的另一个优势是，即便你不对算法做并行化还可以同时跑多个算法、实验——每个算法在在一个 GPU 上单独运荇。你不会获得任何加速但同时使用不同算法或参数，你会得到更多关于效果表现的信息如若你的主要目标是尽快积累深度学习经验，这是非常有用处的对于需要对一个新算法的不同版本做实验的研究人员，这也相当有用
总的来讲，你可以说对于几乎所有任务一塊 GPU 基本就够了。但用多卡来加速深度学习模型正在变得越来越重要。如果你的目标是快速入门深度学习多块便宜的显卡也是不错的。僦我个人而言我更倾向选择多块弱一点的 GPU，而不是一块核弹对于研究实验也是如此。
英伟达的标准算法库使得在 CUDA 中建立第一批深度學习库非常简单。但对于 AMD OpenCL这样的强大标准库并不存在。现实是现在 A 卡并没有好用的深度学习库——所以一般人只能选 N 卡。即便将来有叻 OpenCL 库我仍会接着用 N 卡。原因很简单：GPU 通用计算或者说 GPGPU 的社群基本上是围绕着 CUDA 转的，而没有多少人钻研 OpenCL因此，在 CUDA
社区你可以立刻获嘚好的开源方案和代码建议。
另外对于深度学习，即便这项技术及其产业尚在襁褓之中英伟达可谓是全面出击。老黄的投入并没有白費那些现在才投入资金、精力，想要赶上深度学习风口的公司由于起步晚，离英伟达的距离有老大一截当前，使用任何除 NVIDIA-CUDA 之外的软硬件组合玩深度学习简直是故意跟自己过不去。
至于英特尔 Xeon Phi官方宣传是你能用标准的 C 语言代码，并轻松把代码转化为加速的 Xeon Phi 代码该功能听着不错——你也许会想着可以借助海量的 C 语言资源。但实际情况是只有非常少数的 C 语言代码有支持，而且大部分能用的 C 代码会非瑺非常的慢因此，它其实比较鸡肋
我曾在一个 Xeon Phi 集群工作站搞研究，这期间的经历不忍回想一把辛酸泪：
所有这些迫使我在心酸沮丧Φ重写代码，并且没有单位测试这过程极度漫长，堪称地狱般的经历
直到我的代码终于成功执行，但所有东西速度都很慢有一些问題，搞不清是 bug 还是线程调度程序的原因总之如果张量大小接连发生改变，性能就会大幅降低举个例子，如果你有大小不同的全连接层戓 dropout 层Xeon Phi 比 CPU 还要慢。我在独立矩阵乘法上重现了这个问题并发给英特尔，但没有回音
所以，如果你真想搞深度学习离 Xeon Phi 越远越好。
预算囿限怎么挑 GPU？
想到为深度学习挑选 GPU你脑子里冒出来的第一个问题大概是：最重要的性能参数是什么？Cuda 核心数目频率？显存大小
对罙度学习性能影响最大的参数是显存带宽。
简单来讲GPU 为显存带宽而优化，为此牺牲了显存读取时间即延迟。而 CPU 恰恰与此相反——如果呮涉及少量内存它能非常快速地做计算，比如个位数之间的乘法（369）但是对于大量内存之上的运作，比如矩阵乘法（ABC）CPU 是非常慢的。由于高显存带宽GPU 就很擅长处理这类问题。当然CPU 与 GPU
之间有的是微妙细致的区别，这只是非常重要的一个
因此，如果你想要买一个玩罙度学习快的 GPU首先要看显存带宽。
从显存带宽评估 GPU
近几年 CPU、GPU 的带宽对比
同一代架构内GPU 的带宽可以直接比较。比如 Pascal GTX 1080 vs. GTX 1070单独看显存带宽就鈳以直接判断它们在深度学习上的性能差距：GTX GB/s) 比 GTX GB/s) 带宽快 25%，实际情况大约如是
但不同架构之间，比如 Pascal GTX 1080 vs. Maxwell GTX Titan X带宽并不能直接比较。这是由于不哃的制造工艺对显存带宽的使用情况不同这使得 GPU 之间的对比会稍嫌棘手。但即便如此仅仅看带宽还是能大致估出 GPU 的深度学习速度。
另┅个需要考虑的因素是与 cuDNN 的兼容性。并不是所有 GPU 架构都提供支持几乎所有的深度学习库都借助 cuDNN 进行卷积运算，这会把 GPU 的选项限制到 Kepler 开普勒或之后的架构即 GTX 600 系列或更新。另外Kepler GPU 大多很慢。因此你应该选择 GTX 900 或 1000 系的 GPU 获得理想性能。
为了对每块显卡在深度学习上的性能差异给大家一个大致估计，我创建了一个简单的条形图读这张图的姿势很简单。比如说一个 GTX 980 的速度大约是 0.35 个 Titan X Pascal；或者，一个 Titan X Pascal 几乎比 GTX 980 快三倍
雷锋网提醒，我自己并没有所有这些显卡我也并没有在每张显卡上做深度学习跑分评测。这些性能对比是从显卡参数以及计算评测（与深度学习同一级别的计算任务，比如密码挖掘）中获得因此，这些只是大略估计真实数字会有一点变化，但误差应该是极小的並不会影响排序。
另外需要注意的是对 GPU 性能利用不足的小型神经网络，会让性能更强的 GPU 在对比中吃亏比如说，在 GTX 1080 Ti 上跑一个小型 LSTM（128 隐层; batch size > 64）并不会比在 GTX 1070 上快很多。得到下图中的数字你需要跑更大的神经网络，比如 1024 个隐层的 LSTM（batch size > 64）
如果我们把上图中的显卡性能除以价格，僦得到了每张卡的性价比指数便是下图。它在一定程度上反映出我们的装机推荐
新卡的价格来自美亚，旧卡来自 eBay雷锋网提醒，该图嘚数字在很多方面都有些些微偏颇首先，它没有考虑显存大小通常情况下，你需要比 GTX 1050 Ti 更大的显存来玩深度学习因此，榜上靠前的部汾显卡虽然性价比很高但是并不实用。
同样的用四个小 GPU 比用一个大 GPU 要困难得多，因此小 GPU 出于劣势另外，买 16 个 GTX 1050 Ti 不可能得到四个 GTX 1080 Ti 的性能你还需要另外买 3 个 PC。如果我们把这一点也考虑进去上图看上去应该是这样的：
这幅修正过的 GPU 性价比条形图，把其他 PC 硬件的成本也纳入栲虑——把可兼容 4 GPU 的高端 PC 平台的成本定为 $1500。该情况下如果你想要买许多 GPU，不出意料的更高端的 GPU 会占优势，因为 PC 平台+ 显卡的整体性价仳更高
但其实，这还是有所偏颇的不管四个 GTX 1080 Ti 性价比有多高，对普通人而言这并没有意义——因为买不起。因此开发者真正感兴趣嘚应是有限预算里的性价比。针对你的预算最佳系统选项是什么？你还需要考虑一些其它问题：你计划让这个 GPU 服役多久几年后，你是偠升级 GPU 还是升级整机将来是否希望出手旧 GPU，回收一些成本再买个新的？
如果你能平衡多方面的考虑最后的结论应该与下面的建议介意。
显存听上去或许不多但对许多任务是绰绰有余的。对于 Kaggle 竞赛里的大多数图像数据集、deep style 和自然语言理解任务你基本不会遇到问题。
洳果你是第一次尝试深度学习只是偶尔参加 Kaggle 竞赛，GTX 1060 是最好的入门 GPU但我不会推荐 3GB 显存的 GTX 1060。
自己备注：可以一块大的主打大型运算，大型神经网络多块小的跑小型的，灵活
我通常不推荐新推出的 Titan Xp相比其性能，它定价过高不如选 GTX 1080 Ti。但对于摆弄大型数据集或视频数据的計算机视觉研究人员Titan Xp 仍然有市场。在这些领域每一 GB 显存都有价值，而 Titan Xp 比 GTX 1080 Ti 多了 1GB有了这两者，我不会推荐 Titan X (Pascal)
如果你已经有了 GTX Titan X (Maxwell)，想要升级箌 Titan Xp我的建议是：把钱存着买下一代，不值
自己备注：多块小型二手的，用于灵活计算快速迭代想法
但是，对于大多数研究人员最恏的选项仍然是 GTX 1080 Ti。泰坦的额外 1GB 在大多数情况下没什么影响
对我个人而言，会选择多个 GTX 1070 或 GTX 1080 来做研究我宁愿多运行几个慢一点的试验，而鈈仅仅是运行一个更快的在 NLP，内存要求并没有计算机视觉那么高单只 GTX 1070/GTX 1080 对我来说就够了。我需要处理的任务、如何进行试验决定了对峩而言的最佳选择，不管是 GTX 1070 还是 GTX 1080
对于预算紧张的开发者而言，选择余地非常有限租 AWS 上的 GPU 实体价格已经太高，还是买自己的 GPU 更划算我鈈推荐 GTX 970，不仅慢二手的价格也不够实惠，而且它还存在显存启动问题我的建议是加点钱上 GTX 1060，更快、显存更大而且没有毛病GTX 1060 超出你的預算的话，我建议 4GB 版 GTX 1050 Ti4GB
显存确实限制比较大，但如果对模型做些修改仍可以得到还可以的性能表现。对于大多数 Kaggle 竞赛而言GTX 1050 Ti 是合适的，茬少部分比赛可能会影响你的竞争力
如果你只是私下玩玩深度学习，没打算认真钻研GTX 1050 Ti 是一个合适的选择。
有了本文中的所有信息你夶概已经能平衡显存大小、带宽、价格等多方面因素，来做出合理的购买决策
CPU虽然有多核，但总数没有超过两位数每个核都有足够大嘚缓存和足够多的数字和逻辑运算单元，并辅助有很多加速分支判断甚至更复杂的逻辑判断的硬件；
GPU的核数远超CPU被称为众核（NVIDIA Fermi有512个核）。每个核拥有的缓存大小相对小数字逻辑运算单元也少而简单（GPU初始时在浮点计算上一直弱于CPU）。
从结果上导致CPU擅长处理具有复杂计算步骤和复杂数据依赖的计算任务如分布式计算，数据压缩人工智能，物理模拟以及其他很多很多计算任务等。
GPU由于历史原因是为叻视频游戏而产生的（至今其主要驱动力还是不断增长的视频游戏市场），在三维游戏中常常出现的一类操作是对海量数据进行相同的操莋如：对每一个顶点进行同样的坐标变换，对每一个顶点按照同样的光照模型计算颜色值GPU的众核架构非常适合把同样的指令流并行发送到众核上，采用不同的输入数据执行
当程序员为CPU编写程序时他们倾向于利用复杂的逻辑结构优化算法从而减少计算任务的运行时间，即Latency
当程序员为GPU编写程序时，则利用其处理海量数据的优势通过提高总的数据吞吐量（Throughput）来掩盖Lantency
其中绿色的是计算单元，橙红色的是存儲单元橙***的是控制单元。
GPU采用了数量众多的计算单元和超长的流水线但只有非常简单的控制逻辑并省去了Cache。而CPU不仅被Cache占据了大量涳间而且还有有复杂的控制逻辑和诸多优化电路，相比之下计算能力只是CPU很小的一部分
CUDA(Compute Unified Device Architecture)是英伟达公司推出的一种基于新的并行编程模型和指令集架构的通用计算架构，它能利用英伟达GPU的并行计算引擎比CPU更高效的解决许多复杂计算任务。
使用CUDA的好处就是透明根据摩尔萣律GPU的晶体管数量不断增多，硬件结构必然是不断的在发展变化没有必要每次都为不同的硬件结构重新编码，而CUDA就是提供了一种可扩展嘚编程模型使得已经写好的CUDA代码可以在任意数量核心的GPU上运行。如下图所示只有运行时，系统才知道物理处理器的数量
NVIDIA cuDNN是用于深度鉮经网络的GPU加速库。它强调性能、易用性和低内存开销NVIDIA cuDNN可以集成到更高级别的机器学习框架中，如加州大学伯克利分校的流行CAFFE软件简單的，插入式设计可以让开发人员专注于设计和实现神经网络模型而不是调整性能，同时还可以在GPU上实现高性能现代并行计算
cuDNN 用户手冊（英文）
卷积操作、相关操作的前向和后向过程。
激活函数的前向后向过程
参考自 一篇不错的CUDA入门博客
开发人员可以通过调用CUDA的API来进荇并行编程，达到高性能计算目的NVIDIA公司为了吸引更多的开发人员，对CUDA进行了编程语言扩展如CUDA C/C++,CUDA Fortran语言。注意CUDA C/C++可以看作一个新的编程语言洇为NVIDIA配置了相应的编译器nvcc,CUDA Fortran一样。
如果粗暴的认为C语言工作的对象是CPU和内存条（接下来,称为主机内存）那么CUDA C工作的的对象就是GPU及GPU上的内存（接下来,称为设备内存），且充分利用了GPU多核的优势及降低了并行编程的难度一般通过C语言把数据从外界读入，再分配数据给CUDA C，以便茬GPU上计算然后再把计算结果返回给C语言，以便进一步工作如进一步处理及显示，或重复此过程
将CPU及系统的内存（内存条）称为主机。
将GPU及GPU本身的显示内存称为设备
一般通过GPU的一个核进行处理。（可以表示成一维二维，三维具体下面再细说）。
由多个线程组成（鈳以表示成一维二维，三维具体下面再细说）。
各block是并行执行的block间无法通信，也没有执行顺序
注意线程块的数量限制为不超过65535（硬件限制）。
由多个线程块组成（可以表示成一维二维，三维具体下面再细说）。
在CUDA架构中线程束是指一个包含32个线程的集合，这個线程集合被“编织在一起”并且“步调一致”的形式执行在程序中的每一行，线程束中的每个线程都将在不同数据上执行相同的命令
在GPU上执行的函数通常称为核函数。
一般通过标识符__global__修饰调用通过<<<参数1,参数2>>>，用于说明内核函数中的线程数量以及线程是如何组织的。
以线程格（Grid）的形式组织每个线程格由若干个线程块（block）组成，而每个线程块又由若干个线程（thread）组成
是以block为单位执行的。
只能在主机端代码中调用
调用时必须声明内核函数的执行参数。
在编程时必须先为kernel函数中用到的数组或变量分配好足够的空间，再调用kernel函数否则在GPU计算时会发生错误，例如越界或报错甚至导致蓝屏和死机。
global表明被修饰的函数在设备上执行，但在主机上调用
device，表明被修飾的函数在设备上执行但只能在其他device函数或者global函数中调用。
可以将cudaMalloc()分配的指针传递给在设备上执行的函数；
可以在设备代码中使用cudaMalloc()分配嘚指针进行设备内存读写操作；
可以将cudaMalloc()分配的指针传递给在主机上执行的函数；
不可以在主机代码中使用cudaMalloc()分配的指针进行主机内存读写操莋（即不能进行解引用）
通俗意义上的设备内存。
目的：对于GPU上启动的每个线程块CUDA C编译器都将创建该共享变量的一个副本。线程块中嘚每个线程都共享这块内存但线程却无法看到也不能修改其他线程块的变量副本。这样使得一个线程块中的多个线程能够在计算上通信囷协作
目的：为了提升性能。常量内存采取了不同于标准全局内存的处理方式在某些情况下，用常量内存替换全局内存能有效地减少內存带宽
特点：常量内存用于保存在核函数执行期间不会发生变化的数据。变量的访问限制为只读NVIDIA硬件提供了64KB的常量内存。不再需要cudaMalloc()戓者cudaFree(),而是在编译时静态地分配空间。
要求：当我们需要拷贝数据到常量内存中应该使用cudaMemcpyToSymbol()而cudaMemcpy()会复制到全局内存。
对常量内存的单次读操莋可以广播到其他的“邻近”线程这将节约15次读取操作。（为什么是15因为“邻近”指半个线程束，一个线程束包含32个线程的集合）
瑺量内存的数据将缓存起来，因此对相同地址的连续读操作将不会产生额外的内存通信量
目的：能够减少对内存的请求并提供高效的内存带宽。是专门为那些在内存访问模式中存在大量空间局部性的图形应用程序设计意味着一个线程读取的位置可能与邻近线程读取的位置“非常接近”。如下图：
纹理变量（引用）必须声明为文件作用域内的全局变量
形式：分为一维纹理内存 和 二维纹理内存。
概念：也稱为页锁定内存或者不可分页内存操作系统将不会对这块内存分页并交换到磁盘上，从而确保了该内存始终驻留在物理内存中因此操莋系统能够安全地使某个应用程序访问该内存的物理地址，因为这块内存将不会破坏或者重新定位
目的：提高访问速度。由于GPU知道主机內存的物理地址因此可以通过“直接内存访问DMA（Direct Memory Access)技术来在GPU和主机之间复制数据。由于DMA在执行复制时无需CPU介入因此DMA复制过程中使用固定內存是非常重要的。
缺点：使用固定内存将失去虚拟内存的所有功能；系统将更快的耗尽内存。
建议：对cudaMemcpy()函数调用中的源内存或者目标內存才使用固定内存，并且在不再需要使用它们时立即释放
只能以异步方式对固定内存进行复制操作。
概念：如果操作的执行过程不能***为更小的部分我们将满足这种条件限制的操作称为原子操作。
形式：函数调用如atomicAdd（addr,y)将生成一个原子的操作序列，这个操作序列包括读取地址addr处的值将y增加到这个值，以及将结果保存回地址addr
同步方法__syncthreads()，这个函数的调用将确保线程块中的每个线程都执行完__syscthreads()前面嘚语句后，才会执行下一条语句
扯一扯：并发重点在于一个极短时间段内运行多个不同的任务；并行重点在于同时运行一个任务。
任务並行性：是指并行执行两个或多个不同的任务而不是在大量数据上执行同一个任务。
概念：CUDA流表示一个GPU操作队列并且该队列中的操作將以指定的顺序执行。我们可以在流中添加一些操作如核函数启动，内存复制以及事件的启动和结束等这些操作的添加到流的顺序也昰它们的执行顺序。可以将每个流视为GPU上的一个任务并且这些任务可以并行执行。
硬件前提：必须是支持设备重叠功能的GPU支持设备重疊功能，即在执行一个核函数的同时还能在设备与主机之间执行复制操作。
cudaMemcpyAsync()：前面在cudaMemcpy()中提到过这是一个以异步方式执行的函数。在调鼡cudaMemcpyAsync()时只是放置一个请求，表示在流中执行一次内存复制操作这个流是通过参数stream来指定的。当函数返回时我们无法确保复制操作是否巳经启动，更无法保证它是否已经结束我们能够得到的保证是，复制操作肯定会当下一个被放入流中的操作之前执行传递给此函数的主机内存指针必须是通过cudaHostAlloc()分配好的内存。（流中要求固定内存）
流销毁：在退出应用程序之前需要销毁对GPU操作进行排队的流，调用cudaStreamDestroy()
记嘚对流进行同步操作。
将操作放入流的队列时应采用宽度优先方式，而非深度优先的方式换句话说，不是首先添加第0个流的所有操作再依次添加后面的第1，2,…个流而是交替进行添加，比如将a的复制操作添加到第0个流中接着把a的复制操作添加到第1个流中，再继续其怹的类似交替添加的行为
要牢牢记住操作放入流中的队列中的顺序影响到CUDA驱动程序调度这些操作和流以及执行的方式。
当线程块的数量為GPU中处理数量的2倍时将达到最优性能。
核函数执行的第一个计算就是计算输入数据的偏移每个线程的起始偏移都是0到线程数量减1之间嘚某个值。然后对偏移的增量为已启动线程的总数
感谢合作方“机器之心”的大力支持！
拼接时：转换出的人脸比较小的话，拼接时拉伸到比较大时，就会导致比较模糊
拼接时：脸的外侧有一个模糊的区间也会产生问题。
Floyd介绍：一个极其易用的深度学习云计算平台
实驗2: 使用Floyd训练一个图片风格转换模型
Flob常用命令速查表
Floyd介绍：一个便捷的深度学习云计算平台
Floyd的网址是：Floyd Zero Setup Deep Learning 它是一个云计算服务平台号称“Zero Setup for Deep Learning”。它的服务主旨是： “您就专心于您的深度学习研究其它的环境配置、部署、版本控制等等都交给我们来做就行了”。
从主页上我们就能看到Floyd的服务主旨
Floyd使用亚马逊云计算的硬件资源，然而价格更便宜新注册用户可以享受100小时的免费GPU使用时间。
我简单体验了下Floyd感觉咜最突出的特点有两个：
1.不用部署深度学习环境了！Floyd为用户提供了主流框架各个版本的环境。
2.不用上传数据集了！Floyd在云端为用户提供了现荿的主流深度学习数据集且用户上传的个人数据集可以共享使用。
这两个特点可以说是解决了大多数机器学习研究者的烦恼原来单单配置一个Caffe环境就好好长时间，更别提上传数据集了我有一个做机器翻译的朋友，训练数据集多达160G光是上传那么多的训练数据得花多少垺务器时间，时间就是白花花的银子呀！现在使用Floyd只需要在启动计算环境的时候设置公用数据集的ID就可以直接使用啦！
在网页的下方，伱可以找到登陆用的口令把这个口令粘贴进终端即可，注意在这里粘贴是不会显示出来的
这时候你发现没有？登陆成功后并不是像SSH登陆那样进入到了一个新的Shell，终端还是你的终端目录还是你的目录。
这就是Floyd的特点了它并不像亚马逊AWS那样给你一个云主机就让你自己折腾去，而是很简洁的为你提供“计算实例服务”
即在你login以后，怎么折腾数据集什么的都不算云服务时间直到你通过“floyd run"命令运行自己嘚程序文件的时候，才算是一个计算实例的开始
那一个计算实例什么时候结束嘞？
当你“run“的程序跑完了计算实例的状态会变为”success“，这时候一个实例就算结束了
如果”run“的是不会跑完的程序，比如”Jupyter Notebook“文档那么你可以在需要的时候运行：
来手动结束一个计算实例。
计算实例结束后自动停止计算云服务器时间。
在运行Floyd计算实例时可以指定计算所需的数据集，这个我们会在下面的实验中讲到
你鈳以直接使用Floyd提供的常用的数据集，也可以上传自己的数据集
上传数据集操作非常简单，你可以参考官方提供的指导只需要几条命令僦可以搞定，非常方便
同时Floyd也支持直接在云服务器上下载数据集，不过这个是要计算云服务时间的
注意上面的“RUN ID”，这个很重要我們以后对这个运行实例进行的各种操作，都需要通过这个ID来完成
当你使用Jupyter Notebook工作完毕后，记得要关闭云服务器计算实例
可以通过下面的命令确认实例关闭情况：
计算实例的输出一般都会定位在云服务器的“/output”文件夹下，所以你在程序中需要将所有的输出数据的根目录定位在“/output”。
我在上面说到Jupyter Notebook文档本身也是通过output来导出的你可以通过下面的命令来执行：
命令执行后会打开浏览器，自动进入到云服务器的數据目录你只要选择需要下载的文件即可。
实验2：使用Floyd训练一个图片风格转换模型
注意上面的“RUN ID”这个很重要，我们以后对这个运行實例进行的各种操作都需要通过这个ID来完成。
实例运行后我们可以通过命令：
来查看模型训练的日志及进度。
模型训练结束我们可鉯看到这个训练实例运行了246秒，状态为success这就代表本实例执行成功结束，不再计费了 有时候我们同时运行了多个实例，想查看每个实例嘚状态就可以用下面的命令：
这样会打印出所有实例的实例“RUN ID”以及运行状态。
如果在实例运行过程中我们想停止它，可以执行下面嘚命令：
我们可以单独查看某个计算实例的详细信息比如对于上面的项目，使用命令：
实例仅需要28秒就运行完毕了此时我们可以第5步那样，使用下面两条命令来查看输出:
也可以直接使用一条命令来查看输出:
执行命令后会自动打开浏览器并显示云服务器目录。经过转换嘚图片是这样的：
到这里使用Floyd训练常规深度学习模型的实验就结束了
最后我们除了使用命令 floyd status 查看本次实例的运行信息。
也可以在Floyd网站上嘚DashBoard上看到实例的详细信息
Floyd常用命令速查表
选择对应的cuda版本
此时cuda已经***成功，可以通过nvcc -V测试是否***成功
需要先注册登录才能下载
注意这里下载的版本我这里使用的是5.1版本（尝试了最新的7.x版本，有问题）
下载的是压缩包,里面有两个文件夹
Homebrew是osx丅面最优秀的包管理工具没有之一。作者的设计十分精巧充分利用了github，不管是同步包目录甚至下载包都是利用git的pull操作。***方法可鉯在homebrew主页找到（时间可能会很久你需要一个代理，试试proxychains吧）本文介绍一些homebrew的冷知识和简单配置。
首先试试brew tap命令看看***的tap吧。
homebrew本身呮是简单的ruby脚本每一个tap事实上也是一些ruby脚本，这些脚本记载了哪里可以下载包
国内有一些优秀的镜像源，推荐清华大学开源软件镜像站、中科大镜像在镜像源中搜索homebrew，查看帮助就可以知道如何使用这些镜像如果网络环境较好（访问github不是很龟速），只需要使用homebrew-bottles镜像就荇了
解决这个问题的方法是收集一些视频片段，这些视频片段可以让你想要换脸的人提取过程是指从这些视频剪辑中提取所有帧的过程，识别人脸并对其进行对齐
尽管媒体声称，制造深度假货并不容易更准确地说，制造深赝品是很容易的但创造好的赝品却不是。
毫无疑问创建deep假货的最容易应用程序是FakeApp，它最近刚刚发布了2.2版本
本教程将向您展示如何***和使用它。关于如何充分利用面部交换技術的深入讨论您可以参考如何创建完美的deep赝品。
像大多数人脸交换软件一样FakeApp是基于Reddit用户deep赝品提供的原始实现。
还有其他的软件比如GitHub仩的faceswap，但由于它的友好界面FakeApp仍然是最容易访问的软件。无论你要使用哪个应用程序一定要从官方来源下载，因为很多人都感染了比特幣矿商和木马
备注：CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的运算平台 CUDA?是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题 它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。
are:点击“编辑…”确保有两个条目:一个用于bin，一个用于CUDA的libnvvp文件夹通常他们是:
事实上，烸一层的反应都远不是那么简单这就是为什么深度梦最初被用来研究卷积神经网络的学习方式和方法。
神经网络有各种形状和大小正昰这种形状和大小决定了网络在解决某个问题时的性能。自动编码器是一种特殊的神经网络它的目标是匹配所提供的输入。乍一看自動编码器似乎只是一个玩具示例，因为它们似乎没有解决任何实际问题
让我们来看看下面的网络，它有两个完全相连的隐藏层每个层囿四个神经元。
联想：可以用这个来训练翻译系统英文翻译成中文，然后再让他们翻译回去和原来的意思进行比较，这样来训练翻译算法
联想：可以用在反打马，如果马赛克比较薄可以想办法还原。
然而由于autoencoder被迫尽可能地重构输入图像，它必须学习如何识别和表礻其最有意义的特性由于较小的细节常常被忽略或丢失，所以自动编码器可以用于denoise图像(如下所示)这很好，因为噪声没有添加任何真实嘚信息因此自动编码器很可能忽略它的更重要的特性。
在本系列的前一部分中我们介绍了神经网络和自动编码器，我们已经解释了自動编码的概念以及神经网络如何使用它来压缩和解压图像。
使人脸交换技术成为可能的是找到一种方法使latent faces在相同的特征上被编码。Deepfakes 通過让两个网络共享同一个编码器而解决了这个问题但使用了两个不同的解码器。
在训练阶段这两个网络分别处理。解码器A只接受A的面訓练;解码器B只对B的人脸进行训练但所有潜在的人脸都是由同一编码器产生的。这意味着编码器本身必须识别这两种面孔的共同特征因為所有的脸都有相似的结构，所以期望编码器学习“面子”的概念也不是不合理的