如何上手深度学习中的图像处理
问题导读1.图像处理有哪些应用？
2.图像处理可以使用哪些工具?
3.图像处理该如何学习？
4.本文提供了哪些图像处理项目？
static/image/hrline/line7.png
这里包含两部分
第一部分整体介绍
是山在岭就在大牛的总结，从2013年开始研究图像处理，总结的图像处理入门的教程，很不错。
第二部分图像处理项目
是张江大神的知乎非常受欢迎的一篇文章，由集智俱乐部的小仙女为大家整理的代码资源库，收集了大量深度学习项目图像处理领域的代码链接。包括图像识别，图像生成，看图说话等等方向的代码。
上面内容都很不错，整理出来分享给还未入门图像处理的爱好者
1.整体介绍
一、图像处理的应用
这里从几个基本的点来具体说一下。
1、身份认证
21世纪是刷脸的时代，这一点无可厚非。首先是银行，据说重庆的银行已经使用了人脸识别的验证系统来进行辅助的认证。其次是门禁系统，以前是指纹，虹膜，现在就是人脸。指纹、虹膜的识别虽然准确，但是有侵犯性，采集的过程中有侵犯性，验证的过程中也有侵犯性，反正让谁天天录指纹（采集指纹信息），用眼睛瞪摄像头（采集虹膜信息），谁都会觉得不舒服的，况且手还会脱皮。相比之下，人脸的识别就方便多了，拍张照片（采集人脸信息）谁都不会介意。最后是监控，一个摄像头所拍的监控能从不同的角度记录成百上千的人（比如车站等密集场所的监控），让警察去辨认将是一个浩大的工程，要是系统能够自动判别人员信息，无疑会给办案带来极大方便。
2、监控安防
安防监控可以说是图像处理领域最有潜力的应用领域。如今各个城市都在疯狂的安装监控摄像头，全国时刻都有无数的摄像头在录监控，但是安防监控的后端处理却没跟上。什么是后端处理，简单的说就是监控录像的视频处理。注意这里的视频处理可就不止包含人脸识别了，还有行人检测、异常检测、显著性检测、协同跟踪等。人脸识别之前说了，这里简单说说行人异常检测。图像处理中的行人异常检测在外行人眼中是一个非常有魔力的东西。毕竟让摄像头通过监控视频就能判断出当前画面中谁是好人谁是坏人（当然直接分为好人和坏人还是太武断了），在一般思维中貌似是不可能的。但是请不要忽略这样一个事实，就是目前大部分监控视频的分析处理都是由人工来完成的，警察破案时经常动不动就调出最近几天的监控视频，然后从头看到尾，其工程量之大可想而知。也正是这样才催生了人们对智能监控方面的研究，因为有这方面的实际需求。当然我们的视频分析程序不会直接给出诸如“好人or坏人”这样的武断而片面的判断结果。就当前的技术水平而言，能够统计当下监控画面中的人数（行人检测）、定位他们的人脸（人脸检测）、识别他们的身份（人脸识别）、判别他们的表情（表情识别）、检测他们的动作（异常检测），这就已经够了。这样以后人们就不会再面对长达几十甚至上百个小时的监控视频发呆，而是直接分析计算机给出的数据，当前画面中有多少人、都是谁、谁的动作可疑等。总之，接下来智能监控发展会很迅速，因为需求很迫切。
3、深度学习（Deep Learning）
通俗的说一句，“图像处理是深度学习应用的天堂”。深度学习这个概念可能有人不太熟悉，大家可以自行百度，我这里给出一个相对通俗的解释：“如果你不知道什么叫深度学习，就想想《终结者》中的T-800”。当然这句话不是我说的，是出自业界的一位大牛之口。当然这可能有点小片面，不过深度学习确实是公认的新一代人工智能的基础。
这里举两个例子。一是谷歌的人工大脑项目。谷歌公司可以说是深度学习方面的牵头企业了，其在2012年公布的谷歌大脑项目，动用了1.6万个计算节点，训练数周，得到的人工智能模型能够自主识别猫脸图像，为新一代人工智能开辟了道路，之后微软深度学习研究院、百度深度学习研究院等机构都开始大量投入，各个高校也搞得风声水起，原因很简单，大家都知道它会火。
第二就是图像识别方面的竞赛。最有权威的就是ImageNet竞赛。大家在一个拥有上千万张，上千类别的图像数据库上训练和测试自己的算法，比拼识别率。近几年来，摘得桂冠的一直都是深度学习模型，确切的说是卷积神经网络。更多有关ImageNet历年的竞赛信息大家可以自行百度。
说道深度学习在图像处理的应用，不得不提中国的汤晓鸥教授，说他是国内深度学习的领头羊也不为过。他提出的DeepID人脸识别算法（一共分为三代），在一些大规模人脸数据库上的正确率（若LFW库）已经达到了99.75%，单纯从数字上讲的话可以说已经超越了人类的识别率，为此汤教授还开办了公司，开发FaceSDK（虽然还没有公布）。不过拿计算机和人脑相比本身就是不合理的，各有所长嘛。不过可见DeepLearning在图像识别领域的强大威力。至于深度学习与图像处理的关系这里就不用多说了，谷歌大脑识别的是图像，深度学习竞赛用的是图像，DeepID识别的还是图像人脸，虽然深度学习在其他方面诸如语音识别等也有应用，在图像处理依然是其主要的应用领域。
二、图像处理研究工具
图像处理的研究分为算法研究和应用两个部分。用到的主要编程语言有Matlab、C/C++、Python等，原因很简单，它们都有很多相应的第三方库，不用我们从零开始编程。
1、Matlab
MathWork公司的Matlab软件可以说是算法研究的利器，它的强大之处在于其方便快捷的矩阵运算能力和图形仿真能力，单从简洁性和封装性来说，确实完爆其他语言。但高度封装必然会相应的损失一部分灵活性，况且Matlab严格的讲更像是一个工具，而非一门编程语言。顺便提一句，它在2015年编程语言排行榜中位于第20名，仅次于IOS开发的Objective-C。
对于算法研究人员（尤其是高校的硕士博士），首选工具自然是matlab，因为它简便快捷，封装性好，更重要的是全世界几乎所有的算法大牛、精英教授都会首先公布对应的Matlab源码，然后在逐步改写成其他语言进行实际应用。所以，如果你想做图像处理方面的研究，Matlab是必须掌握的，而且是熟练掌握。当你有一些想法需要验证时，最好明智的先用matlab编写出来测试。如果你上来就用看似高大上的C++来实验，不仅错误BUG一大堆，到头来可能效果还不佳，就算效果好，时间也会耽搁不少，毕竟算法开发还是要快的，这样才能赶在别人之前发论文。总之，只要是接触图像算法，终究逃不过Matlab，就算你是软件开发的，不研发算法，但总得能看懂别人的Matlab算法吧。
对于之前没怎么接触过Matlab与图像处理的人，在这里推荐一本相关的书籍《MATLAB图像处理实例详解（附光盘）》。这本书对于Matlab图像处理入门还是很有帮助的。记得我当时刚上研究生时就靠两本书入门的，一是冈萨雷斯的《数字图像处理》，二是这本《MATLAB图像处理实例详解》。不过这里友情提示，在看这类教程（不仅仅是Matlab）时千万不要试图去记忆所有的工具函数，这种做法是十分愚蠢的。正确的做法是根据自己的情况快速翻阅这类工具书，可以找出里面的有实际意义的源码来敲一敲练练手感，至于具体的工具函数，只需要知道Matlab提供了这方面的功能就行了，以后用到了再回来查，或者谷歌百度。我觉得在入门阶段，最重要的不是看了多少书，听了多少课，而是尽快自己敲出一段代码，运行出结果，来建立自信和成就感，这才是支持我们走下去的最实在的动力。记得我当时看了没多久就自己敲了一个蹩脚的车牌检测的Matlab程序，现在看来真是漏洞百出，不过当时我真的很兴奋，很有成就感，觉得自己能干这行，对于初学者来说，这种感受弥足珍贵。
2、OpenCv
Opencv是Intel公司开发的C++图像处理工具包，形象的理解为就是C++版的Matlab。当初Intel公司开发这个工具包的初衷也是方便大家共享，希望大家能够在一个共同架构的基础上共同建造摩天大楼，而不是各自在自己的地基上盖平房。与Matlab不同，Opencv是面向开发的，稳定性好，异常处理机制周全，但有一点需要注意，由于Opencv是开源的，那么如果你在项目中直接调用了它的API，那就意味着你的项目也必须开源。因此在真正的产品开发过程中，往往需要从Opencv库里面挖代码，而不是直接调用，幸好Intel公司允许我们看源码，自己编译一把就可以了。
说道C++和Opencv，有一个问题不得不提，那就是深度学习领域大名鼎鼎的Caffe框架。这是一个典型的基于C++和OpenCv的深度学习框架，由谷歌深度学习团队、“谷歌大脑”负责人之一贾扬清学者编写，并公布了源码。如今各个深度学习机构都在大量使用这个框架进行研究。
这里同样对推荐两本关于Opencv方面的教程。一本是CSDN博客大牛毛星云写的《OpenCV3编程入门》，这是它根据自己多年的博客整理成的书，很详细，很典型的一本教程，介绍了OpenCv中相对前沿的知识。我翻看过这本教程，中规中矩，里面的代码通俗易懂，尤其适合初学者。当然大家同样要注意不要犯了死读书的毛病，只看它的功能，敲代码练手感即可，不要试图记忆API函数。重要的工具用多了自然会记住，不重要的工具记住了也没用。
这里推荐的第二本书是《图像识别与项目实践――VC++、MATLAB技术实现》，这本书是一本偏向于工程应用的书，我之所以推荐它是因为它给出了很多有新意、能运行的代码。其中里面有一个项目让我印象很深，是一个车牌检测的实例。简单描述一下：由于车牌中的字符数是固定的，因此它通过判断横向区域笔画的跳变数以及笔画宽度来定位车牌区域。这个想法让人耳目一新，并且它还给出了详细代码，我也亲身试验过，效果还不错。
这里同样再强调一下，就是一定要尽早入手写程序，建立自信和成就感。我当时学OpenCv正好用它开发了一个人脸性别识别的系统，是一个本科大学生创新计划的需求，效果还可以。
3、Python
Python在今年12月份的编程语言排行榜中名列第5，增长迅速。可以说Python已经逐渐成为当下脚本语言的新标准。Python在图像处理算法方面除了其自身简洁的编程优势外，还得益于两个重要的Python类库——Numpy和Theano。
Numpy是Python的线性代数库，对于矩阵运算能提供很好的支持，并且能够在此基础上进行很多机器学习相关算法的开发仿真，这里推荐一本受到大家广泛认可的书《机器学习实战》，我最近也正在看这本书，里面对好多机器学习领域的经典算法，小到KNN，大到SVM，都给出了详细的介绍以及代码实现（Python版）。Theano是Python的机器学习库，能够方便的实现深度学习（例如卷积神经网络CNN）算法，网上很多对于DeepID算法的复现都是用的这个库。
人觉得单从图像处理的角度评价的话，Python并没有前面两个工具（Matlab和OpenCv）应用广泛，不过作为通用的脚本语言，我觉得每个程序员都应该去了解了解它，毕竟俗话说没有烂的编程语言，只有烂程序员。我在学Python时第一个自己写的程序就是微信打飞机的小程序，在我的博客中有详细的教程，虽然是参照小甲鱼的《零基础入门学习Python》视频教程写的，但还是蛮有成就感的。
三、图像处理研究方法
我觉得，图像处理研究主要可以分为三个部分：基础概念、基本思想、算法研究。
1、基础概念
所谓基础概念，就是图像处理里最基本的知识，比如什么是图像？什么是像素？什么是彩色图像等等。没有一个明确的界限来划定什么是基础概念什么是高级知识，因人而异。了解图像处理的基础知识，有一本书是必读的，就是冈萨雷斯编写的、阮秋琦翻译的《数字图像处理》（http://www.aboutyun.com/forum.php?mod=viewthread&tid=21835）。这本书已经作为图像处理领域的经典教材使用了三十多年，我自己也把这本书看了好几遍，每一遍都会有新的体会。我觉得每一个搞图像的都应该熟读这本书。书中除了有几章内容在讲小波变换、模式识别等相对抽象的内容外，其他内容相对都是很基础的，本科生水平就能看懂。而且我建议要尽早看这本书，如果是研究生尽量在进入课题之前就看一遍，因为这样一本经典的书在进入课题之后可能就没时间看了，以后也顶多是查阅而已。我当初就是在大四的寒假看完了这本书，以后在图像入门的过程中就显得轻松很多。看完这本书，哪怕是只看前几章，明白了什么是图像（二维或者三维矩阵）、什么是像素、彩色图和灰度图、颜色空间、图像滤波、图像噪声、图像频域变换等概念，将来在进行更深一步的研究的话就会方便很多了。
2、基本思想
刚开始想把这部分内容命名为“基本算法”，意在介绍图像处理中的一些基本算法，后来仔细想想决定不这么写，因为图像处理是一个非常大的概念，图像处理不等于人脸识别，也不等于模式识别，直接介绍诸如图像处理基本算法之类的内容很容易写成空话，没有什么实际意义。读者有兴趣的话可以直接谷歌百度“图像处理十大经典算法”，上面有我想说的内容。
万变不离其宗，算法是死的，重在思想。举个例子，我个人是主攻模式识别方向，在这个方向判断一个学生是否入门有一个非常简单的方法，就是“如果你能把图像很自然的想象成高维空间中的一个点”，那就说明在模式识别方面入门了，可以对图像进行分类了。当然标准不是唯一，在其他领域如目标检测也会有其他的判断标准，总之我们要对图像进行处理，那么图像就不再只是图像，它可能会演变成各种不同形式的概念，可能是点，可能是面，还可能是一个坐标空间。在目标跟踪的经典算法粒子滤波中，将一个个的小图像块看做一个个粒子；在子空间理论中，将一系列图像放在一起构建一个成分主空间（例如主成分分析PCA算法等等。，我不会详细介绍这些算法，说多了就显得抽象老套，但我要说的是我们一定要把图像本身理解好，它是一个图像，是一个矩阵，是一个信息的容器，是一种数据的表现形式，图像不一定都必须在视觉上有意义（比如频域的图像）。
总之图像处理的基本思想还是要立足于图像本身，要深度到图像内部结构中，思维要灵活。我当时做本科毕设时，怎么也不知道图像和高维空间中的点之间有什么对应关系，后来总算有一天，突然就明白了，这也就是所谓的量变产生质变。总之一定要多想，多总结，主动去钻研，才能够真正领悟一些东西。最基本的东西往往蕴藏着深奥的道理，无论你现在多牛多厉害，都不能放掉最本源的东西。多想想图像是什么，有什么本质属性，你可能无法得到准确的答案，但肯定能得到一些有用的感悟（有点像哲学问题了）。
3、算法研究
算法研究应该是图像处理的核心工作，尤其是各大高校的博士硕士。这里我并不想谈那些高大上的算法，我更想说的是一些算法研究的一些基础的东西，比如说一些基础课程，比如说矩阵运算。
研究图像处理的算法，离不开数学。在这里我建议图像处理方面的硕士一定要上两门课：《泛函分析》以及《最优化算法》，有的学校已经将这两门课列为了研究生阶段的必修课程。这两门可可以说是图像处理（至少是模式识别）的基础。我当初没上过最优化算法，但后来也自己补上了，不然真的是寸步难行。至于泛函我当时听课的时候也不是很懂，但是在之后的研究过程中发现很多图像处理的基本知识基本理论都和泛函分析中枯燥的定理如出一辙，没办法，有的东西本身就是枯燥的干货，学着费力，缺它不行。
其次我想说的是矩阵运算。图像就是矩阵，图像处理就是矩阵运算。大家为什么都喜欢用Matlab，就是因为它的矩阵运算能力实在是太强大，在Matlab的世界中任何变量都是矩阵。同样OpenCv之所以能流行，不仅仅是因为它良好的封装性，也是因为它的矩阵格式，它定义了Mat基础类，允许你对矩阵进行各种操作。Python也不例外，它的Numpy就是一个专门的线性代数库。
真正在图像编程过程中，那些看着高大上的API函数归根到底都是工具，查查手册就能找到，真正核心还是在算法，算法是由公式编写的，公式的单元是变量，而图像届的变量就是矩阵。所以，熟练去操作矩阵，求秩、求逆、最小二乘，求协方差，都是家常便饭。所以，如果你有幸能上《矩阵分析》这门课，一定要把它看懂，那里面都是干货。
四、小结
总之，图像处理就是一个典型的门槛低、厅堂深的领域。不需要太多基础，学过线性代数，会一点编程就够了；但是那些算法却深不可测，是个消耗功夫的活儿。在写这篇教程时我说的很直白，就像和大家对话一样，想到什么说什么。在最后我想说两句题外话，就是不仅仅针对图像处理，对于其他新技术的入门学习也是一样，尽快迈出第一步，尽快去建立自信和成就感，让自己有勇气走下去，然后缺什么补什么就行了。我觉得真正让人望而却步的往往不是技术本身，而是我们对自身的不自信。唯有果断开工，才能战胜心魔。
2.图像处理项目
1.图像生成
绘画风格到图片的转换：Neural Stylehttps://github.com/jcjohnson/neural-style这个项目是用 Torch 对 Leon A. Gatys, Alexander S. Ecker, 和 Matthias Bethge 等人的论文“A Neural Algorithm of Artistic Style”的一个实现。论文中提出一种算法，用卷积神经网络将一幅图像的内容与另一幅图像的风格进行组合。
图像类比转换：image-analogieshttps://github.com/awentzonline/image-analogies“神经图像类比”（neural image analogies）这个项目基本上是 A. Hertzmann et. al（2001）的论文“Image Analogies”的一个实现。在这个项目中，我们使用了 VGG16 的特征，利用 Chuan Li, Michael Wand (2016) 的论文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中描述的方法进行patch的匹配和混合。初始代码改编自 Keras 的“神经风格迁移”示例。
根据涂鸦生成图片：Neural Doodlehttps://github.com/alexjc/neural-doodle使用深度神经网络把你的二流涂鸦变成艺术一般的作品！这个项目是 Champandard（2016）的论文 “Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artworks”的一个实现，基于 Chuan Li 和 Michael Wand（2016）在论文“Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis”中提出的 Neural Patches 算法。
匹根据涂鸦类比图片：Sketchyhttps://github.com/janesjanes/sketchy这个项目可以根据用户手绘的涂鸦，匹配出类似的图片。
根据图片生成铅笔画：Pencilhttps://github.com/fumin/pencil把一副图像变成铅笔水粉画。
手写文字模拟：rnnlibhttps://github.com/szcom/rnnlib这个项目可以做到手写文字模拟。
转换风景图片：Transient Attributes for High-Level Understanding and Editing of Outdoor Sceneshttp://transattr.cs.brown.edu这个项目可以识别和理解图片中的风景，并且可以根据用户提出的条件，定向改变原风景画中的环境（比如more night）
图片变Emojis表情：What emojis will the Emojini 3000 grant your photos?http://engineering.curalate.com/2016/01/20/emojinet.html将用户提供的图片转化成相关的表情图标
增加图片分辨率：srezhttps://github.com/david-gpu/srezsrez（super-resolution through deep learning），即通过深度学习实现图像超分辨率。这个项目是利用深度学习将 16x16 的图像分辨率增加 4 倍，基于用来训练神经网络的数据集，所得到的图像具有鲜明的特征。
图片自动上色：Colornethttps://github.com/pavelgonchar/colornetColornet 是一个给灰度图像自动上色的神经网络。
生成可爱的动漫头像：AnimeGANhttps://github.com/jayleicn/animeGAN使用PyTorch实现的GAN，可以自定义生成漂亮的动漫妹子头像，附带训练数据集哦！
骡子变斑马：CycleGAN and pix2pix in PyTorchhttps://github.com/junyanz/pytorch-CycleGAN-and-pix2pix.git图到图的翻译，著名的 CycleGAN 以及 pix2pix 的PyTorch 实现。
强大的图像生成器：DiscoGAN in PyTorchhttps://github.com/carpedm20/DiscoGAN-pytorch.git《Learning to Discover Cross-Domain Relations with Generative Adversarial Networks》的 PyTorch 实现。
使用RNN生成手写数字：DRAW implmentationhttps://github.com/skaae/lasagne-draw使用RNN生成手写体数字。
使用CNN来放大图片：waifu2xhttps://github.com/nagadomi/waifu2x使用CNN来放大图片，与普通图片放大不同的是，使用CNN“生成”放大，使低分辨率的图片在放大后也不会出现像素锯齿。
2.看图说话
根据图片生成一段描述：Show and Tellhttps://github.com/tensorflow/models/tree/master/im2txt这是 Oriol Vinyals et. al.（2016）的论文“Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge”的用TensorFlow实现的 image-to-text 图片说明生成模型。
根据图片讲故事：neural-storytellerhttps://github.com/ryankiros/neural-storytellerNeural-storyteller 是一个能够根据图像内容生成一个小故事的循环神经网络。这个 GitHub 库里包含了使用任意图像生成故事的代码，以及用于训练新模型的说明。
根据图片将故事2:NeuralTalk2https://github.com/karpathy/neuraltalk2循环神经网络（RNN）可以用于给图像取标题。NeuralTalk2 比原始版本的 NeuralTalk 更快而且性能更好。与原来的 NeuralTalk 相比，NeuralTalk2 的实现是批量的，可以使用 Torch 在 GPU上运行，并且支持 CNN 微调。这些都使得语言模型（~100x）的训练速度大大加快，但由于我们还有一个 VGGNet，因此总体上的提升没有很多。但是这仍然是个好模型，可以在 2~3 天里训练好，而且表现出的性能非常好。
识别图片中的文字：CRNN for image-based sequence recognitionhttps://github.com/bgshih/crnn.git这个是 Convolutional Recurrent Neural Network (CRNN) 的 PyTorch 实现。CRNN 由一些CNN，RNN和CTC组成，常用于基于图像的序列识别任务，例如场景文本识别和OCR。
3.图像识别
用于物体识别的全卷积网络：PyTorch-FCNhttps://github.com/wkentaro/pytorch-fcn.git一个性能出众的物体识别全卷积神经网络，使用PyTorch实现。
引入注意力的卷积网络：Attention Transferhttps://github.com/szagoruyko/attention-transfer.git论文 "Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer" 的PyTorch实现。
物体识别实例：Deep-Learninghttps://github.com/priya-dwivedi/Deep-Learning/blob/master/Object_Detection_Tensorflow_API.ipynb一个基于Ipython Notebook的物体识别实例，使用了Tensorflow Object Dectection API
物体识别API：Tensorflow Object Detection APIhttps://github.com/tensorflow/models/tree/master/object_detectionGoogle Tensorflow Object Dectection API 的开源代码。
推理场景结构：SfMLearnerhttps://github.com/tinghuiz/SfMLearner用单张图片推理场景结构：UC Berkeley提出3D景深联合学习方法
用于分辨色情图像的open_nsfwhttps://github.com/yahoo/open_nsfw这是雅虎构建的用于检测图片是否包含不适宜工作场所（NSFW）内容的深度神经网络项目，GitHub 库中包含了网络的 Caffe 模型的代码。检测具有攻击性或成人内容的图像是研究人员进行了几十年的一个难题。随着计算机视觉技术和深度学习的发展，算法已经成熟，雅虎的这个模型能以更高的精度分辨色情图像。 由于 NSFW 界定其实是很主观的，有的人反感的东西可能其他人并不觉得如何。雅虎的这个深度神经网络只关注NSFW内容的一种类型，即色情图片，所以该模型不适用于检测素描、文字、动画、暴力图片等内容。
人脸识别：Open Facehttps://github.com/cmusatyalab/openfaceOpenFace 是一个使用深度神经网络，用 Python 和 Torch 实现人脸识别的项目。神经网络模型基于 Google Florian Schroff 等人的 CVPR 2015 论文“FaceNet: A Unified Embedding for Face Recognition and Clustering” ，Torch 让网络可以在 CPU 或 CUDA 上运行。
易用人脸识别：Face_recognitionhttps://github.com/ageitgey/face_recognition#face-recognition这也提供了一个简单的 face_recognition 命令行工具，你可以打开命令行中任意图像文件夹，进行人脸识别！
快速人脸识别：MobileIDhttps://github.com/liuziwei7/mobile-id据说是个超级快速的人脸识别程序，可以用在手机上
图像识别框架1：AlexNet & VGG Net & GoogleNet & ResNetAlexNethttps://gist.github.com/JBed/c2fb3ce8ed299f197effVGG Nehttps://github.com/fchollet/keras/blob/master/keras/applications/vgg16.pyGoogleNethttps://github.com/fchollet/keras/blob/master/keras/applications/inception_v3.pyResNethttps://github.com/fchollet/keras/blob/master/keras/applications/resnet50.py
图像识别框架2：ResNeXt & RCNN & YOLO & SqueezeNet & SegNetResNeXthttps://github.com/titu1994/Keras-ResNeXtRCNN (基于区域的 CNN)https://github.com/yhenon/keras-frcnnYOLO (You Only Look once)https://github.com/allanzelener/YAD2KSqueezeNethttps://github.com/rcmalli/keras-squeezenetSegNethttps://github.com/imlab-uiip/keras-segnet
预训练的图像识别模型：functional-zoohttps://github.com/szagoruyko/functional-zoo.git由PyTorch和Tensorflow实现的常用图像识别模型包含预训练参数。
预定义的CNN过滤器： PyScatWavehttps://github.com/edouardoyallon/pyscatwave一套预定义的filter，用于增强图像识别的效果。
计算图片中物体的相似度：Conditional Similarity Networks (CSNs)https://github.com/andreasveit/conditional-similarity-networks.git《Conditional Similarity Networks》的PyTorch实现，可以根据不同的条件计算图片中物体的相似度。
量子化学中的神经信息传递(･_･;Neural Message Passing for Quantum Chemistryhttps://github.com/priba/nmp_qc.git论文《Neural Message Passing for Quantum Chemistry》的PyTorch实现，讲的是量子化学里的神经信息传递！听起来碉堡了。
4.图像理解
Visual Question Answering in Pytorchhttps://github.com/Cadene/vqa.pytorch.git一个PyTorch实现的优秀视觉推理问答系统，是基于论文《MUTAN: Multimodal Tucker Fusion for Visual Question Answering》实现的。项目中有详细的配置使用方法说明。
Facebook看图答题：Clevr-IEPhttps://github.com/facebookresearch/clevr-iep.gitFacebook Research 论文《Inferring and Executing Programs for Visual Reasoning》的PyTorch实现，讲的是一个可以基于图片进行关系推理问答的网络。
整理自：
张江
https://zhuanlan.zhihu.com/p/28601032
山在岭就在
https://blog.csdn.net/u013088062/article/details/50425018
页:
[1]