人脸验证 DeepID 算法介绍及实战

about云腾讯认证空间

问题导读
1.DeepID是什么？
2.DeepID的强大的两个因素是什么?
3.拿到图片数据后，本文做了那两件事情？

t011cfdd5dae97a6615_副本.jpg

首先明确一个概念什么是DeepID？
DeepID是人脸识别算法。

###########################

目前人脸验证算法可以说是DeepID最强，本文使用theano对DeepID进行实现。关于deepid的介绍，可以参见我这一片博文DeepID之三代。

当然DeepID最强指的是DeepID和联合贝叶斯两个算法，本文中只实现了DeepID神经网络，并用它作为特征提取器来应用在其他任务上。

本文所用到的代码工程在github上：DeepID_FaceClassify，如果这篇博客帮到了你，求star。咳咳，为了github工程的star数我觉得我太无耻了，哈哈。

实践流程环境配置

本工程使用theano库，所以在实验之前，theano环境是必须要配的，theano环境配置可以参见theano document。文档已经较为全面，本文不再赘述，在下文中，均假设读者已经装好了theano。

代码概览

本文所用到的代码结构如下：

[mw_shl_code=bash,true]src/
├── conv_net
│ ├── deepid_class.py
│ ├── deepid_generate.py
│ ├── layers.py
│ ├── load_data.py
│ └── sample_optimization.py
└── data_prepare
├── vectorize_img.py
├── youtube_data_split.py
└── youtube_img_crop.py[/mw_shl_code]

正如文件名命名所指出的，代码共分为两个模块，即数据准备模块（data_prepare）和卷积神经网络模块（conv_net）。

数据准备

我觉得DeepID的强大得益于两个因素，卷积神经网络的结构和数据，数据对于DeepID或者说对任何的卷积神经网络都非常重要。

可惜的是，我去找过论文作者要过数据，可是被婉拒。所以在本文的实验中，我使用的数据并非论文中的数据。经过下面的描述你可以知道，如果你还有其他的数据，可以很轻松的用python将其处理为本文DeepID网络的输入数据。

以youtube face数据为例。它的文件夹结构如下所示，包含三级结构，第一是以人为单位，然后每个人有不同的视频，每个视频中采集出多张人脸图像。

[mw_shl_code=bash,true]
youtube_data/
├── people_folderA
│ ├── video_folderA
│ │ ├── img1.jpg
│ │ ├── img2.jpg
│ │ └── imgN.jpg
│ └── video_folderB
└── people_folderB[/mw_shl_code]

拿到youtube face数据以后，需要做如下两件事：

对图像进行预处理，原来的youtube face图像中，人脸只占中间很小的一部分，我们对其进行裁剪，使人脸的比例变大。同时，将图像缩放为(47,55)大小。
将数据集合划分为训练集和验证集。本文中划分训练集和验证集的方式如下：
- 对于每一个人，将其不同视频下的图像混合在一起
- 随机化
- 选择前5张作为验证集，第6-25张作为训练集。

经过划分后，得到7975张验证集和31900训练集。显然，根据这两个数字你可以算出一共有1595个类（人）。

数据准备的代码使用

注意: 数据准备模块中以youtube为前缀的的程序是专门用来处理youtube数据，因为其他数据可能图像属性和文件夹的结构不一样。如果你使用了其他数据，请阅读youtube_img_crop.py和youtube_data_split.py代码，然后重新写出适合自己数据的代码。数据预处理代码都很简单，相信在我代码的基础上，不需要改太多，就能适应另一种数据了。

youtube_img_crop.py

被用来裁剪图片，youtube face数据中图像上人脸的比例都相当小，本程序用于将图像的边缘裁减掉，然后将图像缩放为47×55（DeepID的输入图像大小）。

[mw_shl_code=bash,true]Usage: python youtube_img_crop.py aligned_db_folder new_folder[/mw_shl_code]

aligned_db_folder: 原始文件夹
new_folder: 结果文件夹，与原始文件夹的文件夹结构一样，只不过图像是被处理后的图像。

youtube_data_split.py

用来切分数据，将数据分为训练集和验证集。

[mw_shl_code=bash,true]Usage: python youtube_data_split.py src_folder test_set_file train_set_file[/mw_shl_code]

src_folder: 原始文件夹，此处应该为上一步得到的新文件夹
test_set_file: 验证集图片路径集合文件
train_set_file: 训练集图片路径集合文件

test_set_file和train_set_file的格式如下，每一行分为两部分，第一部分是图像路径，第二部分是图像的类别标记。

[mw_shl_code=bash,true]youtube_47_55/Alan_Ball/2/aligned_detect_2.405.jpg,0
youtube_47_55/Alan_Ball/2/aligned_detect_2.844.jpg,0
youtube_47_55/Xiang_Liu/5/aligned_detect_5.1352.jpg,1
youtube_47_55/Xiang_Liu/1/aligned_detect_1.482.jpg,1[/mw_shl_code]

vectorize_img.py

用来将图像向量化，每张图像都是47×55的，所以每张图片变成一个47×55×3的向量。

为了避免超大文件的出现，本程序自动将数据切分为小文件，每个小文件中只有1000张图片，即1000×(47×55×3)的矩阵。当然，最后一个小文件不一定是1000张。

[mw_shl_code=bash,true]Usage: python vectorize_img.py test_set_file train_set_file test_vector_folder train_vector_folder[/mw_shl_code]

test_set_file: *_data_split.py生成的
train_set_file: *_ata_split.py生成的
test_vector_folder: 存储验证集向量文件的文件夹名称
train_vector_folder: 存储训练集向量文件的文件夹名称

Conv_Net

走完了漫漫前路，终于可以直捣黄龙了。现在是DeepID时间。吼吼哈嘿。

在conv_net模块中，有五个程序文件

layers.py: 卷积神经网络相关的各种层次的定义，包括逻辑斯底回归层、隐含层、卷积层、max_pooling层等
load_data.py: 为DeepID载入数据。
sample_optimization.py: 针对各种层次的一些测试实验。
deepid_class.py: DeepID主程序
deepid_generate.py: 根据DeepID训练好的参数，来将隐含层抽取出来

Conv_Net代码使用deepid_class.py
[mw_shl_code=bash,true]Usage: python deepid_class.py vec_valid vec_train params_file[/mw_shl_code]

vec_valid: vectorize_img.py生成的
vec_train: vectorize_img.py生成的
params_file: 用来存储训练时每次迭代的参数，可以被用来断点续跑，由于CNN程序一般需要较长时间，万一遇到停电啥的，就可以用得上了。自然，更大的用途是保存参数后用来抽取特征。

注意:

DeepID训练过程有太多的参数需要调整，为了程序使用简便，我并没有把这些参数都使用命令行传参。如果你想要改变迭代次数、学习速率、批大小等参数，请在程序的最后一行调用函数里改。

deepid_generate.py

可以使用下面的命令来抽取DeepID的隐含层，即160-d的那一层。

[mw_shl_code=bash,true]Usage: python deepid_generate.py dataset_folder params_file result_folder[/mw_shl_code]

dataset_folder: 可以是训练集向量文件夹或者验证集向量文件夹。
params_file: deepid_class.py训练得到
result_folder: 结果文件夹，其下的文件与dataset_folder中文件的文件名一一对应，但是结果文件夹中的向量的长度变为160而不是原来的7755。

效果展示DeepID 效果

跑完deepid_class.py以后，你可以得到输出如下。输出可以分为两部分，第一部分是每次迭代以及每个小batch的训练集误差，验证集误差等。第二部分是一个汇总，将epoch train error valid error. 按照统一格式打印了出来。

[mw_shl_code=bash,true]epoch 15, train_score 0.000444, valid_score 0.066000
      epoch 16, minibatch_index 62/63, error 0.000000
epoch 16, train_score 0.000413, valid_score 0.065733
      epoch 17, minibatch_index 62/63, error 0.000000
epoch 17, train_score 0.000508, valid_score 0.065333
      epoch 18, minibatch_index 62/63, error 0.000000
epoch 18, train_score 0.000413, valid_score 0.070267
      epoch 19, minibatch_index 62/63, error 0.000000
epoch 19, train_score 0.000413, valid_score 0.064533

0 0.974349206349 0.962933333333
1 0.890095238095 0.897466666667
2 0.70126984127 0.666666666667
3 0.392031746032 0.520133333333
4 0.187619047619 0.360666666667
5 0.20526984127 0.22
6 0.054380952381 0.171066666667
7 0.0154920634921 0.128
8 0.00650793650794 0.100133333333
9 0.00377777777778 0.0909333333333
10 0.00292063492063 0.086
11 0.0015873015873 0.0792
12 0.00133333333333 0.0754666666667
13 0.00111111111111 0.0714666666667
14 0.000761904761905 0.068
15 0.000444444444444 0.066
16 0.000412698412698 0.0657333333333
17 0.000507936507937 0.0653333333333
18 0.000412698412698 0.0702666666667
19 0.000412698412698 0.0645333333333[/mw_shl_code]

上述数据画成折线图如下：

向量抽取效果展示

运行deepid_generate.py之后, 可以得到输出如下：

[mw_shl_code=bash,true]loading data of vec_test/0.pkl
building the model ...
generating ...
writing data to deepid_test/0.pkl
loading data of vec_test/3.pkl
building the model ...
generating ...
writing data to deepid_test/3.pkl
loading data of vec_test/1.pkl
building the model ...
generating ...
writing data to deepid_test/1.pkl
loading data of vec_test/7.pkl
building the model ...
generating ...
writing data to deepid_test/7.pkl[/mw_shl_code]

程序会对向量化文件夹内的每一个文件进行抽取操作，得到对应的160-d向量化文件。

将隐含层抽取出来后，我们可以在一些其他领域上验证该特征的有效性，比如图像检索。可以使用我的另一个github工程进行测试，这是链接.使用验证集做查询集，训练集做被查询集，来看一下检索效果如何。

为了做对比，本文在youtube face数据上做了两个人脸检索实验。