opencv怎么确定人脸各部分的位置
1.1.介绍Introduction
从OpenCV2.4开始，加入了新的类FaceRecognizer，我们可以使用它便捷地进行人脸识别实验。本文既介绍代码使用，又介绍算法原
理。(他写的源代码，我们可以在OpenCV的opencv\modules\contrib\doc\facerec\src下找到，当然也可以在他的
github中找到，如果你想研究源码，自然可以去看看，不复杂)
目前支持的算法有
Eigenfaces特征脸createEigenFaceRecognizer()
Fisherfaces createFisherFaceRecognizer()
LocalBinary Patterns Histograms局部二值直方图 createLBPHFaceRecognizer()
下面所有的例子中的代码在OpenCV安装目录下的samples/cpp下面都能找到，所有的代码商用或者学习都是免费的。
1.2.人脸识别Face Recognition
对人类来说，人脸识别很容易。文献[Tu06]告
诉我们，仅仅是才三天的婴儿已经可以区分周围熟悉的人脸了。那么对于计算机来说，到底有多难？其实，迄今为止，我们对于人类自己为何可以区分不同的人所知
甚少。是人脸内部特征(眼睛、鼻子、嘴巴)还是外部特征(头型、发际线)对于人类识别更有效?我们怎么分析一张图像，大脑是如何对它编码的？David Hubel和TorstenWiesel向
我们展示，我们的大脑针对不同的场景，如线、边、角或者运动这些局部特征有专门的神经细胞作出反应。显然我们没有把世界看成零散的块块，我们的视觉皮层必
须以某种方式把不同的信息来源转化成有用的模式。自动人脸识别就是如何从一幅图像中提取有意义的特征，把它们放入一种有用的表示方式，然后对他们进行一些
分类。基于几何特征的人脸的人脸识别可能是最直观的方法来识别人脸。第一个自动人脸识别系统在[Kanade73]中
又描述：标记点(眼睛、耳朵、鼻子等的位置)用来构造一个特征向量(点与点之间的距离、角度等)。通过计算测试和训练图像的特征向量的欧氏距离来进行识
别。这样的方法对于光照变化很稳健，但也有巨大的缺点：标记点的确定是很复杂的，即使是使用最先进的算法。一些几何特征人脸识别近期工作在文献[Bru92]中有描述。一个22维的特征向量被用在一个大数据库上，单靠几何特征不能提供足够的信息用于人脸识别。
特征脸方法在文献[TP91]中
有描述，他描述了一个全面的方法来识别人脸：面部图像是一个点，这个点是从高维图像空间找到它在低维空间的表示，这样分类变得很简单。低维子空间低维是使
用主元分析(Principal Component
Analysis,PCA)找到的，它可以找拥有最大方差的那个轴。虽然这样的转换是从最佳重建角度考虑的，但是他没有把标签问题考虑进去。[gm:读懂
这段需要一些机器学习知识]。想象一个情况，如果变化是基于外部来源，比如光照。轴的最大方差不一定包含任何有鉴别性的信息，因此此时的分类是不可能的。
因此，一个使用线性鉴别(Linear Discriminant Analysis,LDA)的特定类投影方法被提出来解决人脸识别问题[BHK97]。其中一个基本的想法就是，使类内方差最小的同时，使类外方差最大。
近年来，各种局部特征提取方法出现。为了避免输入的图像的高维数据，仅仅使用的局部特征描述图像的方法被提出，提取的特征(很有希望的)对于局部遮挡、光照变化、小样本等情况更强健。有关局部特征提取的方法有盖伯小波(Gabor Waelets)([Wiskott97])，离散傅立叶变换(DiscreteCosinus Transform,DCT)([Messer06])，局部二值模式(LocalBinary Patterns,LBP)([AHP04])。使用什么方法来提取时域空间的局部特征依旧是一个开放性的研究问题，因为空间信息是潜在有用的信息。
1.3.人脸库Face Database
我们先获取一些数据来进行实验吧。我不想在这里做一个幼稚的例子。我们在研究人脸识别，所以我们需要一个真的人脸图像！你可以自己创建自己的数据集，也可以从这里()下载一个。
ATTFacedatabase又称ORL人脸数据库，40个人，每人10张照片。照片在不同时间、不同光照、不同表情(睁眼闭眼、笑或者不笑)、不同人脸细节(戴眼镜或者不戴眼镜)下采集。所有的图像都在一个黑暗均匀的背景下采集的，正面竖直人脸(有些有有轻微旋转)。
YaleFacedatabase A ORL
数据库对于初始化测试比较适合，但它是一个简单的数据库，特征脸已经可以达到97%的识别率，所以你使用其他方法很难得到更好的提升。Yale人脸数据库
是一个对于初始实验更好的数据库，因为识别问题更复杂。这个数据库包括15个人(14个男人,1个女人)，每一个都有11个灰度图像，大小是
320*243像素。数据库中有光照变化(中心光照、左侧光照、右侧光照)、表情变化(开心、正常、悲伤、瞌睡、惊讶、眨眼)、眼镜(戴眼镜或者没戴)。
坏消息是它不可以公开下载，可能因为原来的服务器坏了。但我们可以找到一些镜像(比如 theMIT)但我不能保证它的完整性。如果你需要自己剪裁和校准图像，可以阅读我的笔记(bytefish.de/blog/fisherfaces)。
ExtendedYale Facedatabase B 此数据库包含38个人的2414张图片，并且是剪裁好的。这个数据库重点是测试特征提取是否对光照变化强健，因为图像的表情、遮挡等都没变化。我认为这个数据库太大，不适合这篇文章的实验，我建议使用ORL数据库。
1.3.1. 准备数据
我们从网上下了数据，下了我们需要在程序中读取它，我决定使用CSV文件读取它。一个CSV文件包含文件名，紧跟一个标签。
/path/to/image.ext;0
假设/path/to/image.ext是图像，就像你在windows下的c:/faces/person0/image0.jpg。最后我们给它一
个标签0。这个标签类似代表这个人的名字，所以同一个人的照片的标签都一样。我们对下载的ORL数据库进行标识，可以获取到如下结果：
./at/s1/1.pgm;0
./at/s1/2.pgm;0
...
./at/s2/1.pgm;1
./at/s2/2.pgm;1
...
./at/s40/1.pgm;39
./at/s40/2.pgm;39
想象我已经把图像解压缩在D:/data/at下面，而CSV文件在D:/data/at.txt。下面你根据自己的情况修改替换即可。一旦你成功建立CSV文件，就可以像这样运行示例程序：
facerec_demo.exe D:/data/at.txt
1.3.2 Creating the CSV File
你不需要手工来创建一个CSV文件，我已经写了一个Python程序来做这事。
[gm:说一个我实现的方法
如果你会cmd命令，或者称DOS命令，那么你打开命令控制台。假设我们的图片放在J:下的Faces文件夹下，可以输入如下语句：
J:\Faces\ORLdir /b/s *.bmp at.txt
然后你打开at.txt文件可能看到如下内容(后面的0，1..标签是自己加的)：
。。。。
J:\Faces\ORL\s1\1.bmp;0
J:\Faces\ORL\s1\10.bmp;0
J:\Faces\ORL\s1\2.bmp;0
J:\Faces\ORL\s1\3.bmp;0
J:\Faces\ORL\s1\4.bmp;0
J:\Faces\ORL\s1\5.bmp;0
J:\Faces\ORL\s1\6.bmp;0
J:\Faces\ORL\s1\7.bmp;0
J:\Faces\ORL\s1\8.bmp;0
J:\Faces\ORL\s1\9.bmp;0
J:\Faces\ORL\s10\1.bmp;1
J:\Faces\ORL\s10\10.bmp;1
J:\Faces\ORL\s10\2.bmp;1
J:\Faces\ORL\s10\3.bmp;1
J:\Faces\ORL\s10\4.bmp;1
J:\Faces\ORL\s10\5.bmp;1
J:\Faces\ORL\s10\6.bmp;1
。。。。
自然还有c++编程等方法可以做得更好，看这篇文章反响，如果很多人需要，我就把这部分的代码写出来。(遍历多个文件夹，标上标签)
]
特征脸Eigenfaces
我们讲过，图像表示的问题是他的高维问题。二维灰度图像p*q大小，是一个m=qp维的向量空间，所以一个100*100像素大小的图像就是10，000
维的图像空间。问题是，是不是所有的维数空间对我们来说都有用？我们可以做一个决定，如果数据有任何差异，我们可以通过寻找主元来知道主要信息。主成分分
析(Principal Component Analysis,PCA)是KarlPearson (1901)独立发表的，而 Harold Hotelling (1933)把一些可能相关的变量转换成一个更小的不相关的子集。想法是，一个高维数据集经常被相关变量表示，因此只有一些的维上数据才是有意义的，包含最多的信息。PCA方法寻找数据中拥有最大方差的方向，被称为主成分。
算法描述Algorithmic Description
令 表示一个随机特征，其中 .
计算均值向量
计算协方差矩阵 S
计算 的特征值 和对应的特征向量
对特征值进行递减排序，特征向量和它顺序一致. K个主成分也就是k个最大的特征值对应的特征向量。
x的K个主成份:
其中 .
PCA基的重构:
其中 .
然后特征脸通过下面的方式进行人脸识别：
A． 把所有的训练数据投影到PCA子空间
B． 把待识别图像投影到PCA子空间
C． 找到训练数据投影后的向量和待识别图像投影后的向量最近的那个。
还有一个问题有待解决。比如我们有400张图片，每张100*100像素大小，那么PCA需要解决协方差矩阵 的求解，而X的大小是10000*400，那么我们会得到10000*10000大小的矩阵，这需要大概0.8GB的内存。解决这个问题不容易，所以我们需要另一个计策。就是转置一下再求，特征向量不变化。文献 [Duda01]中有描述。
[gm:这个PCA还是自己搜着看吧，这里的讲的不清楚，不适合初学者看]
OpenCV中使用特征脸Eigenfaces in OpenCV
给出示例程序源代码
#include "opencv2/core/core.hpp"
#include "opencv2/contrib/contrib.hpp"
#include "opencv2/highgui/highgui.hpp"
#include iostream
#include fstream
#include sstream
usingnamespace cv;
usingnamespace std;
static Mat norm_0_255(InputArray _src) {
Mat src = _src.getMat();
// 创建和返回一个归一化后的图像矩阵:
Mat dst;
switch(src.channels()) {
case1:
cv::normalize(_src, dst, 0,255, NORM_MINMAX, CV_8UC1);
break;
case3:
cv::normalize(_src, dst, 0,255, NORM_MINMAX, CV_8UC3);
break;
default:
src.copyTo(dst);
break;
}
return dst;
}
//使用CSV文件去读图像和标签，主要使用stringstream和getline方法
staticvoid read_csv(const string filename, vectorMat images, vectorint labels, char separator =';') {
std::ifstream file(filename.c_str(), ifstream::in);
if (!file) {
string error_message ="No valid input file was given, please check the given filename.";
CV_Error(CV_StsBadArg, error_message);
}
string line, path, classlabel;
while (getline(file, line)) {
stringstream liness(line);
getline(liness, path, separator);
getline(liness, classlabel);
if(!path.empty()!classlabel.empty()) {
images.push_back(imread(path, 0));
labels.push_back(atoi(classlabel.c_str()));
}
}
}
int main(int argc, constchar*argv[]) {
// 检测合法的命令，显示用法
// 如果没有参数输入则退出！.
if (argc 2) {
cout "usage: " argv[0]" csv.ext output_folder " endl;
exit(1);
}
string output_folder;
if (argc ==3) {
output_folder = string(argv[2]);
}
//读取你的CSV文件路径.
string fn_csv = string(argv[1]);
// 2个容器来存放图像数据和对应的标签
vectorMat images;
vectorint labels;
// 读取数据. 如果文件不合法就会出错
// 输入的文件名已经有了.
try {
read_csv(fn_csv, images, labels);
} catch (cv::Exception e) {
cerr "Error opening file \"" fn_csv "\". Reason: " e.msg endl;
// 文件有问题，我们啥也做不了了，退出了
exit(1);
}
// 如果没有读取到足够图片，我们也得退出.
if(images.size()=1) {
string error_message ="This demo needs at least 2 images to work. Please add more images to your data set!";
CV_Error(CV_StsError, error_message);
}
// 得到第一张照片的高度. 在下面对图像
// 变形到他们原始大小时需要
int height = images[0].rows;
// 下面的几行代码仅仅是从你的数据集中移除最后一张图片
//[gm:自然这里需要根据自己的需要修改，他这里简化了很多问题]
Mat testSample = images[images.size() -1];
int testLabel = labels[labels.size() -1];
images.pop_back();
labels.pop_back();
// 下面几行创建了一个特征脸模型用于人脸识别，
// 通过CSV文件读取的图像和标签训练它。
// T这里是一个完整的PCA变换
//如果你只想保留10个主成分，使用如下代码
// cv::createEigenFaceRecognizer(10);
//
// 如果你还希望使用置信度阈值来初始化，使用以下语句：
// cv::createEigenFaceRecognizer(10, 123.0);
//
// 如果你使用所有特征并且使用一个阈值，使用以下语句：
// cv::createEigenFaceRecognizer(0, 123.0);
//
PtrFaceRecognizer model = createEigenFaceRecognizer();
model-train(images, labels);
// 下面对测试图像进行预测，predictedLabel是预测标签结果
int predictedLabel = model-predict(testSample);
//
// 还有一种调用方式，可以获取结果同时得到阈值:
// int predictedLabel = -1;
// double confidence = 0.0;
// model-predict(testSample, predictedLabel, confidence);
//
string result_message = format("Predicted class = %d / Actual class = %d.", predictedLabel, testLabel);
cout result_message endl;
// 这里是如何获取特征脸模型的特征值的例子，使用了getMat方法:
Mat eigenvalues = model-getMat("eigenvalues");
// 同样可以获取特征向量:
Mat W = model-getMat("eigenvectors");
// 得到训练图像的均值向量
Mat mean = model-getMat("mean");
// 现实还是保存:
if(argc==2) {
imshow("mean", norm_0_255(mean.reshape(1, images[0].rows)));
} else {
imwrite(format("%s/mean.png", output_folder.c_str()), norm_0_255(mean.reshape(1, images[0].rows)));
}
// 现实还是保存特征脸:
for (int i =0; i min(10, W.cols); i++) {
string msg = format("Eigenvalue #%d = %.5f", i, eigenvalues.atdouble(i));
cout msg endl;
// 得到第 #i个特征
Mat ev = W.col(i).clone();
//把它变成原始大小，为了把数据显示归一化到0~255.
Mat grayscale = norm_0_255(ev.reshape(1, height));
// 使用伪彩色来显示结果，为了更好的感受.
Mat cgrayscale;
applyColorMap(grayscale, cgrayscale, COLORMAP_JET);
// 显示或者保存:
if(argc==2) {
imshow(format("eigenface_%d", i), cgrayscale);
} else {
imwrite(format("%s/eigenface_%d.png", output_folder.c_str(), i), norm_0_255(cgrayscale));
}
}
// 在一些预测过程中，显示还是保存重建后的图像:
for(int num_components =10; num_components 300; num_components+=15) {
// 从模型中的特征向量截取一部分
Mat evs = Mat(W, Range::all(), Range(0, num_components));
Mat projection = subspaceProject(evs, mean, images[0].reshape(1,1));
Mat reconstruction = subspaceReconstruct(evs, mean, projection);
// 归一化结果，为了显示:
reconstruction = norm_0_255(reconstruction.reshape(1, images[0].rows));
// 显示或者保存:
if(argc==2) {
imshow(format("eigenface_reconstruction_%d", num_components), reconstruction);
} else {
imwrite(format("%s/eigenface_reconstruction_%d.png", output_folder.c_str(), num_components), reconstruction);
}
}
// 如果我们不是存放到文件中，就显示他，这里使用了暂定等待键盘输入:
if(argc==2) {
waitKey(0);
}
return0;
}
我使用了伪彩色图像，所以你可以看到在特征脸中灰度值是如何分布的。你可以看到特征脸不但对人脸特征进行编码，还对这些图像中的光照进行编码。
opencv怎样判断一副图片上是否有人脸
CvSeq* faces = cvHaarDetectObjects( small_img, cascade, storage,1.1, 2, 0,cvSize(100, 60) /*级联分类器训练中采用的检测目标的尺寸*/);//检测人脸返回矩形人脸
/*使用针对某目标物体训练的级联分类器在图像中找到包含目标物体的矩形区域，并且将这些区域作为一序列的矩形框返回。
函数以不同比例大小的扫描窗口对图像进行几次搜索(察看cvSetImagesForHaarClassifierCascade)。
每次都要对图像中的这些重叠区域利用cvRunHaarClassifierCascade进行检测。*/
//t = (double)cvGetTickCount() - t;
//printf( "detection time = %gms\n", t/((double)cvGetTickFrequency()*1000.) );
for( i = 0; i (faces ? faces-total : 0); i++ )//找到矩形中心把矩形转换成圆形
{
CvRect* r = (CvRect*)cvGetSeqElem( faces, i );/*直接访问序列中的元素 */
CvPoint center;//OpenCV的基本数据类型之一，表示一个坐标为整数的二维点
int radius;
center.x = cvRound((r-x + r-width*0.5)*scale);
center.y = cvRound((r-y + r-height*0.5)*scale);
radius = cvRound((r-width + r-height)*0.25*scale);//对一个double型的数进行四舍五入，并返回一个整型数！
cvCircle( img, center, radius, colors[i%8], 3, 8, 0 );/*绘制圆形*/
*****************printf("检测到人脸！");********************************
//在此加入人脸识别程序
}
不出意外的话朋友你的代码里面应该有此部分内容吧，要判断检测到人脸的话就是在将矩形人脸标记转换成圆形标记的部分哦。
意思就是说有人脸被标记出来了，那么肯定就存在人脸了哦！
}
opencv中检测出人脸之后，需要把检测出的人脸区域提取出来，用作人脸识别，那么如何提取人脸区域
首先使用opencv自带的rectangle函数将检测出来的人脸用矩形框框住，然后新定义一个Mat类型变量将矩形框框住的部分提取出来就可以了；
如rectangle(image, Rect(x1,y1,w1,h1), Scalar(0,0,255),1);
Mat image_cut=image(cvRect(x,y,w,h));
imshow("",image_cut);即可
相机的人脸捕捉技术的原理是什么？
现在小dc上自动对焦原理是场景对比度对焦（单反是相位对焦），而人脸捕捉技术是对比度对焦的一种特例。人的脸与周围的景物轮廓、特征等是不同的，比如大体上圆形，一定的肤色，还有五官特征等。工程师就把这些归纳的信息编到相机图像处理软件中，当镜头捕获含有这些信息的场景时，相机就会对焦到所谓的“人脸”了。
脸部如何区分各区域的，什么脸颊位置等等
脸部有五官中的“眉、眼、耳、鼻、口”以及腮等部位组成。
1、额：眉毛至发际线的位置。
2、眉头：眉毛最内侧的位置。
3、 眉峰：眉毛最高点。
4、眉尾：眉毛最外侧。
5、眉骨：沿眉毛下方的骨头与眼窝交界处。
6、上部眼窝：闭上眼睛，眼皮盖在眼珠上的部位，眼影就是涂在这里的。
7、眼角(尾)：眼睛最靠外的一侧，上下眼脸交汇处。
8、眼眶：眼皮的外缘所构成的眶。
9、鼻梁：由额头到准头之间位置，是脸最高的地方
10、鼻翼：鼻头两侧，是鼻子最宽的地方，亦是鼻孔所在。
11、鼻唇沟：鼻翼两旁凹陷下去的部位。
12、鼻孔：鼻腔的通道。
13、面颊：位于脸的两侧，从眼到下颌的部位。
14、颧骨：眼睛下方较突出部位，以手轻按可以摸到骨头，一般腮红都是搽在这里以修饰脸型。
15、嘴角：上下嘴唇连接处。
16、唇点：上唇中间最突出的一点。
17、唇峰：上唇中央往两侧如山峰般高起的曲线、唇：口周围的肌肉组织，通称“嘴唇”。
18、颌：构成口腔上部和下部的骨头和肌肉组织，上部称上颌，下部称下颌。
扩展资料：
脸部五官比例∶
三庭即：人脸纵向分为三庭，发际线到眉心为上庭；眉心到鼻尖为中庭；鼻尖到下巴尖为下庭。三庭长度的比例成1：1：1为佳。
五眼即：在眼部同一水平线上的两鬓角之间距离是五只眼睛的长度。也就是鬓角到眼尾的距离是一只眼睛，两眼之间也是一只眼睛。
参考资料来源：百度百科—五官