考虑识别鲁棒性和虹膜颜色影响的瞳孔精准定位方法

doi:10.13232/j.cnki.jnju.2024.01.010

考虑识别鲁棒性和虹膜颜色影响的瞳孔精准定位方法

罗亚波^,, 李鑫

武汉理工大学机电工程学院，武汉，430070

Accurate pupil localization method considering recognition robustness and the influence of iris color

Luo Yabo^,, Li Xin

School of Mechanical and Electronic Engineering，Wuhan University of Technology，Wuhan，430070，China

通讯作者: E⁃mail：luoyabo1973@163.com

收稿日期: 2023-11-07

基金资助:

校企合作攻关项目. 20222h0155

Received: 2023-11-07

摘要

准确的瞳孔定位广泛应用于疲劳监控、注意力分析、凝视跟踪等领域.当前，对于瞳孔定位的研究，还存在两个难点问题：（1）瞳孔检测的精准率受到图像分辨率、照明、头部姿态的影响，因而自然条件下的定位精准度较低；（2）虹膜颜色影响定位精准率，但当前对于不同虹膜颜色的瞳孔定位方法的研究还不完善.针对以上问题，提出一种新的适用于包含全脸图像的瞳孔定位方法.所提方法无需训练，可直接用于瞳孔定位任务.方法核心是将表示局部径向对称性的自相似性分数，与根据瞳孔和周围区域之间的梯度信息计算得到的眼部区域梯度辐射分数相结合，取联合分数峰值坐标为瞳孔中心.在BioID数据集和GI4E数据集上评估本方法.在归一化误差 $e \leq 0.05$ 的情况下，准确率分别为94.67% （BioID），97.09% （GI4E），在 $e \leq 0.10$ 的情况下，准确率分别为99.47% （BioID），99.51% （GI4E）.所提方法在由低分辨率深色虹膜的人脸图像组成的自制数据集上准确率为98.66% （ $e \leq 0.05$ ）和100% （ $e \leq 0.10$ ），表明所提方法对于虹膜颜色有较好的鲁棒性.

关键词： 瞳孔定位 ; 图像处理 ; 自相似性 ; 图像梯度 ; 人因工程

Abstract

Accurate pupil localization is widely used in fatigue monitoring，attention analysis，gaze tracking，and other fields. Currently，there are two difficult problems in the research of pupil localization. (1) The accuracy of pupil detection is affected by image resolution，illuminance，and head pose，and thus the accuracy of localization under natural conditions is relatively low.(2) Iris color affects the accuracy of localization，but the current research on pupil localization methods for different iris colors is not perfect. To address these two problems，this study proposes a new pupil localization method for whole⁃face images. The proposed method requires no training and is directly used for pupil localization tasks. The core of the method is to combine the self⁃similarity score representing the local radial symmetry，with the gradient radiation score of the eye area calculated based on the gradient information between the pupil and the surrounding area，then take the peak coordinate of the joint score as the pupil center. The approach was on the BioID，GI4E dataset. At a normalized error of $e \leq 0.05$ ，the accuracy is 94.67% (BioID) and 97.09% (GI4E)，respectively. At a normalized error of $e \leq 0.10$ ，the accuracy is 99.47% (BioID) and 99.51% (GI4E) ，respectively. The proposed approach on the self⁃made dataset composed of low⁃resolution dark iris facial images yields an accuracy of 98.66% ( $e \leq 0.05$ ) and 100% ( $e \leq 0.10$ )，indicating that the proposed approach has preferable robustness to iris color.

Keywords： pupil localization ; image processing ; self⁃similarity ; image gradient ; human factors engineering

PDF (799KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

罗亚波, 李鑫. 考虑识别鲁棒性和虹膜颜色影响的瞳孔精准定位方法. 南京大学学报（自然科学）[J], 2024, 60(1): 97-105 doi:10.13232/j.cnki.jnju.2024.01.010

Luo Yabo, Li Xin. Accurate pupil localization method considering recognition robustness and the influence of iris color. Journal of nanjing University[J], 2024, 60(1): 97-105 doi:10.13232/j.cnki.jnju.2024.01.010

人眼是人观察世界、获取信息的最主要途径，同时也反映人的注意力、体现人的生理状况.瞳孔是人眼中心颜色最深的类圆，其大小受情绪变化、光线强度、生理状态等影响，因此人因工程对人眼的研究大多集中在瞳孔.瞳孔定位（瞳孔检测）是指提取瞳孔中心坐标并标记其实际边界（瞳孔边界）^［1］.准确的瞳孔定位广泛应用于人因工程、人机交互、心理学、智能驾驶、医疗健康等领域^［2］，是注意力分析、凝视跟踪的前提.而由于应用场景的多元化，检测设备、背景复杂程度、光照强度等影响图像质量，导致瞳孔检测准确率较低，在某些领域无法规模化应用.此外，主流虹膜颜色有褐色、蓝色、绿色，虹膜与瞳孔的对比度不同是影响瞳孔检测准确率的又一因素.因此，如何准确地检测瞳孔受到研究界广泛关注.

形状结构特征和外观纹理特征是瞳孔检测常用的特征，Hough变换是常用的目标检测方法，但准确率有限且运算量大.因此张宏薇等^［3］提出改进的Hough变换检测瞳孔，由于设置了检测圆的半径范围，所以在准确率和检测速度方面，比仅利用Hough变换有显著提升，但不同数据集的规格不同，需要人工设置半径范围，算法的自适应性不高，且对图像分辨率要求较高.Gu et al^［4］使用轮廓跟踪方法提取瞳孔区域，确定区域质心为瞳孔中心，该方法适用于不规则瞳孔的检测，并且可以满足实时检测的要求，但由于使用固定阈值进行二值化，不能适应光照变化，鲁棒性较差.宋保全等^［5］基于亚像素边缘的多模板匹配算法定位瞳孔，提取训练样本图像的亚像素边缘创建匹配模板，使用创建好的模板集合对待测图像进行匹配，该方法不易受个体差异影响，无需人工调参，具有一定的鲁棒性.王鹏等^［6］基于近眼红外图像，获取最大连通域后边缘检测，利用改进的最小二乘椭圆拟合定位瞳孔中心，可以解决反射光斑干扰以及瞳孔被部分遮挡的问题.Zhou et al^［7］基于参数优化，设置三步阈值，二值化图像后提取瞳孔轮廓，能够较好地解决瞳孔与背景灰度值接近时定位精度下降的问题.El et al^［8］提出带变形边缘检测的霍夫圆变换算法检测瞳孔，通过多次滤波处理图像，使用Canny算子检测瞳孔边缘，经过细化去除不满足曲率的边缘，能够较好地去除模糊和噪声对检测精度的影响.

目前主流的瞳孔检测方法是基于深度学习的方法，Khan et al^［9］提出一种深度学习和图像处理算法相结合的瞳孔定位方法，通过深度神经网络获取眼部图像，在眼图上利用多级卷积来找到所识别的眼眶内瞳孔的最佳水平和垂直坐标.崔家礼等^［10］基于卷积神经网络，在网络结构中减少下采样因子，增加扩张残差单元，实现复杂场景下的直接人眼检测.Gdoura et al^［11］结合了卷积神经网络和类似马尔可夫随机场的过程，提出一种轻量级的混合模型，能够在相同的卷积层上运行不同的图像尺度，在性能提高的基础上，显著降低模型大小.尽管使用大量标记瞳孔中心的样本进行训练可以获得较好的结果，但是此类方法训练耗时，且高质量的数据集有限.此外，深度学习模型在实际应用中涉及模型部署，要解决模型框架兼容性差，所需的环境难以配置的问题，以及深度学习模型的结构通常比较庞大，需要大量的算力才能满足实时运行的需求，模型的运行效率需要优化的问题.

为了克服虹膜颜色、图像分辨率、照明、噪声等对瞳孔定位精度的影响，本文基于由粗到细思想，结合深度学习和图像处理算法，提出一种适应低分辨率全脸图像的瞳孔定位新方法.为验证方法的有效性，在BioID数据集和GI4E数据集上进行实验.创新性地考虑虹膜颜色的影响，自制由低分辨率的深色虹膜人脸图像组成的数据集并进行实验，结果表明该方法具有较高的识别鲁棒性，且可以有效对抗虹膜颜色变化对定位准确率的影响.由于方法的非接触性和鲁棒性，可广泛应用于人机交互、残疾人通信、智能驾驶等方面.

1 瞳孔定位方法描述

所提出的瞳孔定位方法的流程如图1所示，首先利用基于深度学习的面部关键点检测方法提取图像中仅包含眼睛（分为左眼和右眼）的区域，缩小瞳孔定位的范围，减少下一步自相似性分数和梯度辐射分数的计算量.对截取的图像进行预处理，减小虹膜或瞳孔上的反射光斑，降低光照对瞳孔定位准确性的影响.其次根据瞳孔的纹理特征和梯度特征，分别计算眼部区域自相似性分数和梯度辐射分数，消除边缘响应后进行均值滤波处理消除主要由于噪声引起的异常大的值.最后对梯度辐射分数归一化以消除不同特征分数之间数量级不同的影响，使不同特征分数对定位结果的作用相等.合并自相似性空间和梯度辐射空间，确定联合空间数据峰值位置即为瞳孔中心.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 瞳孔定位方法流程

Fig.1 Flow diagram of the algorithm

1.1　眼部图像获取及处理方法

人眼检测或瞳孔检测任务的错误通常表现为将输入图像中背景噪声或人眉毛、眼角等低像素值区域错误地认为是目标区域.然而，利用深度学习算法可以从低分辨率图像或视频帧中准确提取面部和眼部区域，可以有效地解决这一问题.

使用预训练的深度学习模型获取输入图像中的面部图像，对面部区域进行关键点检测，根据每个眼睛的多个关键点的最小横、纵坐标确定眼睛区域的左边界和上边界，根据最大横、纵坐标确定眼睛区域的右边界和下边界，裁剪眼睛图像以粗定位瞳孔中心可能出现的区域.

关键点检测是通过使用Dlib库^［12］实现的.使用Dlib从图像中提取面部区域，这一操作可以去除图像中不感兴趣区域，消除背景噪声的影响.在面部区域中检测68个关键点，如图2所示.每个眼睛区域包含眼角及眼睑共六个关键点，根据六个关键点横、纵坐标的最值，确定眼睛区域的边界，裁剪出眼睛区域图像用于后续计算，相较于在整个面部区域检测瞳孔，计算量大大减少.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 面部68个关键点

Fig.2 Facial 68 key points

对截取的眼部图像进行双边滤波，过滤图像中的噪声，同时可以很好地保护瞳孔及虹膜的边缘，便于后续计算.形态学开运算能有效去除图像中孤立的高像素值点，对眼部图像进行开运算，可有效去除由于照明变化引起的虹膜和瞳孔上小的反射亮斑，提高检测任务的准确率.在一个面部区域中同时检测两个眼部区域的输入图像才被视为有效输入.

1.2　自相似性分数计算方法

高分辨率图像可以清晰观察到圆形的瞳孔，通过分析外观纹理特征，可知圆形的瞳孔具有高度径向自相似性、良好的旋转不变性和尺度不变性，根据自相似性定位瞳孔可以很好地降低照明和头部姿态的影响.

自相似性是指图像局部区域的像素值与经几何变换后的局部区域的像素值之间存在线性关系.高自相似区域是即使在几何变换（如旋转或反射）、尺度、视点或照明条件变化以及在噪声的情况下也保持其独特特性的区域^［13］.几何变换前后像素值的线性关系表示为：

I (T (x)) = a + b I (x), \forall x \in P

(1)

其中， $P$ 表示半径为R的圆形区域， $x$ 是 $P$ 中的点， $I (x)$ 表示 $x$ 点的像素值， $T$ 表示区域P上定义的几何变换.为了检测瞳孔， $T$ 仅限于旋转和反射.

在大多数现实图像中，区域 $P$ 中几乎所有点都不能满足式（1），因此使用归一化的相关系数（normalized correlation coefficient，ncc）衡量式（1）的线性关系，以此表示自相似性.如果归一化相关系数接近1，则认为局部区域具有高自相似性.

n c c (P, T) = \frac{\sum_{i} [I (x_{i}) - \bar{I}] [I (T (x_{i})) - \bar{I}]}{\sqrt[]{{\sum_{i} [I (x_{i}) - \bar{I}]}^{2} {\sum_{i} [I (T (x_{i})) - \bar{I}]}^{2}}}

(2)

其中，i为区域P中点的序号， $\bar{I}$ 为区域P中所有点的平均像素值.

根据式（2）计算任意区域在不同几何变换情况下的归一化相关系数，以此衡量区域的自相似性.通过极性光栅采样将圆形区域 $P$ 转化为矩形区域 $P$ ，可以极大简化式（2）的计算，以 $N$ 个角度和 $M$ 个圆采样.当极性光栅采样的半径为 $r_{m}$ 时，表示区域 $P$ 自相似性的归一化相关系数为：

S_{s} (P) = \frac{1}{N} n c c (P, T)

(3)

由于输入图像中瞳孔的尺度不尽相同，针对不同半径，根据式（3）得到多尺度自相似性的计算为：

S_{s} (P) = \frac{1}{M N} \sum_{m = 0}^{M - 1} \sum_{n = 0}^{N - 1} n c c (P, T)

(4)

根据式（4），计算输入图像眼部区域的自相似性，得到自相似性映射图.由于自相似性具有较强的边缘响应，为提高瞳孔定位准确率需消除边缘响应.差分高斯算子沿着边缘具有较小的主曲率，垂直边缘具有较大的主曲率，因此只需比较主曲率比率即可消除边缘响应.主曲率通过海森矩阵求得，为减少计算量，使用海森矩阵特征值的比例. $α$ ， $β$ （ $α > β$ ）为海森矩阵两个特征值， $T r$ 为矩阵的迹，Det为矩阵行列式值，设 $γ = α / β$ ，则：

\frac{T r^{2}}{D e t} = \frac{{(α + β)}^{2}}{α β} = \frac{{(γ + 1)}^{2}}{γ}

(5)

为了检测主曲率是否在某个阈值 $T r$ 下，只需检查比值大小，若满足式（6）则剔除该点，否则保留.

\frac{T r^{2}}{D e t} > \frac{{(T r + 1)}^{2}}{T r}

(6)

最后进行均值滤波，消除主要由噪声引起的异常大的值，相比于高斯滤波既平滑了数据，又减少了计算量，平滑的自相似性映射图作为第一部分的结果.图3为人眼部图像，其自相似性映射图及消除边缘响应的自相似性映射图示例.为了显示图像，将自相似性得分缩放到 $[0,255]$ ，图中越亮的点更可能表示瞳孔中心.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 包含人眼(a)、对应的多尺度自相似性(b)及消除边缘响应的多尺度自相似性(c)的示例

Fig.3 A pattern：(a) a human eye，(b) the corresponding multiscale radial saliency，(c) the multiscale radial saliency for eliminating the edge responses

1.3　梯度辐射分数计算方法

边缘纹理特征比较依赖图像分辨率，当待检测图像为低分辨率图像，真实世界中的高频区域在图像中易表现出明显的锯齿状，形状特征变形，不能胜任高精度的检测任务.有明显锯齿状边缘的瞳孔区域自相似性较低，单一使用自相似性定位瞳孔准确率有限，而梯度特征在低分辨率图像中仍能保持良好，可用于低质量图像中瞳孔定位.因此，提出梯度辐射分数概念.

第二阶段是依靠梯度信息计算眼部图像的梯度辐射分数.梯度辐射分数是根据图像梯度计算出的图像某一像素点与其余所有点的强度关系，在兴趣点处计算得到较大的梯度辐射分数，可以依靠梯度辐射分数检测图像中兴趣点，梯度辐射分数同径向自相似性特征一样具有较好的旋转不变性，可以有效减小头部姿态对定位准确性的影响.

$p (x, y)$ 是输入图像上的一点， $p'$ 是与 $p$ 点距离为 $r$ 的点，即 $p' (x', y')$ 是以点 $p$ 为圆心，半径为 $r$ 的圆上的点，从点 $p$ 到点 $p'$ 是梯度下降的方向，则：

G (x, y) = \sqrt[]{G_{X} {(x, y)}^{2} + G_{Y} {(x, y)}^{2}}

(7)

x' = x - \frac{G_{X} (x, y)}{G (x, y)} \cdot r

(8)

y' = y - \frac{G_{Y} (x, y)}{G (x, y)} \cdot r

(9)

其中， $G_{X} (x, y)$ 和 $G_{Y} (x, y)$ 是点 $p (x, y)$ 处 $X$ 方向和 $Y$ 方向的梯度， $G (x, y)$ 是点 $p (x, y)$ 的梯度幅值.

由于需要计算每一点到其余各点的梯度辐射分数，计算量巨大，为简化计算，使算法检测效率较高，且保证数据之间相对大小不变，令点对点的梯度辐射分数为梯度幅值大小，综合所有点对一点的单一梯度辐射分数，即为该点梯度辐射分数.点 $p$ 到点 $p'$ 的辐射分数为点 $p$ 的梯度幅值，即：

m (p, p', r) = G (x, y)

(10)

以搜索半径 $r$ 在眼部图像中检测瞳孔兴趣点，即假定瞳孔中心点到瞳孔边缘距离为 $r$ ，计算所有点处梯度辐射分数，每一点处的梯度辐射分数等于以该点为圆心， $r$ 为半径的圆上所有点对该点的梯度辐射：

s_{r} (p, r) = m (p_{i}, p, r)

(11)

以此方法计算所有点处的梯度辐射分数，其中 $p$ 是输入图像上的点， $n$ 是以 $p$ 为圆心， $r$ 为半径的圆上所有像素点的个数， $p_{i}$ 是圆上的点， $i \in [1, n]$ ， $m (p_{i}, p, r)$ 是点 $p_{i}$ 对点 $p$ 的辐射分数.

由于输入图像中瞳孔的尺度不同，针对不同半径，准确检测到多尺度瞳孔，无需改变图像尺寸构建图像金字塔，仅需调整梯度辐射分数检测半径，计算不同检测半径下的梯度辐射分数的均值，以多尺度梯度辐射分数的均值表示某点的梯度辐射分数，检测半径 $r \in [R_{m i n}, R_{m a x}]$ .

S_{r} = \frac{1}{R_{m a x} - R_{m i n}} \sum_{r = R_{m i n}}^{R_{m a x}} S_{r} (p, r)

(12)

根据式（12）计算得到眼部区域各点的梯度辐射分数，对计算得到的多尺度梯度辐射分数进行均值滤波处理，消除主要由于噪声引起的异常大值.自相似性分数的分布为 $[0,1]$ ，对平滑后的多尺度梯度辐射分数进行归一化处理，以便后续与第一阶段自相似性分数相结合确定瞳孔中心，归一化处理的多尺度梯度辐射分数作为第二阶段的结果.

按照瞳孔特殊的形状，利用常规的圆形检测方法可以检测瞳孔，但是真实情况下，由于眼睑闭合遮挡或眼球运动，图像中可视的瞳孔区域并不一定是正圆，常规的圆形检测方法对于圆度要求较高，如果参数设置比较严苛，可能无法检测到瞳孔区域，而参数设置比较宽容的情况下可能会检测到多个圆形区域，误把其他区域标记为瞳孔区域.对瞳孔区域进一步观察，发现人眼巩膜到虹膜区域、虹膜到瞳孔区域，灰度值持续降低，巩膜和虹膜的边界处、虹膜和瞳孔的边界处，梯度特征明显，因此使用梯度辐射分数方法定位瞳孔比较可行，相较于常规圆检测方法具有更高的检测精度.

1.4　定位瞳孔中心

计算得到的眼部区域自相似性分数和梯度辐射分数用于最终定位瞳孔中心.将两个阶段计算得到的数据逐点相加，对相加后的数据矩阵进行均值平滑，降低噪声的影响.最后选择平滑后的联合矩阵中的最大值点作为瞳孔中心.图4为本文所提方法定位瞳孔的示例，图4a为裁剪的眼部图像，图4b为自相似性映射图，图4c为梯度辐射分数，图4d为平滑后的联合分数，图4e展示了检测到的瞳孔中心.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 本方法定位瞳孔的示例

Fig.4 An example of locating the pupil using this method

2 实验及结果

为了验证本文方法对于低质量图像瞳孔定位的准确性，在瞳孔检测常用公共数据集上进行实验，并与其他文献方法进行比较分析.

由于现有研究中所使用的数据集受试者大多来自西方地区，虹膜颜色较浅，与瞳孔颜色对比明显，瞳孔定位较为容易.而对于虹膜颜色较深，与瞳孔对比不明显的情况，如亚非地区人脸图像的瞳孔定位，部分基于颜色或形状特征的方法准确性较差，标记的瞳孔中心偏离瞳孔区域，位于虹膜区域，因此对于黑色或深棕色瞳孔定位难度高于蓝绿色瞳孔.现有研究中仅在公共数据集上验证所提出的方法，或在自制数据集上进行验证，但是自制数据集受试者为西方人种，忽略了虹膜颜色不同会对瞳孔定位准确率造成影响.现有方法在某些场景可能失效，鲁棒性较差，因此本研究在保持低图像分辨率基础上，在自制数据集中加入不同于公共数据集的深色虹膜.为验证本方法对于虹膜颜色的鲁棒性，在自制数据集上进行实验.

2.1　实验准备

瞳孔检测过程中使用以下自定义参数.用于自相似性计算的最小尺度 $s = 0.05 \times W_{e y e}$ ，最大尺度 $S = 0.15 \times W_{e y e}$ ， $W_{e y e}$ 为眼部区域的宽度；极性光栅采样过程中 $N = r o u n d (π \times M)$ ，其中 $r o u n d ()$ 为四舍五入取整函数；用于梯度辐射分数计算的最小检测半径 $R_{m i n} = 0.05 \times W_{e y e}$ ，最大半径 $R_{m a x} = 0.15 \times W_{e y e}$ .

由于眼球的不规则运动，瞳孔中心可能在眼眶边缘，在瞳孔定位任务中计算自相似性不能简单地丢弃每个方向上的边界像素.本文采用的办法并非以截取的眼部图像作为独立图像计算其中所有点的自相似性，而是在整个面部图像中，仅计算眼部区域的每个点的自相似性，这样既保证计算的简单性，同时可以计算边界像素自相似性，避免可能丢弃真实瞳孔中心的问题.

2.2　公共数据集

实验使用BioID数据集^［14］测试本文所提出的算法.BioID数据集是瞳孔定位使用最广泛的数据集之一，由1521张384×286像素的灰度图像组成，这些图像来自23个受试者在不同时间和地点的正面或偏转的人脸，因此照明状况及背景不同，且人脸在图像中的尺度也不同.BioID数据集的部分图像中受试者眼睛闭合，或佩戴眼镜时瞳孔被眼镜上的反射光斑遮挡，且图像分辨率较低，低于普通网络摄像头，被认为是困难和真实的数据集，可以有效验证瞳孔定位方法的鲁棒性.

GI4E数据集^［15］由1236张800×600像素的彩色图像组成，这些图像来自不同照明和背景的室内，通过让103个受试者注视屏幕的12个不同点获取不同头部姿态、眼睑闭合状态、照明状况等的图像.GI4E数据集被认为是符合真实状况的数据集.

2.3　评价指标

为了验证本文提出的瞳孔检测算法的准确性，实验采用瞳孔检测领域通用指标归一化误差进行评估，以便与现有文献方法进行对比.这一指标是由Jesorsky et al^［16］提出的，使用双眼瞳孔定位较大的误差，与真实双眼瞳孔坐标欧几里得距离的比，衡量瞳孔定位的精度.归一化误差的计算如下所示：

e = \frac{m a x (d_{l e f t}, d_{r i g h t})}{w}

(13)

其中， $d_{l e f t}$ 与 $d_{r i g h t}$ 是检测出的左瞳孔中心和右瞳孔中心坐标与真实坐标之间的欧几里得距离， $w$ 是两瞳孔中心真实坐标之间的欧几里得距离.以归一化误差为指标，算法检测准确度与人脸和图像比例及图像的大小无关，e≤0.25（内眼角间距的一半）大致对应眼睛中心到眼角的距离，e≤0.10大致对应虹膜区域，e≤0.05大致对应瞳孔区域.

2.4　公共数据集实验结果与分析

图5显示了本文所提方法在BioID数据集上的实验结果（实线），并且与仅使用自相似性方法（点线）和仅使用梯度辐射方法（段线）在BioID数据集上的表现进行对比.本文提出的方法在归一化误差e≤0.05时准确率为94.67%，即94.67%的图像瞳孔被准确地定位在瞳孔区域，归一化误差e≤0.10时准确率达到99.47%.由图可见，自相似性分数和梯度辐射分数组合的性能优于仅使用单一分数，可以显著降低定位的归一化误差.在BioID数据集的表现说明，本文方法对于低分辨率图像仍能以高准确率定位图像中瞳孔坐标，且照明状态、头部姿态发生变化对结果的影响较小.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 本文算法在BioID数据集上的实验结果

Fig.5 Experimental results of our algorithm on BioID dataset

图6为准确定位BioID数据集图像双眼瞳孔的示例，即使该图像中受试者眼睛部分闭合，仍能以较小的误差定位瞳孔中心，归一化误差为0.0389.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 BioID数据集瞳孔定位示例

Fig.6 An example of pupil localization in BioID dataset

为了进一步说明本文所提方法的优越性，使用BioID数据集，以归一化误差为衡量指标，与其他文献中使用的方法进行比较，表1为不同算法在BioID数据集上的准确率比较结果.从表1可以看出，与其他文献中的方法相比，本文所提方法在BioID数据集上取得较好的结果，当 $e \leq 0.05$ 时，本文方法的准确率优于大多数现有方法，即本文方法定位结果基本在瞳孔区域内，与真实坐标相比没有明显偏离.当 $e \leq 0.10$ 时，本文方法的准确率为99.47%，优于文献［19-21］中的方法，与现有最先进的方法相比没有明显区别，说明本文方法的有效性和优越性.

表1 本文方法与其他方法准确率比较（BioID数据集）

Table 1 The accuracy of the proposed method compared with other methods (BioID dataset)

算法	文献[17]	文献[18]	文献[19]	文献[20]	文献[21]	本文方法
e≤0.05	95.4%	94.4%	90.1%	91.7%	94.3%	94.67%
e≤0.10	99.6%	99.9%	98.8%	97.9%	98.4%	99.47%

新窗口打开| 下载CSV

第二部分实验是为了说明本文方法对彩色面部图像瞳孔定位的准确性，在GI4E数据集上进行，并与其他文献中使用的方法进行对比，表2显示了不同算法在GI4E数据集上的结果.使用本文所提算法，97.09 %的图像归一化误差 $e \leq 0.05$ ，在 $e \leq 0.10$ 的情况下瞳孔定位准确率达到99.51 %，优于现有大多数算法，说明所提出的方法的优越性，对于彩色图像同样具有较好的准确性，且在不同光照环境和头部姿态状况下，均实现较好的性能，具有较好的鲁棒性.

表2 本文方法与其他方法准确率比较（GI4E数据集）

Table 2 The accuracy of the proposed method compared with other methods (GI4E dataset)

算法	文献[22]	文献[23]	文献[20]	文献[24]	文献[25]	本文方法
e≤0.05	90.9%	95.4%	96.7%	98.5%	97.3%	97.09%
e≤0.10	97.3%	99.6%	98.7%	99.7%	99.8%	99.51%

新窗口打开| 下载CSV

2.5　自制数据集实验结果与分析

用于验证本方法能有效对抗虹膜颜色影响的自制数据集由11位实验人员的298张384×216像素的彩色图像组成.自制数据集的图像在实验室内获取，实验人员性别和体型不同，光照强度、头部姿态、注视方向可以改变，部分图像中受试者佩戴眼镜.图像分辨率低于大多数常见摄像头采集图像的分辨率，用于验证本文方法能有效定位低分辨率图像中瞳孔位置，对硬件要求较低.实验人员均为深色虹膜，用于验证本方法对深色虹膜人员瞳孔定位的有效性.图7展示了自制数据集的部分图像.为了验证本文提出的方法对于深色虹膜人员瞳孔定位的准确性，使用本文方法在自制数据集上进行实验，图8为本文方法以及仅单独使用自相似性方法和仅单独使用梯度辐射方法在自制数据集上的表现.由图8分析可知，使用本文方法定位自制数据集图像中瞳孔位置，当归一化误差 $e \leq 0.05$ 时准确率为98.66 %， $e \leq 0.10$ 时准确率为100 %，验证了本文方法不仅可以准确定位浅色虹膜人员的瞳孔，对深色虹膜人员的瞳孔中心定位同样具有较高的准确率，对于不同虹膜颜色有很好的鲁棒性.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 自制数据集部分图像

Fig.7 Partial images from the self⁃made dataset

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 自制数据集实验结果

Fig.8 Experimental results of the self⁃made dataset

表3展示了本文方法在自制数据集上不同归一化误差时的准确率.

表3 本文方法在自制数据集上的准确率

Table 3 The accuracy of the proposed method (self⁃made dataset)

归一化误差e	$e \leq 0.01$	$e \leq 0.02$	$e \leq 0.03$	$e \leq 0.04$
准确率	65.44%	98.32%	98.32%	98.32%
归一化误差e	$e \leq 0.05$	$e \leq 0.06$	$e \leq 0.07$
准确率	98.66%	99.33%	100%

新窗口打开| 下载CSV

3 结论

针对瞳孔定位鲁棒性及虹膜颜色影响定位准确率问题，提出一种在包含全脸的图像中精准定位瞳孔中心的新方法：

（1）通过计算眼部区域各点的自相似性衡量区域的径向显著性，提高了对头部姿态、尺度、照明等变化的鲁棒性；

（2）根据瞳孔与周围区域的梯度关系，计算眼部区域的梯度辐射分数，保证低分辨率图像的定位准确度，提高对虹膜颜色变化的抗性；

（3）对联合数据进行均值滤波，在提高方法定位准确性的同时保证了较小的计算量.

在BioID和GI4E数据集上进行实验，当归一化误差 $e \leq 0.05$ 时，取得了94.67% （BioID）和97.09% （GI4E）的准确率.自制用于实验的低分辨率深色虹膜的人脸数据集，为瞳孔定位领域数据集引入虹膜颜色因素，自制数据集的定位准确率为98.66% （ $e \leq 0.05$ ），表明本文方法对于虹膜颜色变化具有较高的鲁棒性，满足高精度瞳孔定位的要求.

由于本文方法为减少计算量，基于人脸检测裁剪出的眼部图像实现，因此不适用于图像中不包含整个面部的情况.未来将基于图像的形状和纹理进行方法改进，直接粗定位眼部及精定位瞳孔，不依赖整个面部，以适用于图像中仅包含部分人脸的场景.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Min⁃Allah

， Jan

， Alrashed

Pupil detection schemes in human eye：A review

Multimedia Systems，2021，27(4)：753-777.