您好,欢迎来到华佗养生网。
搜索
您的当前位置:首页机器人听觉声源定位研究综述

机器人听觉声源定位研究综述

来源:华佗养生网
第7卷第1期2012年2月智能系统学报CAAITransactionsOffV01.7No.1Feb.2012IntelligentSystemsDOI:10.3969/j.issn.1673-4785.201201003网络出版地址:http://www.cnki.net/kcms/detail/23.1538.TP.20120219.2224.001.html机器人听觉声源定位研究综述李晓飞1,刘宏1,2(1.北京大学深圳研究生院集成微系统科学工程与应用重点实验室,广东深圳518055;2.北京大学机器感知与智能教育部重点实验室。北京100871)摘要:声源定位技术定位出外界声源相对于机器人的方向和位置,机器人听觉声源定位系统可以极大地提高机器人与外界交互的能力.总结和分析面向机器人听觉的声源定位技术对智能机器人技术的发展有着重要的意义.首先总结了面向机器人听觉的声源定位系统的特点,综述了机器人听觉声源定位的关键技术,包括到达时间差、可控波束形成、高分辨率谱估计、双耳听觉、主动听觉和视听融合技术.其次对麦克风阵列模型进行了分类,比较了基于三维麦克风阵列、二维麦克风阵列和双耳的7个典型系统的性能.最后总结r机器人听觉声源定位系统的应用,并分析了存在的问题和未来的发展趋势.关键词:机器人;机器人听觉;声源定位;麦克风阵列中图分类号:TP242.6;TN912.3文献标志码:A文章编号:1673-4785(2012)Ol-0009-12AsurveyofsoundsourcelocalizationforrobotauditionLIXiaofeil,LIUHon91,2(1.KeyLaboratoryofIntegratedMicrosystems,ShenzhenGraduateSchoolofPekingUniversity,Shenzhen518055,China;2.KeyLa-boratoryofMachinePerception(MinistryofEducation),PekingUniversity,Beijing100871,China)localizationcanAbstract:Thetechnologyofsoundtiveacttoasourcelocalizethedirectionandpositionofcanasoundasourcerela—inter-robot.Soundsourcelocalizationsystemforrobotauditiongreatlyimprovetheabilityofrobottowithexternalconditions.ThesummaryandanalysisofsoundsourcelOCalizationforrobotauditioncsnsignifi-characteristicsofsoundsourcelocaliza-cannypromotethedevelopmentofintelligentrobots.Inthiswork,first,thetionforrobotauditionweresummarized.Thekeytechnologiesweresummarized,includingthetimedelayofarri-val,steeredbeamforming,highresolutionspectralestimation,binaural,activeaudition,andaudio-visual.Then,themodelsofamicrophonearraywereclassified.andtheperformancesofwereseventypicalsystemsbasedaona3一Dmi-sourcecrophonearray,2-Dmicrophonearray,andbinauralcompared.Finally,theapplicationsofsourcesoundlocalizationsystemofrobotauditionweresummarized.Severalissuesthatsoundwella8localizationsystemsface嬲developmenttrendswereanalyzed.sourceKeywords:robot;robotaudition;soundlocalization;microphonearray机器人听觉系统是一种自然、方便、有效、智能的机器人与外界系统交互的方式.由于声音信号的衍射性能,听觉具有全向性,相较于视觉、激光等其他的传感信号听觉不需要直线视野,在有视野遮蔽障碍物的情况下依然可以有效地工作.一般来讲机器人听觉包括声源信号的定位与分离、自动语音识别、说话人识别等.机器人听觉声源定位是指机器人利用搭载在机器人上或者外部设备上的麦克风阵列定位出声源的相对位置.随着信息技术、电子科学技术、计算机科学技术和智能科学的迅速发展,自20世纪90年代中期始,人fflx寸机器人听觉声源定位技术进行了深入而广泛的研究,并取得了重要的进展.收稿日期:2012-01一10.网络出版时问:2012-02-19.基金项目:【q家“863”汁划{}fl嘶JOIII(2006AA042247);网家内然科学基金资助项Ij(60675025,60875050);深圳Il】科技计划及毓fI}Ij研究if划资助项|j(JC2(X)90316039).通信作者:刘宏.E-mail:hollgliu@pku.edu.cn.声源的位置信息包括轴向角、仰角和距离,其中万方数据10智能系统学报第7卷轴向角可以确定声源的二维方向,轴向角和仰角可以确定声源的三维方向,轴向角、仰角和距离可以确定声源的三维位置.在噪声环境下,利用少量的麦克风实时地定位声源的三维位置是一个实用的机器人听觉声源定位系统的目标.虽然机器人听觉声源定位技术的研究取得了很多成果,但是该技术的实际应用还面临很多问题.1correlation,GCC)”o、互功率谱相位法(CroSS.powerspectrumphase,CSP)”1、特征值分解”1、声学传递函数比”1等.获取TDOA以后,乘以声速便可以得到距离差,这样就可以通过声源与麦克风的几cross何关系得到声源位置.主要的几何定位方法包括最大似然估计(mⅡiInumlikelihoodestimator)”1和最小均方估计(1eastsquareestimator)”….TDOA方法计算量小,可实时实现,但双步估计带来累积误差,是一种次最优估计,为了取得较高的分辨率,对信号采样率要求较高,适用于单声源定位.1997年Huang等利用3个麦克风组成平面三角阵列定位声源的全向轴向角p].根据声音的优先效应,通过无回响起点检测算法(echo-freeonsetde—tection)检测出无回响的声音段,利用过零点(zero.crossingpoint)检测时延,然后根据几何关系定位声源轴向角.2002年他们利用如图l所示的三维麦克风阵列进行声源轴向角和仰角的定位””,互相关函数和互功率谱相位差分别被用于时延估计.识别阶机器人听觉系统声源定位的特点相较于一般的声源定位系统.机器人听觉声源定位具有以下特点:1)麦克风阵列易搭载:搭载在机器人平台上的麦克风阵列应该尽量小,麦克风阵列的小型化可以通过减少麦克风的数量和优化阵列拓扑来实现.2)机器人运动:搭载在机器人平台上的麦克风阵列的运动改变了听觉场景,给声源定位带来了困难.但另一方面可以通过麦克风阵列的主动运动.丰富麦克风阵列的拓扑,提高定位能力.3)声源移动:在大多数机器人听觉声源定位系统应用中,声源是移动的,需要进行移动声源的定位与跟踪.4)实时性高:机器人的运动和声源的移动造成机器人和声源相对位置的即时变化,要求定位具有较高的实时性.机器人与外界交互的实时性是机器人友好性和安全性的保障,是评价交互性能的重要指标,因此声源定位系统的实时性是极其必要的.5)抗混响和噪声:机器人工作在真实环境中,信号混响和噪声是难以避免的,因此声源定位系统的抗混响和抗噪声能力在很大程度上影响定位性能.段,6个时间差组成时间差序列:瓯=(血。△l。址1.’△垴,△k,血。),时间差序列误差为e(口,妒)=0At(口,妒)一Af。0,其中血(p,妒)为理论时间差,轴向角0和仰角妒取使e(p,妒)最小化的值.2007年文献[11]对于多个声源,利用6个互相关函数的几何平均:P(口,妒)={llc口(△~(口,妒))}“6表示一个声源位置存在声源的概率,概率越大则存在声源的可能性越大.2机器人听觉系统声源定位方法1995年hie第1次将声源定位技术用于智能机器人…,利用短时时域、频域特征和神经网络技术区分摄像头视角内的左中右3个声源方向.其后.基于麦克风阵列的到达时间差技术(timedelayofarri.圈In垂14通道阵刭4-曲array术(steered蛐mh培,BS)、高分辨率谱估计技术(highresolutionspectralval,TDOA)、基于最大输出功率的可控波束形成技es血1撕∞)、双耳听觉(bin—aur81)、机器学习(machinelearning)、主动听觉技术(activeaudition)、视听融合(audlo-visual)等方法被用于机器人听觉声源定位.2.1到达时间差技术基于TDOA的定位技术是一种2步定位方法,首先估计出声源信号到达各个麦克风之间的时问延迟,然后利用几何定位方法求出声源位置.稳健的时间延迟估计是精确声源定位的基础,常用的时延估计算法包括广义互相关(generalized万方数据2002年Sekmen等提出一种自然的人机交互方式,把人作为一个被动的用户,不用通过键盘、鼠标等人工的方式与机器人进行交互“”.机器人只是人的运动的一个直接物理再现,利用声源定位和红外运动跟踪,为人脸跟踪系统提供候选区域和机器人的注意力.2个麦克风摆放在一个开放的空间,头部传输函数不用考虑.假设声源位于仿人机器人的前方,利用互相关法估计时延,通过远场近似几何方法便可定位远场声源.2003年Valind等放置8个麦克风在长方体支架的顶点”…,如图2所示.该麦克风阵列搭载在Pi—第1期李晓飞,等:机器人听觉声源定位研究综述一一一一—■渊髻国二s通遗立五体阵列Fig.28.-chcubearray该图和互相关函数得到Cross・AngIe・Correlation函数R(p).该函数在声源方向取较大的值.对于多个声源,竞争K-means算法被用于基于Cross-Angle-Cor-relation函数的声源角度聚类,该系统利用正三角形麦克风阵列定位声源轴向角.2.2基于最大输出功率的可控波束形成技术该方法对麦克风接受到的声源信号滤波并加权求和形成波束,按照某种搜索策略全局搜索可能的声源位置来引导波束,波束输出功率最大的位置即为声源位置””J.延迟和波束形成算法(delay—and—sumbeam_forming,DSB)””通过对麦克风接受信号采用时间移位以补偿声源到达各麦克风的传播延迟,并通过相加求平均来形成波束.滤波和波束形成算法(filter—and.sumbeamforming,FSB)…1在时间移位的同时进行滤波,然后相加求平均形成波束.可控波束形成算法的定位性能取决于麦克风阵列方向图的主瓣和旁瓣的分布.主瓣能量越大。宽度越窄,则形成波束的分辨率越高.通常该算法要求大量的麦克风以取得较好的方向图.该算法本质上是一种最大似然估计,需要声源和噪声的先验信息,但通常这些信息在实际应用中不易获得.最大似然估计是一种非线性优化问题,传统搜索算法容易陷入局部最小点,而遍历式的搜索方法的运算量极大m-.1999年Mataui等研制出一种办公室接待机器人Jijo-2.它可在办公室环境下引导客人参观…J.该机器人视觉声源定位系统基于波束形成算法,利用平均分布于半圆弧的平面8通道麦克风阵列定位声源的轴向角.2004年Valin等利用DSB定位多声源位置。预求出所有对的麦克风信号频域的互相关m・:一嘲2007年Rudzyn利用与图1相似的麦克风阵列定位声源三维位置““.包括距离、轴向角和仰角.利用加权互相关函数(weightedcrosscorrelation,wcc)估计时延以。。=丘/(正。+6),其中工“为平均幅度差函数(averagemagnitudedifferencefune-tion),用于增强GCC的性能.同样使用近场几何定位方法来定位三维声源.2008年Kwh&等利用平面正三角形阵列定位声源”“.语音信号的声门激励信息被用于时延估计.首先求出语音信号线性预测残差表示声门激励信号,然后线性预测残差的希尔伯特包络(Hilbertenvelop)信号被用于基于GCC-PHAT的声源估计,再通过一种可靠的几何定位方法定位出声源轴向角.该系统成本低廉、实时性好,可用于家庭服务机器人.2009年Hu等利用基于特征结构(eigenstruc—tare)的GCC方法估计多个声源的时延”….多声源情况下麦克风接受信号的频域表示为k=∑::.n—se一“+Ⅳm.式中:D为声源个数.接收信号互相关矩阵的特征分解为R地(埘)=(∑:..x(∞,七)】,T(埘,七))/K=∑二。A.(m)yi(∞)口(m).式中:x为特征值,’,为特征向量.与前西个最大特征值对应的向量表示声源向量,利用声源向量的GCC方法进行时延估计.文献[17]利用声速的求出声源个数D,定位阶段。利用最小均方估计求解超定线性方程组定位多个声源,近场情况下求解声源三维直角系坐标,远场情况下求解声源轴向角.图3为该系统搭载在移动机器人平台上的8通道麦克风阵列.民(r)=∑:::置(^)玛+(^)e4“‘.每个波束输出功率可以通过Ⅳ(JIv—1)/2个互相关万方数据智能系统学报第7卷累积和求得.谱加权在互相关求解中给信噪比大的频带赋予更大的权值,有效地抑制了窄带噪声的影响.另外为了避免声源的错误检测,一个基于声源存在概率的后处理算法被提出.2009年Badali和Valin等利用如图2所示的麦克风阵列测试了可控响应功率(steeredresponsepower)和其他算法的性能…】.运用谱加权用于抑制噪声,方向优化算法是在DSB算法定位的结果临近范围内应用高分辨率方法,从而更精确地定位声源.上述2篇文献的麦克风阵列如图2所示,图4显示了2种球形搜索网格.文献[26]的实验结果显示三角网格声源搜索策略相较于矩形网格更有效。三角网格共2562个搜索占.每个援索区域覆薷2.50.8通道麦克风阵列定位多声源,并利用粒子滤波(pmi-defilter)方法融合房间麦克风阵列和机器人麦克风阵啊f竹定牛杵早即踪影个甫浮底∥想目l球形搜熏嘲格圈6分布式麦克风阵列ng.6II缸trilmtedmicrophonearray2006年Sasaki等利用32通道3同心圆阵列通过机器人的运动定位多声源的二维位置”“.首先利用基本DSB算法减弱噪声,然后通过频带选择算法(fi'equencybandselection)消除剩余噪声并定位出多声源的水平方向,最后根据运动的机器人可以在不同的位置检测同一个声源的方向,通过三角定位方法和RANSAC算法(randomsampleconsensus)定位脚4sI知蝻咖∞岫舭2004年Tamai等利用搭载在Nomad机器人上的平面圆形32通道麦克风阵列定位1—4个声源的水平方向和垂直方向”1.由于麦克风数量较多,DSB算法可以很好地抑制环境噪声和机器人机体噪声.文献[28]提出了一种3个圆形阵列组成的32通道阵列,相较于一个圆形阵列具有更好的波束方向图分布.以上2种阵列如图5所示.出声源的精确位置.2007年他们通过主瓣消除算法(main-lobecanceling)从DSB算法得出的空间谱中逐个检测声源的位置”J.每次检测出当前具有最大能量的方向作为当前声源的方向,然后减除该方向的主瓣继续检测下一个声源.主瓣消除算法需要阵列方向图具有较小的旁瓣.图7显示了同心圆阵列和八边形32通道麦克风阵列,八边形阵列在700—2500Hz的频率范围内旁瓣能量较小.Kag—i等利用文献[32]中的声源方向定位和粒子滤波方法,通过机器人的运动定位静止声源的精确位置”“.2010年Sasaki等综合上述的声源定位功能,并进行短时声音信号识别以标定声源…1,通过跟踪多个声源,画出声源图并定位机器人的位置.量、、二遘遣二睾壹元rI::=车一32-eh2-Dn昏5mh唧妇array剖¨C1加晒年Nakedai等利用64通道分布式麦克风阵列在电视等噪声环境中检测真实语音信号9J,并定位声源的平面二维位置.图6为麦克风阵列,麦克风分布在1.2m高度的墙壁和高度为0.7m的桌面上.加权DBS用于求解每个可能方向的方向性模式(dlredi“typattern),方向性模式用于检测麦克风接收信号是否为真实的语音信号,并定位声源.2006年他们在文献[30]中基于MUSIC方法利用搭载在ASlMO机器人头部的jo耋匿_t,、.三睁葺{Jrm【ill|t:el|tl’iclift.1、all(1IKt。t圳¨1t●1.1T2.3肓分辨率谱估计技术该方法来源于现代高分辨率谱估计技术,如自回归模型(autoregressive)汹】、多重信号分类(multi-pksignalclassification,MUSIC)洋。等方法,利用特万方数据第1期李晓飞.等:机器人听觉声源定位研究综述征值分解(eigenvaluedecomposition)将麦克风信号的协方差矩阵分解为信号子空间和噪声子空间,然后找出与噪声子空间正交的方向矢量来进行声源的方向估计.基于高分辨率谱估计的定位方法是一种超分辨率的估计技术.其空间分辨率不会受到信号采样频率的.并且在一定条件下可以达到任意定位精度”“.然而.该类方法也存在一定的不足,主要表现在:1)易受空间相关噪声的干扰,当方向性噪声的能量与声源信号能量相当时,该算法容易定位到噪声方向;2)房间的反射作用使信号和干扰之间有一定的相关性,从而降低了该方法的有效性;3)需要对整个空间进行搜索来确定声源的位置,且其估计精度与空间的细分程度有关,计算复杂度偏高.1999年Asano等利用搭载在办公室机器人Jijo-2上的平均分布于半圆弧的平面8通道麦克风阵列定位多个声源的轴向角”“.扩展的MUSIC算法被用于近场定位,近场方向向量为口(r.口)=fe-J埘l(删’e1晰2(㈣…e一Ⅳ“删]7.式中:r和0分别为声源的水平距离和轴向角.大多数机器人听觉声源定位系统接收的声源信号是宽带信号,原始的MUSIC算法只能定位窄带信号.2007年Argentieri等给出MUSIC算法的宽带声源扩展…1,近场MUSIC空间谱为^(r,8)=1/’,1(r,口)兀。,y(口,口).式中:y为可能声源位置的方向向量,兀为噪声子空间.令空间谱最大的方向向量对应于声源位置,一种朴素的宽带扩展方法为置宽带MUSIC的声源个数上限,实验证明这种方法与已知声源个数情况下的定位性能差不多.图8显示了该机器人平台和14通道的稀疏麦克风阵列.Ⅲ1稀疏至克』砒晖州Ⅲ龟.8Sparsemicrophonearray2.4双耳听觉人可以通过双耳定位3-D空间声源方向,双耳时间差(interauraltimedifference,rrD)和双耳强度差(interauralintensitydifference,IID)用于定位声源轴向角。由耳廓衍射和散射效应带来的声谱特性(spectralcue)用于定位声源仰角…J.声音信号从声源位置传播至人耳鼓膜处的传输函数被称为头部相关传递函数(head-relatedtr∞sferfunctions,HRTFs)…J。影响HRTFs的因素有耳廓、头部、耳道、肩膀和躯体等.基于双耳的声源定位方法对于仿人机器人是一种自然、有效的方式,利用人工头和人工耳廓可以有效地模仿人的听觉定位能力”o.Nakadai等基于仿人机器人SIG的双耳听觉定位声源轴向角…….由立体视觉扩展的听觉Epipo-l”几何可以数学化地估计出特定声源方向的IPD:△妒。=2兀,}(0+sin日)向,其中,、r、0和口分别为信号频率、头部半径、声源角度和声速.一般,小于1500Hz.可能声源方向和实测信号的IPD之差最小的为声源方向.Epipolar几何很难确定出精确的IID,只能通过频率大于l500Hz的频带确定出声源的大概方向.利用物理学中的散射理论(scatteringtheory)也可以数学化地估计IPD△亿(口,,)和IID如。(口∞,同样分别采用小于和大于1500Hz的频带,相较于Epipolar几何散射理论的IPD估计误差更小。并且可以较精确地估计出liD.利用Dempster.Shale理论联合IPD和IID信息.联合概率取最大的可能位置为声源位置.2005年Kumon等根据声波在耳廓中反射决定的声谱特性(spectralcue)设计了一个人工耳廓m].耳廓形状如图9所示,耳廓必须关于声源仰角非对称以保证可以区分不同仰角的声源信号.该耳廓对于仰角大于90。的声源具有较明显的谱峰(spectralpeak).2006年Shimoda等改进了文献[49]中设计^d。(r,p)=∑::。k(r,O)/B.式中:b为信号频点数.B为频带宽度.实验证明该宽带扩展方法性能很好,但计算量太大.波束空间算法利用频率和范围不变的波束形成聚焦频点,生成一个对所有兴趣频点有效的空间谱.2009年Nakamura等利用广义特征值分解抑制空间相关噪声的影响…1,在静音段估计出噪声的空间互相关矩阵,对带噪声源信号的互相关矩阵和噪声的互相关矩阵进行广义特征值分解,生成一个完全抑制噪声的空间谱.2011年他们联合视觉跟踪算法.利用粒子滤波进行说话人的跟踪”“.2009年18Ili测试了MUSIC方法在办公室环境和室外环境下定位轴向角的性能…1.办公室环境存在空调噪声和机器人机体噪声.室外环境存在背景音乐噪声.他们分别测试了信号分帧长度对方向估计性能和实时性的影响,宽带MUSIC频带宽度和声源个数对方向估计的影响.另外还提出了一种确定声源个数的方法。对每个频率采用固定声源数,并设万方数据智能系统学报第7卷的人工耳廓的仰角定位算法侧.由于机器人头部运动是连续的,所以声谱特性变化也是连续的,即相邻时刻的声谱特性不会产生突变.根据此特性对长时闹怜岬_卉々甫、竹j’ft.1卅{■’皇_々九节f。盯特蔫:’r‘、寸ii廿}k’l1.{l二’:}4【H_I・『o㈠"崮t’人工耳肝Fig,9Arterial—m_e2006年Homsteind等利用人工耳廓和人工头模拟人的听觉定位”“.人工头模型如图10所示,通过ITD、liD和谱谷(spectralnotches)定位声源的轴向m剐…】m¨托:jI|J“、州}0川,㈦¥图Ⅲ人工头部柏耳廓Fig.10An蛐删beadandprime2006年Keyrouz等利用人工头和人工双耳¨,』分离和定位2个声源的轴向角和仰角”J,一种时域的盲源分离算法被用于分离2个且相距不太近的声源.令第1个声源到第2个分离信号的冲激响应为C。第2个声源到第1个分离信号的冲激响应为c2.,则声源到麦克风的冲激响应^需满足:C12=h¨11012+hn∞≈=0,(1)C2I。屯1wll+hnt02l=o.(2)式中:∞为解混冲激响应.通过式(1)、(2)可以分别求出2个声源方向的HRTFs,进一步可以定位声源的全向轴向角和仰角.2008年Rodemann等利用仿人耳蜗和双麦克风进行声源的3一D方向定位01,耳蜗和机器人如图11所示.在提取rrD、liD和spectralCUe前先进行双耳信号的同步谱减去噪.为了消除声源信号特性对声万方数据谱特性的影响,用左右耳对数谱之差表示声谱特性:S(%)=lg(j,(&))一lg(;l(k)).2010年他们在文献『54]中联合声音幅度、谱幅度、rid和IID定位声源的m高≤1曼一图11仿人耳廓和机器人Fig.11Humanoidpimmeandrobot2011年Kim等为了降低基于信号相关的时延估计算法的信号采样率对定位分辨率的影响,利用最大似然方法找出最大化互功率谱之和的声源轴向角,分辨率达到1o[SS].另外考虑机器人球形头部带来的多径效应,一个基于front—back的多径补偿因子被用来修正时延估计.2011年Skaf等”o测试了放置在一个椭球人工头上的88对对称双耳的定位性能,lID和ITD被分别测试,实验结果显示,综合IID和ITD性能时双耳放置在人工头的后下方性能最优.人工头及双耳位置如图12所示.厂1L一圈12■优双耳位In昏12OpamlpositkmoftwoⅫ2.5机器学习Saxena等利用单麦克风和人工耳廓基于机器学习方法定位声源方向田】.不同声源方向到麦克风的传输函数不同.用隐马尔可夫模型表示时变的麦克风信号E,则声源方向可以通过式(3)估计。式(3)可以通过前向—后向算法求解,以150的步长遍历轴向角求解a.a=arg印ⅡP(y2,E,…,蚌1日).(3)2.6主动听觉文献[58]指出机器人的感知能力应该是主动的,可以通过机器人的移动和传感器参数的控制获得更好的感知环境.该文基于SIG人形机器人的头第1期李晓飞,等:机器人听觉声源定位研究综述部转动建立了主动听觉系统,通过头部的转动可以调节双耳麦克风垂直于声源方向以取得更好的定位性能.机器人头部和摄像机的马达转动、齿轮、传送带和滚珠会带来内部噪声,由于离麦克风较近,所以会极大影响声源定位性能,因此自适应滤波器被用于抑制内部噪声.文献[59]提出感知一马达(sensory-motor)融合的概念:感知信息指导马达的运动和导航,通过机器人的运动消除双耳声源定位算法的前后向混淆.2011年Martinson等用3台Pioneer3-AT机器人分别搭载2、1和1个麦克风组成动态可重置的麦克风阵列…】,如图13所示.对于给定的兴趣区域,吸引/排斥模型可以动态优化各麦克风位置以获得更好的声源定位性能.SIG机器人注意力的转移㈦6“],其中听觉事件为声源方向估计,视觉事件为多人人脸检测.Lv等利用视觉物体检测修正听觉声源定位结果㈣1.Lee等利用视觉信息在多个人中区分出真正的说话者‘刚.3机器人听觉系统分析3.1麦克风阵列类型声源定位系统的麦克风数量和拓扑主要取决于声源定位方法,一般情况下TDOA方法、高分辨率方法和波束形成方法需要的麦克风数量依次增多.麦克风阵列类型如表l所示.襄1麦克风阵列类型Table1Typesofmicrophonearray麦克风阵列类型三维阵列二维阵列稀疏阵列分布式阵列动态阵列双麦克风单麦克风阵列举例图1—3图5、7图8图6图13图9—11文献[57]【o。、Fig.13’冉息互五,阵々l二维和三维阵列一般为规则拓扑麦克风阵列,如i眭、三角形、多边形、多面体阵列等,分Njlsfi--维平面和三维空间声源定位能力.面向机器人听觉的声源定位的麦克风阵列应该易搭载在机器人平台上,通常要求阵列的小型化,包括麦克风数量的减少和阵列尺寸的减小.实时性是人机交互的重要特点,因此实时的机器人听觉系统声源定位要求选取计算复杂度低的定位方法,一般来讲双耳定位和基于到达时间差的定位具有较小的计算复杂度,其次是基于高分辨率定位方法,基于波束形成方法的定位复杂度较高.双麦克风模拟人耳听觉,通常需要借助人工头和耳廓的辅助,并且精确的头部相关传递函数较难获取.3.2机器人听觉声源定位系统D”Ⅲ砌cmicrophonearrayPortello等建立了一个动态双耳听觉模型”“,麦克风和声源相对运动的动态rid模型给无味卡尔曼滤波器提供了一个groundcredible等式,以确定声源的距离和轴向角的定位,该算法不适用于声源和传感器之间高速相对运动的情况.Kumon提出一种主动软耳廓”1,软耳廓由具有弹性的硅橡胶制成,背面覆盖一层皮毛,以保证耳廓的单向性.耳廓可以旋转和变形以提供主动听觉声源定位能力,软耳廓如图14所示.笔者利用搭载在移动机器人平台上的二维平面4通道十字型麦克风阵列定位说话人的轴向角和距离,以进行友好、有效的人机交互.文献[67]提出指导性谱时定位方法(guidedSTpositionalgorithm),通过粗定位结果估计的声场条件进行二次精确定位,可以有效地消除混响的影响.文献[68]提出一种基于时间差特征的空间栅格匹配(spatialgridmalc・hing)算法,找到与待定位声源的时间差特征最匹配的栅格作为声源位置.该方法可以有效地避免几何定位方法的非线性方程组求解问题,复杂度较低.并且合理的麦克风阵列拓扑可以避免几何定位方法可能陷入局部最优点的问题.移动机器人和麦克风阵列如图15所示.圈14软耳廓Fig.14Softpinnae2.7视昕融合技术基于视觉的物体检测与跟踪在光照条件好、视野无遮挡的情况下具有更好的性能.融合听觉信息与视觉信息可以极大提高各传感器单独的感知能力.0kuno和Nakadai等融合听觉事件形成的听觉流与视觉事件形成的视觉流生成联合流,以控制万方数据。‘能系统学报第7卷然后基于时间差特征,利用蒙特卡洛方法为每个栅格训练一个混合高斯模型,该模型表示平均分布于栅格内的时间差特征.定位阶段。声源定位的问题可以表示为GJocargmaxP(rIG)・式中:G表示栅格,GI表示声源栅格.计算出未知声源的时间差特征相对于所有栅格的似然值,似然值最大的栅格被定位为声源栅格.另外有效特征检测算法利用信号时间差之间的约束移除错误的时间差,提高了定位性能.并且决策树提供了一种由粗到细的定位方式,极大减少了未知声源的时间差与栅robotandmicropuonearray(a)移明机器人圈15移动机器人和麦克风阵列l砘.15Mobile格的匹配次数.实验测试了4m以内的2016组数据,轴向角栅格精度为1。,距离分为0一1.5m、1—2m和l_5~4m3个栅格.轴向角测量误差小于50的定位率超过95%,距离定位率超过90%,可以有效定位说话人的方位和说话人是否处于人机交互的安全距首先,利用谱加权C,CC—PHAT方法求出各个麦克风对之间的信号时间差,6个时间差组成时间差特征序列:t=(下12,f13,r…%,r斟,r34).可以证明,时间差特征与声源位置是一一对应的,即一个特定的时间差对应一个特定位置,反之亦然;另外2个声源位置之间的时间差特征的差与声源的位置之差成正比,即2个声源距离越远,另外2个位置的时间差特征的差越大.根据这2个特点,可以把二维平面按照某种方式分割成栅格,每个栅格内的声源看作同一类声源,平面栅格如图16所示.离.而且听觉声源定位结果控制机器人转向说话人,使说话人在摄像头的视野范围之内,基于视觉的人体检测技术被用于更精确的目标人定位,以进行进一步的人机交互.3.3机器人听觉声源定位系统分析一个机器人听觉声源定位系统可以从麦克风阵列拓扑、麦克风数量、声源定位能力、声源个数、抗噪声和混响能力、定位性能等方面来评价,其中定位能力指是否能进行声源轴向角、仰角和距离的定位.表2列出了基于三维麦克风阵列、二维麦克风阵列和双耳的7个典型声源定位系统,其中声源个数只是列出了相关文献中实验测试的声源个数,不能完全反映该声源定位系统的能办.因为机器人听觉声源禳淹≮粼麦,嵝—/、0、\'水{定位算法发展的时间较短,并没有公共的测试实硷数据库或实验平台;所以不同系统的实验场景和性能测量标准不同,本文只列出了相关文献中公布的图16平面橱格rig.16Homaatalgrid定位性能.衰2典型机器人听觉声曩定位蕞统的分析Table2A叫II扣缸of白rplealsound轴雌Ioc蝴zation母岫forrobot舢蜥n声源敷I1—2作者及文献J.M.Valint”1H.Li[“1麦克风阵列定位方法定位能力轴向角轴向角、仰角芸翥喜抗噪声抗混响定位性能精度:3m之外、声源3。误差:单声源小于5。8通道、三维阵列TDOA4通道、三维阵列TDOAY.TAlt¨dm,弛通道、二维阵列DSB㈨轴慌仰角胤抗噪声蒋嚣2黧;、竺多个1—212Y.stB出㈨K.№kmm…K.Nakad.sit糟132通道、二雏阵列DSB8通道双耳、头部双耳、头部、耳廓GEVDBinauralBinaural轴向角、距离轴向角180。轴向角轴向角、仰角一抗噪声一一误差:平均282叫定位事:100%精度:lO。F.Keyrom[81精度:轴向角竺、仰角10。万方数据第1期李晓飞,等:机器人听觉声源定位研究综述・17・4总结与展望机器人听觉声源定位系统的应用场景主要有家庭环境、公共场所、危险环境和一些其他特定场景中,面向的声源有人的语音和其他各种声源,主要包括以下几类应用:1)服务机器人:声源定位系统提供了一种自然、高效的人机交互方式,主要应用在家庭、商场等环境.服务机器人定位的声源通常为人的语音,并且面临复杂的噪声.2)接待机器人:在办公室或家庭等场所接待客人,引导客人的行动,一般具有一定的语音识别能力,如文献[24].3)军用机器人:战场声源的定位,如文献[69]在城市环境基于军用无人车定位声、尖叫声.4)救援机器人:危险环境中救援任务的声源定位,如文献[70].在危险环境中,由于对人来说工作环境较为恶劣,因此机器人可以发挥较大的作用,比如救援、事故检测等.5)助残机器人:引导残疾人,特别是盲人的活动,如文献[71].与机器人的语音交互和机器人的引导可以极大地提高盲人的活动能力.自1995年,经过十几年的研究与探索,面向机器人听觉的声源定位技术取得了一定的成果,但系统的实用化还面临着一些问题,这些问题引导了未来的发展趋势:1)机器人的运动.机器人运动带来的麦克风阵列的运动是机器人听觉与传统声源定位技术主要的差别所在,运动的麦克风阵列会面临即时变化的声学环境,要求声源定位系统具有较高的实时性.现在大多数声源定位系统的传感器数量较多,导致算法计算复杂度较高.少量的麦克风和低复杂度的定位算法有待进一步探索.2)复杂的声学环境.几乎所有的实用声源定位系统必然面临着复杂的声学环境,存在各种类型的噪声.现有的抗噪声技术大多只是针对某类或某几类噪声有效,一种鲁棒的、对各种噪声广泛适用的抗噪声技术或方案也还有待进一步研究.3)阵列的小型化.机器人搭载平台要求麦克风的数量尽量少,阵列尺寸尽量小。并且通常麦克风数量的减少会有效降低运算量.现有的麦克风阵列大多需要专门的搭载平台,甚至需要辅助设备,实用化比较差.双耳声源定位的发展提供了更接近于人的定位方式和能力,但特制的人工头和耳廓,以及它们的数学模型的建立都带来了诸多不便.4)友好、智能的交互方式.人机交互中人应该万方数据是被动的,即不用通过某种不方便的主动方式与机器人交互.这就要求机器人可以主动、透明地与人交互,因此,智能声源定位技术的应用还与其他相关技术息息相关,并且一定程度上受到它们的制约,比如声音的检测与识别等.本文主要依据定位算法综述了机器人听觉声源定位技术,不同于传统的声源定位技术,智能机器人带来了一些新的问题,比如机器人平台对麦克风阵列结构的、机器人运动给声源定位带来的诸多问题、人机交互对实时性的要求、机器人特定的工作场景等.依据机器人技术的声源定位系统仍然有待进一步地总结与分析.总之,实时、精确的机器人系统与外界系统的交互是机器人听觉声源定位技术追求的目标.声源定位技术与机器人技术的融合带来了很多新的挑战,但更重要的是两者会互相促进对方的发展.参考文献:[1]IRIERE.Robustsoundlocalization:anapplicationofanauditoryperceptionsystemforahumanoidrobot[D].Cam—bridge,USA:DepartmentofElectricalEngineeringandComputerScience,MIT。1995.[2]KNAPPCH,CARTERGC.Thegeneralizedcorrelationmethodforestimationoftimedelay[J].IEEETransactionsonAcoustics,Speech,andSignalProcessing,1976,24(4):320-327.[3]OMOLOGOM,SVAIZERP.AcousticsourcelocationinnoisyandreverberantenvironmentusingCSPanalysis[C]//IEEEInternationalConferenceonAcoustics,Speech,andSi伊“Processing.Atlanta,USA,1996:921・924.[4]BENESTYJ.Adaptiveeigenvaluedecompositionalgorithmforpassiveacoustic80urcelocalization[J].JournalofA-cousticalSocietyofAmerica,2000,107(1):384-391.[5]DVORKINDTG,GANNOTS.Timedifferenceofarrivalestimationofspeechsourceinanoisyandreverberantenvi-ronment[J].IEEETransactionsonSignalProcessing。2005,85(1):177-204.[6]HAHNW。TRETrERS.Optimumprocessingfordelay—vectorestimationinpassivesignalarrays[J].IEEETrans-actionsonInformationTheory,1973,19(5):608-614.[7]WANGH。CHUP.Voicesourcelocalizationforautomaticcamempointingsysteminvideoconferencing[c]//IEEEWorkshoponApplicationsofSignalProcessingtoAudioandAcoustics.NewPaltz.USA。1997:187-190.[8]SCHAUH。ROBINSONA.Passivesourcelocalizationem.pfoyingintersectionsphericalsurfacesfromtime-of-arrivaldifference[J].IEEETransactionsonAcoustics,Speech。andSignalProcessing.1987,35(8):1223・1225.・18・智能系统学报第7卷[9]HUANGJie,SUPAONGPRAPAT,TERAKURAI,eta1.Mobilerobotandsoundlocalization[C]//IEEE/RSJInter-nationalConferenceonIntelligentRobotsandSystem.Grenoble,France,1997:683-689.[10]HUANGJie,KUMEK,SAJIA,eta1.Roboticspatialsoundlocalizationandits3.Dsoundhumaninterface[C]//FirstInternationalSymposiumonCyberWorlds(CW2002).Tokyo,Japan,2002:191—197.[11]LIHK,YOSIARAT,ZHAOQF.AspatialsoundIocali-zationsystemformobilerobots[c1//IEEEInstrumentati∞andMeasummentTechnologyConference.Warsaw,Po-land。2007:l击.[12]SEKMENAS,W1KESM,KAWAMURAK.Anapplica-tionofpassivehuman-robotinteraction:humantrackingbasedonattentiondistraction[J].IEEETransactionsonSystems,Man,andCybernetics,PartA:SystemsandHu-inolas,2002,32(2):248-259.[13]VALINJM,MICHAUDF,ROUATJ,eta1.Robustsoundsourcelocalizationusingamicrophonearrayonamobilerobot[C]//IEEE/ftsJInternationalConferenceonIntelligentRobotsandSystem.LasVegas,USA,2003:1228.1233.[14]RUDZYNB,KADOUSW,SAMMUTC.Realtimerobotauditionsystemincorporatingboth3Dsoundsourcelocal-isationandvoicecharacterization[C]//IEEEInternationalConferenceonRoboticsandAutomation.Roma,Italy,2007:47334738.[15]KWAKKC,KIMSS.Soundsourcelocalizationwiththeaidofexcitationsourceinformationinhomerobotenvii-on.ments[J].IEEETransactionsonConsumerElectronics,2008,54(2):852名56.[16]HUJS,CHANCY,WANGCK,eta1.Simultaneous10-calizationofmobilerobotandmultiplesoundsoul℃e8usingmicrophonearray[C]//IEEEInternationalConferenceonRoboticsandAutomation.Kobe,Japan。2009:29出.[17]HUJS,YANGCH,WANGCK.Estimationofsoundsourcenumberanddirectionsunderamalti-sourceenviron.ment[C]//IEEK/RSJInternationalConferenceonIntelli-gentRobotsandSystem.Louis,USA,2009:181—186.[18]LEEB。CHOIJS.Multi—sourcesoundlocalizationusingthecompetitiveK・mP_.ausclustering[C]//IEEEConferenceonEme晒ngTechnologiesandFactoryAutomation.Bilbao,Spain。20lO:l-7.[19]HAHNWR.Optim,unsi删processingforpassivesonarrangeandbearingestimation[J].JournalofAcousticalSo-cietyofAmerica,1975,58(1):201-207.[20]CARTERG.VarianceboundsforpassivelylocatinganacousticsouroB诮thasymmetriclinearray[J].JournalofAcousticalSocietyofAmerica,19r77,62(4):922-926.[21]RAMOSLL,HOLMS,GUDYANGENS,eta1.Delay—and・sun]beamformingfordirectionofarrivalestimationap-万方数据pliedtogunshotacoustics[C]//ProceedingsofSPIEDe—fense,Security,andSensing.Orlando,USA,2011.[22]KAJALAM.Filter-and—sumbeamformerwithadjustablef'dtercharacteristics[C]//IEEEInternatiohalConferenceonAcoustics,Spoeeh,andSignalProcessing.SaltlakeCity。USA.2001:2917-29加,[23]曹玮玮.基于麦克风阵列的声源定位与语音增强方法研究[D].北京:清华大学,2008.CAOWeiwei.Studyonmethodsofmicrophonearraybusedsoundsourcelocalizationandspeechenhancement[D].Beijing:TsinghnaUniversity,2008.[24]MATSUIT,ASOHH,FRYJ,eta1.IntegratednaturalspokendialoguesystemofJijo-2mobilerobotforofficeservices[C]//ProceedingsoftheSixteenthNationalCon—fereneeonArtificialIntelligenceandtheEleventhConfer-enceonInnovativeApplicationsofArtificialIntelligence.MenloPark。USA,1999:621-627.[25]VALINJM,MICHAUDF,HADJOUB.Localizationofsimultaneousmovingsoundsoureesformobilerobotusingafrequency—domainsteeredbeamformerapproach[c]//IEEEInternationalConferenceOilRoboticsandAutoma-tion.NewOrleans,USA,2004:1033-1038.[26]BADAUA,VALINJM,MICHAUDF.Evaluatingreal—timeaudiolocalizationalgorithmsforartificialauditioninrobotics[C]//IEEE/RSJInternationalConferenceonIn.telligentRobotsandSystems.St.Louis,USA,2009:2033-2038.Y,KAGAMIS,AMEMIYAY,eta1.Circularmi-crophonearrayforrobot’saudition[C]//IEEEInterna-tionalConferenceonSensors.Vienna,Austria,2004:565-570.Y,SASAKIY,KAGAMIS.Threeringmicro-phonearrayfor3Dsoundlocalizationandseparationformobilerobotaudition[C]//IEEE/RSJInternationalCon.fereneeonIntelligentRobotsandSystems.Edmonton,Canada,2005:4172-4177.K,NAlⅢIMAH,YAMADAK,eta1.Soundsouroetracking硒tIIdirectivitypattemestimationusinga64ehmicrophonearray[c]//IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Edmonton,Canada,2005:1690-1696.K,NAlcAJIMAH,MURASEM,eta1.Robusttrackingofmultiplesounds∞lrcesbyspatialintegrationofroomandrobotmicrophonea咖p[C]//IEEEInternationalConference0111Acoustics,Speech,andSis,瑚dProcessing.Toulouse,France,2006:929-932.1]SASAKIY,KAGAMIS,MIZOGUCHIH.Multiplesoundsourcemappingforamobilerobotbyself-motiontri扣喀血tion[C]//lEEK/RSJInternationalConferenceoilIntelli—gentRobotsandSystems.thijiIIg。China,2006:380・385.[27]TAMAI[28]TAMAI[29]NAKADAI[30]NAKADAI[3第1期李晓飞,等:机器人听觉声源定位研究综述・19-『32]SASAKIY,KAGAMIS,MIZOGUCHIH.Main-lobecan—celingmethodformultiplesoundsourceslocalizationonmobilerobot[C]//IEEE/ASMEInternationalConferenceonAdvancedIntelligentMechatronics.Zurich,Switzer-land。2007:l-6.[33]KAGAMIS,THOMPSONS,SASAKIY,eta1.2Dsoundsourcemappingfrommobilerobotusingbeamformingandparticlefiltering[C]//IEEEInternationalConferenceonAcoustics,Speech,andSignalProcessing.Taipei,China,2009:3689-3692.[34]SASAKIY,THOMPSONS,KANEYOSHIM,eta1.Map—generationandidentificationofmultiplesoundSOUrcesfromrobotinmotion[C]//IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Taipei,China,2010:437.443.[35]SCHMIDTRO.Multipleemitterlocationandsignalpa-rameterestimation[J].1EEETransactionsonAntennasandPmpagation,1986,34(33):276—280.[36]WANGH,KAVEHM.Coherentsignalsubspaceprocess-ingforthedetectionandestimationofanglesofarrivalofmultiplewide-bandsources[J].IEEETransactiomonA-coustics,Speech,andSignalProcessing,1985,33(4):823-831.[37]居太亮.基于麦克风阵列的声源定位算法研究[D].成都:电子科技大学,2006.JUTailiang.Researchonspeechsourcelocalizationmeth-odsbasedonmicrophonearrays[D].Chengdu:UniversityofElectronicScienceandTechnologyofChina,2006.[38]ASANOF,ASOHH,MATSUIT.Sound80urceIocaliza-tionandsignalseparationforofficerobot“Jijo-2”[C]//IEEEInternationalConferenceonMuhisensorFusionandIntegrationforIntelligentSystems.TMpei,China,1999:243.248.[39]ARGENTIERIS.BroadbandvariationsoftheMUSIChigh-resolutionmethodforsoundsourcelocalizationinrobotics[C]//IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.SanDiego。USA,2007:2009-2014.[40]NAKAMURAK,NAKADAIK,ASANOF,et8.1.Intelli-gentsoundsourcelocalizationfordynamicenvironments[C]//IEEE/RsJInternationalConferenceonIntelligentRobotsandSystems.St.Louis,USA。2009:664-669.[41]NAKAMURAK,NAKADAIK,ASANOF,eta1.Intelli-gentsoundsourcelocalizationanditsapplicationtomulti・modalhumantracking[C]//IEEE/RSJInternationalCon-ferenceonIntelligentRobotsandSystems.SanFrancisco,USA。201l:143—148.[42]ISHIcT,CHATOTO.ISHIGUROH,eta1.EvaluationofaMUSIC・-basedreal・・timesoundlocalizationofmultiplesound80ureesinrealnoisyenvironments[C]//IEEE/RSJInternationalConferenceonIntelligentRobotsandSys-terns.St.Louis。USA。2009:2027.2032.万方数据[43]LYONRF.Acomputationalmodelofbinaurallocalizationandseparation『C1//IEEEInternationalConferenceonA—coustics,Speech,andSignalProcessing.Boston,USA,1983:1148-1151.[44]ALGAZUVR,DUDARO,MORRISONRP,etaJ.StructuralcompositionanddecompositionofHRTFs[c]//IEEEWorkshoponApplicationsofSignalProcessingtoAudioandAcoustics.NewYork,USA.200l:103.106.[45]HANDZELAA,KRISHNAPRASADPS.Biomimeticsound・sourcelocalization[J].IEEEJournalonSensors,2002,2(6):607-616.[46]NAKADAIK,OKUNOTHG,KITANOH.Epipolarge-ometrybasedsoundlocalizationandextractionforhuman-oidaudition[c]//IEEE/RsJInternationalConferenceonIntelligentRobotsandSystems.Maui,USA,2001:1395—1401.[47]NAKADAIK,HIDAIK,MIZOGUCHIH,eta1.Real-timeauditoryandvisualmultiple・・objecttrackingforhu・-manoids[C]//ProceedingsoftheSeventeenthInternationalJointConferenceonArtificialIntelligence.Seattle,USA,200l:1425-1436.[48]NAKADAIK,MATSUURAD,OKUNOHG,etal。Ap-plyingscatteringtheorytorobotauditionsystem:robustsoundsourcelocalizationandextraction[C]//IEEE/RsJInternationalConferenceonIntelligentRobotsandSys—terns.kVegas,USA,2003:l147-l152.[49]KUMONM,SHIMODAT,KOHZAWAR.Audioservoforroboticsystemswithpinnae[C]//IEEE/RSJInterna-tionalConferenceonIntelligentRobotsandSystems.Edm-onton,Canada,2005:188l-1886.[50]SHIMODAT,NAKASHIMAT,KUMONM,eta1.Spec・tralcuesforrobustsoundlocalizationwithpinnae[C]//IEEE/RsJInternationalConferenceonIntelligentRobotsandSystems.Beijing。China,2006:386-391.[51]HOMSTEINJ,LOPESM,SANTOS-VICTORJ。eta1.Soundlocalizationforhumanoidrobots・-buildingaudio・-mo・・tormapsbasedontheHRTF[C]//IEEE/RSJInternation.alConferenceonIntelligentRobotsandSystems.Beijing。China。2006:1170-1176.[52]KEYROUZF,MAIERW,DIEPOLDK.Anovelhuman—oidbinaural3Dsoundlocalizationandseparationalgorithm[C]//IEEE—RASInternationalConferenceonHumanoidRobot.Genova,Italy,2006:296-301.[53]RODEMANNT,INCEG,JOUBLINF,eta1.Usingbin.auralandspectralcuesforazimuthandelevationloealiza-tion[C]//IEEE/RSJInternationalConferenceonIntelli.gentRobotsandSystems.Nice,France,2008:2185-2190.[54]RODEMANNT.Astudyondistanceestimationinbinauralsoundlocalization[c]//IEEE/RSJInternationalConfer-enceonIntelligentRobotsandSystems.Taipei,China,智能系统学报2010:425-430.ference第7卷ComputerScienceandInformationTechnology.on[55]KIMUH,MIZUMOTOT,OGATAT,eta1.Improvementbyconsideringmalfipathinterfer-Singapore,2008:942-946.ofspeakerlocalizationence[66]LEEtionB,CHOIJS,l(IMD,etinreverberantenvironmenta1.SoundusingsOILrCeloealiza-ofsoundwaveforbinauralrobotaudition『C1//IEEE/onvisualoninformationIntelligentRsJInternationalConfemneeIntelligentRobotsandSys・[C]//IEEE/RSJInternationalConferenceRobetsandHong,SHENMiao.Continuoussoundonterns.SanFrancisco.USA.2011:2910-2915.sy8km.Taipei。China.2010:3542-354780llree[56]SKAFA.Opfimalpositioningofsource8binauralsensoronahu—[67]LIUlocaliza-manoidheadforsoundlocalization[C]//IEEE—BASRobot.Bled,Shire-sin—ondonbasedmicrophonearrayformobileonrobots[C]//IntematinnalConferencenia。2011:165-170.onHumanoidIEEE/RSJInternafionalConferenceandIntelligentRobetsSystems.Talpai,China,2010:4332-4339.Xuesong.Soundonsource[57]SAXENAgleA,NGAY,LearningsoundlocationfromInternationala[68JLIXiaofei,LIUHong,YANGlo-microphone[C]//IEEEandConferencecallzationformobilerobotbasodandtimedifferencefeatureInternationalRobotics1742.Automation.Kobe.Japan,2009:1737-space酊dmatching[C]//IEEE/RSJonConferenceK,LAURENST。OKUNOHG,eta1.ActiveIntelligentRobotsandSystems.SanFran.[58]NAKADAIauditionforciseo.USA。20l1:2879-2886.humanoid[C]//proceedingsonofthe17diNa・[69]YOUNGSH.SCANLONMV.DetectionandlocalizationarrayonationalConference2000:832-839.ArtificialIntelligence.Austin,USA,with¨acousticsmallroboticplatforminurbanenvironments.technicalreportADA410432[R】.Adelphi,USA:US.ArmyResearchLaboratofy,2003.[59]ANDERss0NsB,HANDZELAA.SHAHV,eta1.Ro-withdynamicsound一60llrceonbetphonotaxislocalizationandAu.[70]SUNarrayHao,YANGPeng,LIUZuojun,eta1.MicrophonerCl//IEEEIntemationalConfemneetomationRoboticsbasedauditorylocalizationControlfor㈣wrobot[C]//Barcelona.Spain,2004:4833-4838.E,APKERroboticChineseaandDecisionConference.Taiyuan,Chi-[印]MARTINSONreconfi#leT,BUGMSKAM.Optimizingna,2011:606-609microphoneonarray[c】//IEEE/RSJRobotsandSys—[7l】LUORC,HUANGCH,LINTT.HumantrackingandusingsoundIntemationalConferenceIntelligentfollowingsoul'celocalizationformuhisensorterns.SanFrancisco,USA,201l:125—130.basedmobileassistivecompnio.robot[C]//IEEECon—fereneeon[61]PORTELLOA.AcousticmodelsandKalmanfilteringstrat-binauralsoundIndustrialElectronicsSociety.Glendale,USA,egiesforactivelocalization[C]//IEEE/2010:1552-1557.RsJIntemationalConferenceonIntelligentRobotsandSys-terns.San作者筒介:李晓飞,男,198"/年生,博士研究生Francisco.USA.2011:l”-142.Y.Activesoftpinnaeforon[62]KUMONM。NODArobots[C]//Robots主要研究方向为语音识别、声源定位.IEEE/RSJInternationalConferenceIntelligentandSystems.SanFrancisco.UsA,2011:112-117.[63]OKUNObetHG。NAKADAIK,HIDAIK,eta1.Human-ninteractionthrouIghreal-timeauditoryandvisualmulti・pie—talkerenceontracking[C]//IEEE/RSJInternationalConfer-IntelligentRobotsandSystems.Maui,USA,200l:1402-1409[64]OKUNOlionofHC.NAKADAIK。KITANOK.Socialinteme-hiunanoidrobotbasedonaudio・visualtrackingEngineer-[C]//InternationalConferenceingApplicationsofArtificialonIndustrialandIntelligenceandExpertSys—tem.Cailns,Australia.2002:1.10[65]LvXiaoling,ZHANGonMinglu.SoundsourcelocalizationCon——刘宏,男,1967年生,教授,博士生导师,中国人工智能学会常务理事、副秘书长、青年工作委员会主任,主要研究方向为智能机器人、计算机视听觉.先后承担国家自然科学基金项目7项,国家。863”、“973”计划课题项目5项.&步奖.发表学术论文100余篇,其中60basedrobothearingandvision[c]//Intematinnal万方数据

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- huatuo7.cn 版权所有 湘ICP备2022005869号-9

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务