欢迎加入我们！csse@szu.edu.cn
机器人与智能系统
本研究方向主要包含面向复杂任务的自适应规划技术研究、新一代智能机器人、新一代人工智能类脑芯片、下一代人工智能的脑与类脑科学基础、智能金融服务机器人等五个研究内容。
欢迎加入我们！csse@szu.edu.cn
机器人既是先进制造业的关键支撑装备，也是改善人类生活方式的重要切入点。无论是在制造环境下应用的工业机器人，还是在非制造环境下应用的服务机器人，其研发及产业化应用是衡量一个国家科技创新、高端制造发展水平的重要标志。大力发展机器人产业，对于打造中国制造新优势，推动工业转型升级，加快制造强国建设，改善人民生活水平具有重要意义。
当前我国社会正在加速进入老龄化阶段。截至2018年末，中国人口总数为139538万人，比上年末增加530万人，其中65周岁及以上人口16658万人，占总人口的11.9%。随着人口老龄化趋势加快，劳动人口缩减，人力成本上涨等问题不断出现，从而要求进一步加快“机器换人”的速度，中国机器人存在巨大市场潜力和发展空间。2018年我国家用服务机器人、医疗服务机器人和公共服务机器人的市场规模分别为8.9亿美元、5.1亿美元和4.4亿美元。按细分领域来看，家务机器人和物流机器人相对领先，市场份额分别为27.4%和24.9%。未来，随着医疗、教育需求的持续旺盛，康复医疗及教育等领域存在市场潜力和发展空间。
为进一步抢占国际市场，提升制造业在全球的竞争性地位，各经济强国跃跃欲试，纷纷制定发展规划，以图抢占先进机器人技术的发展先机。目前，德国政府推行“工业4.0”战略，构建“智能工厂”，打造“智能生产”，其重点课题之一是人与机器、机器与机器之间的交互合作。美国2013年提出了“美国机器人发展路线图”，将围绕制造业攻克机器人的强适应性和可重构的装配、仿人灵巧操作、基于模型的集成和供应链的设计、自主导航、非结构化环境的感知、教育训练、机器人与人共事的本质安全性等关键技术。2015年初，日本政府公布了《日本机器人新战略》，并在其五年行动计划中，明确提出要“研究开发下一代机器人中要实现的数据终端化、网络化、云计算等技术”。韩国政府近年来陆续发布多项政策，旨在扶植第三代智能机器人的研发与应用，2012年韩国公布的《机器人未来战略战网2022》，其政策焦点为支持韩国企业进军国际市场，抢占智能机器人产业化的先机。在美、日、欧等技术强国的大力推进下，近5年来下一代机器人样机、示范应用、乃至实用系统不断涌现。
与欧美日等国家相比，我国在机器人领域的研发起步较晚，与发达国家绝对差距还比较大。为了引导我国机器人产业有序健康发展，国家发改委发起成立了国家机器人检测与评定中心(简称“国评中心”)，此外，中央以及相关部委相继出台扶持政策。科技部2017年8月1日正式发布《“智能机器人”重点专项2017年度项目专项申报指南》，明确围绕智能机器人基础前沿技术、新一代机器人、关键共性技术、工业机器人、服务机器人、特种机器人6个方向，按照基础前沿技术类、共性技术类、关键技术与装备类和示范应用类四个层次，启动42个项目，拟安排经费总概算约6亿元。国家发改委、工信部和财政部2016年共同制定的《机器人产业发展规划(2016-2020年)》明确，到2020年，我国实现服务机器人年销售收入超300亿元。在政策的引导下，中国服务机器人发展迅速。
智能服务器人已然成为市场焦点，具有战略意义的共性技术研发、储备尤为迫切。如何使智能体像人一样实现柔和与灵巧的操作一直是人工智能面临的挑战，而技能传授作为开放环境下智能体灵巧操作的核心，其性能直接制约智能服务的质量。突破操作技能传授与高效迁移技术，实现开放环境下的智能体灵巧操作，已成为人工智能应用亟待解决的重大需求。本团队将从中国的国情、需求出发，突破下一代机器人核心技术，将重点围绕智能机器人的操作技能表达、学习及迁移等核心问题展开研究，并在包括工业制造、智慧健康等领域开展应用研究，完成相关示范应用。
随着人工智能理论和传感技术的飞速发展，智能机器人已得到国内外高度关注。然而，生产系统中操作环境的动态性、不确定性以及操作任务的复杂性对智能机器人操作的灵巧性提出了更高要求。作为智能机器人灵巧操作的核心支撑，操作技能的传授与迁移是提高工业制造智能化水平的关键，更是人工智能技术在生产系统应用中跨越更高水平的重要阶段性标志。国内外围绕技能传授与迁移、知识表示以及跨模态融合认知学习等前沿科学问题和核心关键技术开展了深入研究，并取得一系列研究成果。代表性研究及趋势分析如下：
在智能机器人自主操作的技能传授方面，美国加州大学伯克利分校与日本早稻田大学等开展了意图理解、任务学习及自主操作决策研究，初步实现了物体的自主抓取等操作，并通过智能机器人与环境的交互实现了自主策略学习。清华大学、哈尔滨工业大学等在意图解析、行为交互理解、操作技能学习等方面开展了卓有成效的研究工作，在国内外产生了重要影响。然而，针对场景变化、任务复杂的灵巧操作研究，国际上才刚刚起步，相关研究亟待深入。
在面向灵巧操作的跨模态融合认知学习方面，目前美国麻省理工学院和德国慕尼黑工业大学开展了复杂材质的融合识别与场景认知等研究工作，并取得了良好进展。国内清华大学等在触-视-听觉多模态灵巧操作、多模态传感器以及跨模态融合认知方法等方面的研究工作，处于国际前列。然而，对于触觉在灵巧操作中的应用，特别是触-视-听觉的多模态信息感知、交互、示范及技能的知识库构建、迁移与增强等相关研究亟待深入。
在机器人灵巧操作技能学习的平台建设方面，欧盟通过实施RoboEarth项目，利用云端的海量数据库存储与强大的计算能力，建立了面向智能机器人技能传授的网络。斯坦福大学发起的RoboTurk-Surreal项目，通过创建任务并部署到云端，加速智能机器人学习人类技能，以应用于协作智能机器人的任务操作。但目前国外相关研究仅限于仿真环境下的简单任务学习。近年来，国内清华大学、北京大学等单位相继成立了类脑研究中心，并将智能机器人灵巧操作列为重要发展方向。
将围绕智能规划问题表达、模型学习、规划推理以及规划在线更新和学习等主要内容展开深入的研究。理论研究重点关注如何从求解复杂任务的核心人工智能技术出发，紧扣技术实现的可靠性，提出一系列崭新的自适应规划和推理技术。主要研究内包括规划问题的表达（模型）、规划模型的学习、提高规划质量的推理新方法和规划在线更新等四个方面。
复杂任务的瞬时性需要用户常常在不同场景下去求解一些复杂任务，这些任务本身具有的性质与对应的场景紧密相关。同时，认知科学的研究成果表明，人类首先是去感知任务所处的场景，并存储在大脑的某一个区域；然后设想可能采取的规划动作，并想象这些动作可能产生的场景；最后，人脑往往根据想要达到的任务完成情景去制定具体的规划。注意到，在规划的制定过程中，人类会从记忆中搜索类似的任务场景，以迅速完成任务。因此，需要找到一个合适的场景表达方式，以场景模型为基础展开规划的制定和执行。这种表达方式正是经典的贝叶斯网络模型的特长。贝叶斯网络用有向图描述变量之间的不确定关系，用定量方式表示变量之间的关联程度，通过条件概率表达挖掘问题的结构化信息，能够简化问题中存在的复杂关系，表达清晰易懂。
深入思考复杂任务的规划过程可以发现，人类试图通过本身的动作来期待一些场景，有些场景是必然要经过的，不然任务执行就失败了。因此，如果采用单一的初始场景对规划问题进行建模，将丧失颇有价值的规划知识，不能降低规划问题的求解难度。拟提出具有关联性的贝叶斯网络片段集合来构造规划模型，每一个贝叶斯网络片段与规划期待场景逐一匹配。用户可以根据个人经验和知识构造好规划过程需要的部分贝叶斯网络片段，并可指定贝叶斯网络片段之间的可能的关联性。因此，该新的规划问题表达方式将充分考虑自适应的规划过程，并充分融入已有的规划知识。
此外，由于人类认识维度的局限性，用户往往比较容易去建立一些小规模的贝叶斯网络片段。因此，将考虑如何自组织小规模的贝叶斯网络片段，以精确地完成每个贝叶斯网络片段的自动建模。采用的方案拟借鉴概率图形模型中节点链接弧的翻转、消除等基本操作。
自动构建规划模型是智能规划的一个重要研究问题。虽然历史规划数据日益丰富，但相对庞大的规划空间，其数据量仍是相当有限的。特别在充满不确定性的规划环境中，学习一个准确的规划模型是难上加难。将主要研究如何从有限的历史规划数据中学习贝叶斯网络片段的结构和参数。
首先考虑在给定的规划问题描述中，采用文本挖掘的方法，通过词典库发现可能存在的环境变量、动作变量及其价值函数；其次，从历史的规划轨迹中，可以采用最大似然估计方法学习贝叶斯网络片段相关变量之间的条件概率以及贝叶斯网络片段之间的关联程度。通过这些基本的机器学习方法，一个初始的贝叶斯网络片段集合可以建立起来。
在贝叶斯网络片段构建完成之后，将采用贝叶斯网络的推理方法来求解最优的规划，即以最大化价值节点的联合概率分布为目标，确定最优的动作联合概率分布。一个简单的方案就是通过迭代法进行反复推理。将把动作概率视为网络参数的缺失值，通过研究期望最大化的学习方法来求解最优概率分布。同时，受启发于基于动态规划的POMDP求解方法，拟从贝叶斯网络正反两个方向执行期望最大化的学习方法，提高算法的效率。
基于贝叶斯网络的规划模型自然地把推理过程融入到规划的执行过程当中。推理过程主要是通过录入到目前为止所能观测到的信息值（即模型中的S, O, A等机会节点），判断下一个贝叶斯网络片段出现的概率，同时也计算出接下去可能的规划动作的概率。在规划的执行过程中，可能出现问题是观测到意想不到的信息，直接导致推理无法进行。这在复杂任务的执行过程中时常发生。譬如，其他相关任务（特别是与主体任务在并行的环境中执行）的不确定性往往难于被描述在主体任务的规划模型中。拟通过在任务关联节点中加入一个随机状态，并以微小概率初始化状态。如果在推理过程中，随机状态的概率超过一定的阀值，规划模型将更新贝叶斯网络片段，改变相关任务的影响状态。
规划推理可以客观地评价所执行规划的质量，进而准确地丰富规划知识库。更为重要的是可以找到影响规划效果的主要因素。特别对于失败的规划，可以查找失败源头，对任务求解进行重新评估。拟基于贝叶斯网络的最相关解释原理（Most Relevant Explanation），以存储的规划历史数据（包括执行过程中所观测到的信息）为基础，搜索能够解释规划质量的最有可能的证据。将充分考虑贝叶斯网络片段之间的条件独立性，通过马尔可夫毯（Markov Blanket）性质，减少搜索空间。
当规划环境未能按照如期预测的情况出现，规划的在线更新不可避免。如前所述，基于观测值的推理方法可以计算出预制规划顺利执行的概率。但人类执行规划往往具有一定的习惯性，不会擅自改变规划；此外，经常更新规划也将降低任务求解的效率。注意到的规划模型输出的是具有概率性的规划决策。因此，规划的执行概率可以随时得到更新，如果更新后的概率与初始规划概率具有差异，那么规划的更新动作将被触发。同时，将建立基于用户遗憾程度的更新函数（Regret-based Revision Function），以求解遗憾最小化函数决定是否进行规划的更新。该更新函数综合考虑规划执行概率的先后差异，同时也考虑用户对规划的期望价值。很凑巧的是，用户的价值函数可以通过建立的贝叶斯网络片段获取（R机会节点）。因此，可以实时优化更新函数，找到规划更新的时机。由于更新函数包含着各个时间段的整体规划，可以把某一段规划决策视为函数当中一个内在变量。那么，是对原规划进行简单的修补，还是执行新的规划，就可以通过求解参数化的更新函数而得知。拟采用基于次序的规划搜索方法，即按照规划执行的时间顺序产生不同的规划，以最小化遗憾函数为目标，求解新的规划。这个优化结果可以直接比较不同规划的差异，决定规划的更新策略。
围绕操作技能的多层次统一表示问题，针对类人操作技能的知识表示、迁移与学习等基础性问题，探究自主智能机器人的多层次操作技能表示与知识化表达。研究对象层、任务层、规划层和操作层的知识表示，建立多层次操作技能表示知识库；提出深度表征和多模态数据的表示方法，进行数据和知识融合的操作技能表示建模；开发虚拟环境，在典型多任务场景中验证知识化表达的有效性。
针对在动态不确定场景下采用自然行为操作示范的方式如何对智能机器人进行高效、安全的技能传授问题，紧紧围绕技能示范的时空事件高效关联与理解,技能传授习得与验证的跨情景互驱动两个关键任务，首先研究面向操作示范的多模态信息融合模型，然后研究基于多模态信息的意图理解方法；在此基础上，通过主客观较为一致的任务评估模型，建立新型技能传授习得与验证的跨情景互驱动模型；最后搭建面向多模态交互的操作示范与技能传授验证原型系统。
针对序贯多任务操作技能的高效策略学习问题，研究复杂技能的分层解耦方法与同类、异类、在线多任务的分层学习，同时针对动态不确定操作场景下智能机器人多任务技能的泛化问题，研究多任务的迁移学习与技能增强技术，在此基础上突破技能学习的策略增强瓶颈，研究元学习在操作技能的自主分层学习与迁移学习理论方法，最终搭建云端多操作平台验证技能学习的有效性。
借鉴人类操作技能的学习机理，面向类人操作技能知识表示、迁移与学习等基础性问题，突破操作技能的生成、传授与应用等关键技术。将主要围绕3C行业柔性化序贯多任务精密装配、航空航天领域定制化高复杂度装配系统、服务机器人、手术机器人等典型场景。
近年来，以石墨烯为代表的新型二维半导体材料的发展为人工智能类脑芯片的发展带来了新的希望与挑战。这类二维材料与传统III-V族、硅材料相比，无论在材料本征特性还是加工集成等方面都有着天然的优势：
(1)它们的垂直尺寸薄到极限，且表面平坦无缺陷，因此电子不易散射，电荷可在二维平面内实现弹道输运，突破摩尔定律；由于其更强的自旋轨道耦合效应，被众多理论物理学家预言具有奇异的物理特性，比如：拥有较大能隙的二维量子自旋霍尔态、在室温下实现低损耗的电导、拓扑超导、以及近室温下的反常量子霍尔效应等。这些二维尺度下的奇妙量子特性催生了一批全新的物理观念与理论，极大地推动凝聚态物理的变革，使得二维材料的量子设计与调控成为凝聚态物理的前沿热点。因此，新型二维材料在纳米电子学应用方面具有巨大潜能，可广泛应用于纳米电子逻辑和存储器件，构建集成化电子神经网络体系。
(2)独特的能带结构使其在超宽波段内实现强的光与物质相互作用，从而可以在类脑芯片中引入光信息和参数（光子作为信息处理的载体，具有高速度、低功耗、优异并行性等优点），这对于增强光耦合效率、提高传播距离，降低阻尼损耗，缩小有源区域尺寸等关键指标起着至关重要的作用；范德华层状属性使得基于二维材料的异质界面晶格失配率低，同时与传统微电子工艺兼容性好，易于加工、流片与集成。因此，新型二维材料能够构建对光学激励信号进行神经形态处理的基本单元–“光学突触”，是集成化光子神经网络体系的一个不可或缺的重要支撑。
综上所述，基于二维半导体材料的新型电子/光电子器件完全可以构建出新型类突触、类神经元网络元器件等高端元器件与集成。通过研究，我们有望形成从材料、器件、工艺到应用的完整研发链，从而在微型化、集成化、超高速、大容量、低功耗类脑芯片关键元器件和集成领域发展出一批具有国际竞争力的技术，为我国实现具有独立自主知识产权的新型人工智能类脑芯片贡献力量。
面向构建基于二维材料的人工智能类脑芯片这一长远目标，以应用为导向制备高质量、大面积的新型二维半导体材料，并基于这些新材料构建一系列新型类突触、类神经元网络元器件，结合类脑神经元计算模型，构建出微型化、集成化、超高速、大容量、低功耗的类脑芯片。
(1)研究新型二维半导体材料的可控制备规律和结构控制关键因素，阐明其原子尺度的生长和调控机制。在此基础上，以类脑芯片应用为导向，实现二维半导体材料的微观结构形貌、能带结构等精确调控。
(2)从空间和时间尺度阐明二维材料的电学/光学特性。寻求材料本征物理特性与多物理耦合和调控，再到原理型电子器件集成的内在物理联系。利用电光磁调控手段调控能带结构从而电学信号的变化。研究二维半导体材料中光的吸收、耦合、传输和光电转换的机制，克服二维材料与半导体衬底和器件的兼容性问题，提出二维材料光与物质相互作用过程中的新模型。
(3)构建出系列高性能基于二维半导体材料的高性能纳米电子逻辑和存储器件、类突触器件、光存储器件、光突触器件等元器件，探索各种类脑器件的协同通信和片上集成。实现完全模拟生物突触的可塑性和动力学行为，同时实现与生物突触可比拟的复杂功能和超低能耗。
(4)发展类脑神经元计算模型，通过改变控制参数，使相同神经元电路模块能完成不同的神经元功能，增强神经计算电路模块的通用性，降低设计、制造的难度。在此基础上，研制出具有产业化价值的原型关键器件和芯片，力争在微型化、集成化、超高速、大容量、低功耗等几个关键指标上取得突破。
围绕语言、感知、情绪、记忆等认知和精神活动及其功能异常，探索大脑计算中关键的联结架构和工作原理，为下一代人工智能研究提供基础；开发新型脑信息获取和调控技术，发展脑功能恢复和增强的脑机融合技术。
(1)以大脑的语言、感知、情绪、记忆功能为主线，结合脑外科手术提供的临床资源，综合利用磁共振成像、脑磁图、脑电、近红外、经颅磁刺激特别是高时空分辨率的颅内脑电等人脑活动记录和调控技术，从神经网络和发育发展规律方面研究认知活动的脑功能架构与运作规律,建立特定功能相关的跨层次计算模型,重点关注多模态、多粒度、多层次、高灵活度等对应的神经网络特征；
(2)以阅读障碍、口吃、情感障碍、抑郁症、疼痛等大脑功能异常为主线，结合临床诊断、干预技术和动物模型研究，从认知行为、神经记录、生理生化指标和遗传学等方面系统研究脑认知功能异常的神经机制，为全面了解脑功能运作规律和应用类脑智能技术改善病患生活质量提供基础；
(3)研发用于类脑科学研究的脑信息获取和调控技术。提高颅内脑电记录电极的分布密度、柔性和记录范围，改善其组织相容性，实现连续多日记录。开发光、声、磁等新型脑信息获取和调控技术。充分利用先进的边缘计算设备，实现高带宽的获取-调控闭环系统和复杂环境中的长期稳定工作。开发兼具高时空分辨率和大空间尺度、多模态的神经集群观测与调控手段，在动物模型上探索先进的脑信息提取、处理和利用技术，实现从简单到复杂，从单一功能到复合功能的脑机融合技术；
(4)针对各种脑认知功能异常症状，开发针对性的侵入式和非侵入式脑机接口技术，利用先进的神经数据处理技术提取大脑活动，生成语言和运动输出，恢复脑疾病患者受损的行动和人际交流能力。针对健康人群，主要应用非侵入式脑机接口，接收计算设备的辅助信息并解码脑活动以控制人造设备，增强个体的行为和认知功能。
建立基于XMPP的Openfire服务器机器人通信框架，并以此建立机器人硬件、物联网设备、服务器、人机交互的二级操作系统，该操作系统设计简洁，属于轻量级操作系统，且支持云服务器端。随着机器人数量的增加，本地服务器和云端服务器都需要针对高并发需要做一些研究，也包括分布式方案的研究。
进一步研究方向是建设多机器人间通信框架和集中管控平台，实现机器人对金融门店50%以上设备的感知与控制能力。建设以机器人为核心的智慧门店、智慧家居通用解决方案也在我们规划之中。在该解决方案下，机器人依赖高度完善的机器学习算法、业务逻辑规则，调用外部传感器数据感知环境，并控制外部执行器来操作环境，使机器人不再局限于本体硬件，而通过网络协议、智能算法与其他传感器、执行器配合，使机器人能力得到极大扩充，计划在2019年7月，能够使用开发的标准的物联网模块，来集中管控门店内20种以上设备，并建立100条以上智慧门店运行规则。
金融门店注重客户体验，特别希望客户一进门就享受到愉悦的体验，对客户来说，主要体现在认识客户、主动迎接客户以及关心客户身体状态。基于以上场景，我们主要从顾客的面部特征和行人特征出发，通过人脸特征及骨架检测技术对来宾进行识别（通过“同体”模型，解决非活体的问题，防止误检测），并进行主动迎宾，在不同的时间和空间条件下，机器人会自动切换场景模式，并根据客户习惯进行学习。通过面部识别和骨架识别，将来宾的身份识别准确率提升至95%以上，自动迎宾并跟随服务的成功率提升30%；
金融场景中特别注重身份认证，特别是需要通过机器人查询保密信息时，仅仅靠人脸识别不是绝对安全的。为了提高安全等级，目前已经开始研发声纹识别、虹膜识别以及指静脉识别技术。预计四个维度的多模态识别已经可以让身份识别的安全系数提升上万倍，保证客户的信息安全。在面部识别和骨架识别的基础上，集成多模态识别（人脸、声纹、指静脉和虹膜等），实际金融服务门店复杂环境中的综合身份识别准确率提升至98%以上；
不同于实验室环境，实际金融门店场景非常复杂，受灯光、人群等因素影响，算法理论在实际场景中往往捉襟见肘，处处碰壁，而项目组的定位技术是为了保证在复杂的现实环境中稳定应用。
初期的关键技术是，利用超宽带技术的绝对定位与使用电机里程计的相对定位相结合，从而实现机器人的定位。在持续不断的升级过程中，我们采用了激光SLAM和单目vSLAM与超宽带定位技术进行信息融合，再加入在门店场景中独有的灯光定位技术，预计可将实际场景中的定位精度提升至3厘米，并且具有抗光线干扰，鲁棒性强的特点，预计稳定特性可提升25%。
服务机器人真正在实际金融场景应用起来，除了室内定位技术，还需要进行全局路径规划以及利用机器人的传感器信息进行局部的动态路径规划和避障策略。在智能避障领域，通过使用三维模型检测的辅助避障技术方案，与传统仅通过传感器的方案相比较，在避障速度预测距离和运动平滑度等方面有显著提升。
主要包括语音识别技术和文字转语音技术的实现和使用，以及对话匹配规则设计，语音对话混合引擎的设计以及开发。目前我们的机器人语音系统目前包含关键词引擎、业务引擎及闲聊引擎并行服务。
第一阶段拟设计开发一个多系统融合的混合自然语言处理引擎，并通过扩充业务语音问答知识库的方式，来提升机器人业务问答能力，随着语音引擎的完善以及业务数据的丰富，2018年7月前，通过对语音对话混合引擎的完善，使客户对金融业务类相关问答的满意度达到90%以上。
第二阶段拟建设一个引导式业务办理专家机器人系统，专家机器人系统具有语音、文字、屏幕、图像处理等交互能力，并可通过可视化编辑界面扩充机器人业务知识库。引导式业务办理专家系统摆脱了机器人一问一答式的交互流程，并在语音交互基础上，将文字、屏幕、图像处理等交互方式结合为一体，从而极大提升机器人业务能力，提高业务办理效率和服务体验，并节省人力。预计在2020年1月完成3种领域，20种以上业务种类，100种以上业务咨询、办理知识库。
范滇元院士，深圳大学特聘教授，中国工程院院士，激光与光电子学专家。在高功率激光基础理论、总体系统设计和工程研制等方面，取得一系列先进成果，为我国高功率激光工程技术的开拓和发展做出重要贡献。先后获陈嘉庚奖、光华工程科技奖、中科院科技进步特等奖、国家科技进步奖一等奖、二等奖，以及国家有突出贡献中青年专家、全国863计划先进工作者、全国优秀科技工作者等荣誉称号。发表论文报告250余篇，培养研究生六十余名。
深圳大学土木与交通工程学院院长，深圳大学特聘教授，博士生导师；深圳大学未来地下城市研究院创院院长、深圳地铁集团有限公司总工程师兼技术委员会主任，兼任煤炭科学研究总院建井研究院院长。2017年当选中国工程院院士。主要从事隧道与地下工程、岩土工程、地铁工程、城市地下空间与结构工程、井巷工程等科研和技术管理等工作。专长于地层冻结技术，地层位移控制技术、近接工程结构安全环境协同技术和地铁建设技术管理等。
工学博士，深圳大学电子与信息工程学院教授、博士生导师。兼任广东省部产学研创新联盟理事长。IEEE Fellow、国家杰出青年科学基金获得者。1962年10月出生。分别毕业于西安电子科技大学（本科）、清华大学（硕士）、中国科学院自动化所（博士）。研究兴趣为多媒体取证与安全、多媒体信号处理。曾主持包括2项国家973项目课题、3项国家自然科学基金重点项目在内的科研课题一批。在本领域发表论文300多篇（其中IEEE/ACM Transactions 60多篇），论文被引用12000多次，个人H-index 59（谷歌学术）；入选Elsevier中国高被引作者2014~2108榜单；申请发明专利近60项，获授权40多项；获国家自然科学二等奖1项（排名第二。2015）、教育部自然科学一等奖1项（排名第一。2004）。本领域国际权威期刊 IEEE Trans. on Information Forensics and Security 副编辑（Associate Editor），多次担任本领域知名国际学术会议大会主席和程序委员会主席。2015年因在多媒体信息隐藏和取证研究上所取得的成绩当选IEEE Fellow（会士）。2017年入选广东省特支计划“杰出人才”。
深圳大学特聘教授。国家杰出青年科学基金获得者(2003)，首批“新世纪百千万人才工程”国家级人选(2004)，享受国务院特殊津贴(2009)，深圳市国家级领军人才(2013)。国际心理科学学会会士，中国心理学会常务理事兼脑电相关技术专委会主任，中国认知科学学会理事兼社会认知科学分会主任，中国神经科学学会理事，广东省认知科学学会会长，Intern J Intell Sci编委、《中华行为医学与脑科学杂志》副主编，《心理学报》、《心理科学》编委等。曾任中科院心理健康重点实验室首任主任(2002-2005)，北师大学认知神经科学与学习国家重点实验室首任主任(2005-2011)、北师大脑与认知科学研究院首任院长(2009-2013)。现任深圳大学脑疾病与认知科学研究中心主任、深圳市情绪与社会认知科学重点实验室主任。先后主持国家杰出青年基金、基金委重点项目3项、科技部973课题、支撑计划项目、中科院重要方向项目、中科院百人计划、教育部创新团队等重点项目10余项，总经费4千万。发表研究论文460篇，其中SCI/SSCI论文230篇，获教育部技术发明一等奖，四川省科技进步一等奖，以及省市科技二等奖5项。培养博士后、博士生、硕士生百余人。主要从情绪与认知的相互作用及其脑机制，具体在表情加工的认知神经机制、焦虑对决策的影响及其神经基础、情绪与认知研究技术的创新与推广等方面展开研究，探讨了情绪与认知功能的相互作用关系及其神经机制。
深圳大学特聘教授，教育部长江学者特聘教授，首批“新世纪百千万人才工程国家级人选”，深圳市国家领军人才，国务院政府特殊津贴专家等称号；国务院学科评议组第六届、第七届成员等。获得2008年抗震救灾感动中国师德标兵荣誉称号，2010年全国百篇优秀博士学位论文指导老师奖励。主要从事认知神经心理学、认知发展、情绪认知、学生核心素养等方面的研究。先后主持教育部人文社会科学重大委托项目、国家自然科学基金项目、国家社会科学基金项目等国家和地方课题30余项。在Psychological SCIence, Human Brain Mapping等国际SCI/SSCI发表论文170余篇，在中国科学、科学通报等国内著名CSSCI杂志发表论文250余篇。主编的教材《幼儿心理学》被选为高等学校“十一五”国家级规划教材等。与国际著名儿童心理学家Zelazo、Kang Lee、Deak等教授合作，建立了“中—加联合儿童心理研究中心”，深入研究了执行功能和心理理论的关系。积极筹建深圳大学儿童发展与健康国际合作联合实验室，并担任主任；作为中国学生发展核心素养研究组副组长，荣获第五届全国教育科学研究优秀成果一等奖等。合作完成的中国青年价值观研究，其荣获教育部普通高校人文社会科学优秀成果一等奖。
国家特聘专家，深圳大学特聘教授，深圳神经科学研究院院长。曾任国家科技部973计划项目首席科学家 (2012-2016)、香港大学脑与认知科学国家重点实验室主任 (2005–2014)、香港大学终身教授、美国乔治城大学儿科系兼职副教授、美国国立健康研究院NIMH研究员。首次发现国人加工中文时的独特大脑区域，创立了大脑语言中枢文化特异性理论，得到了国际神经科学界的广泛认可。其研究成果已在临床上用于指导神经外科手术方案设计，为医生在开颅手术过程中保护脑疾病患者的语言功能提供了重要科学基础。已发表学术论文百余篇，包括作为通讯或第一作者发表在Nature (1篇)、Science Advances (1篇)、PNAS (10篇)和Current Biology (1篇)上的论文。现为《科学》杂志子刊Science Advances 副主编、国际神经科学学会主席。
深圳大学微纳光电子学研究院特聘教授，博士生导师。科睿唯安2018年“高被引科学家”、国家优秀青年科学基金获得者、中组部青年千人计划获得者、基金委重点项目负责人、教育部“新世纪优秀人才支持计划”人选、深圳市青年科技奖获得者等。近五来，张晗教授以第一/通信作者发表中科院一区论文70篇，其中包括Physics Reports 1 篇、PNAS 1 篇、Nat. Comm. 2 篇、Adv. Mater. 8篇、Adv. Funct. Mater. 10 篇等，影响因子大于20 期刊论文12篇。论文被总引用超过20000 次（google 学术），H 因子为68。其中ESI 高引用论文42篇，一篇论文的单篇引用超过1000 次，40 篇论文的单篇引用超过100 次。此外，主持基金委优秀青年科学基金项目一项，基金委重点项目一项，国际合作项目一项，面上项目两项。两篇论文入选“中国百篇最具影响国际学术论文”；担任Photonics Research编委；科研成果获得2018年中国光学十大进展、教育部自然科学二等奖(排第二)等奖项。
深圳大学计算机与软件学院教授、博导。广东省科技厅“母婴健康监测与预警工程技术研究中心”主任，深圳市智能医疗诊断重点实验室主任，Cognitive Computation and Systems(CCS)副主编，深圳大学科协常务副主席。长期从事视频信息安全技术、大数据智能医疗技术、大型网络信息系统设计等研究。先后主持国家自然科学基金面上项目4项，广东省自然科学基金项目3 项，主持深圳市重大、重点项目10 项，在清华大学等出版社出版著作4 部，在SCI等高水平期刊发表学术论文60 多篇，授权技术发明等专利16 项，先后获得广东省教育厅优秀成果奖1项、深圳市科技创新奖二等奖2项。
团队在人工智能、机器人领域具有雄厚的研究基础，近年来承担了科技部重点研发计划、国家自然科学基金重点项目等国家省部级科技项目10余项。在人工智能领域顶级会议IJCAI、AAAI 和CVPR 等顶级刊物上发表论文40余篇，授权技术发明等专利近10项。获省部级一等奖1项，二等奖3项。相关基础体现在如下几个方面：
(1)机器人操作的多模态感知：已针对机器人灵巧操作等应用开展了视、听、触等多种不同模态之间的融合感知方法。利用稀疏编码与字典学习方法针对触觉序列数据开展了一系列新颖的研究工作，利用联合稀疏编码方法对灵巧手的“指间”关系建模并设计了鲁棒的触觉物体识别方法。这些工作为本研究中多模态融合学习的研究工作提供了基础。
(2)机器人灵巧操作：采用深度学习的方法,提出端到端的抓取检测卷积神经网络模型，以图像信息作为模型输入，可实时准确地从图像中检测出适合抓取目标物的灵巧手位姿。
(3)机器人多抓取操作任务规划学习研究：构建了一个集成了高水平记忆结构和兼容目前控制的新的认知结构体系。在机器人记忆和规划方面，提出基于HTN的机器人规划和解决问题方法。机器人用基于规划的控制框架，在机器人控制中集成了分层任务网络规划的规划方法。采用目前国际最流行的开源机器人操作系统ROS进行模块化开发，并在自研制的50kg级自主移动操作平台，能够实现了多顾客饮品抓取服务任务的规划和操作。
(4)迁移学习、知识共享和自适应数据建模等方面的研究:将融合显式反馈和隐式反馈的评分预测问题定义为一个半监督协同推荐问题，并为此参与设计了一个新的自迁移学习算法。相关的研究成果已撰写成学术论文，并于2016年7月发表于知名国际学术期刊《ACM Transactions on Interactive Intelligent Systems》。该论文获得了该期刊2016年度唯一的最佳论文奖。
(5)深度学习理论：对Softmax损失函数进行解析，探索其可能的改进方法；主要从特征之间的夹角余弦值以及特征的模长度进行优化，选取了CASIA-WebFace数据库作为人脸分类器的训练数据，结合主流网络结构的设计思想，搭建了28层的卷积神经网络，将上述Softmax损失函数的优化方法应用到人脸分类器的训练过程中，并在LFW数据库上进行了对比测试。实验表明，我们的改进方法相比原始的Softmax损失函数对结果有很大的提升，单个模型就能够在LFW上获得较好的准确率。
(6)基于深度学习的人脸识别与分析：设计了超过30层的网络，通过二百万张人脸图片对该网络的千万个参数进行训练优化，最终得到的人脸识别网络在FERET、LFW等数据集上都得到了接近100%的准确率。研究成果获得了2013年度广东省科学技术奖励、2015年度中国电子学会科技奖励以及2016年度深圳市科学技术奖励。
(7)原型系统开发及技术就绪度分析：团队和视频监控行业上市公司浙江大华股份建立了深大-大华智能系统工程联合实验室，双方在人脸检测、识别、表情识别以及深度学习理论方面进行广泛合作。同时团队和美国高通公司、深圳华付及泰首公司都建立了紧密的产学研合作，收集了大量相关公司对深度学习人脸识别的需求。合作方一致认为应该和我们团队合作，提高人脸识别算法的准确率和效率，推进人脸识别算法在身份证核查设备、面向金融、社保的身份认证云平台的广泛应用。
(1)科学研究
发表 SCI 期刊论文25篇以上，顶级国际期刊和会议论文15 篇以上；申请发明专利10项以上。
(2)产业应用
将不确定性原理和元学习方法、复杂任务的自适应规划技术以及新型损失函数和优化方法等研究成果应用于灾难应急响应系统、机器人系统、法律援助系统、人脸识别或智能医学图像诊断与分析等领域,累计创造经济效益5000万元。
(2)人才培养
培养硕士研究生30人，博士研究生9人，博士后9人。
(1)科学研究
发表 SCI 期刊论文80 篇以上，顶级国际期刊和会议论文50 篇以上；申请发明专利 40项以上。
(2)产业应用
将不确定性原理和元学习方法、复杂任务的自适应规划技术以及新型损失函数和优化方法等研究成果应用于灾难应急响应系统、机器人系统、法律援助系统、人脸识别或智能医学图像诊断与分析等领域,累计创造经济效益3亿元。
(2)人才培养
培养硕士研究生100人，博士研究生30人，博士后30人。