语音交互是人机交互的重要方式，对智能家居和智慧城市的发展至关重要。在这个报告中，我将介绍跨模态语音感知的两方面工作，多模态语音识别和指纹声音身份认证。多模态语音识别是通过毫米波与语音相融合，开发的一种毫米波语音识别系统。该系统融合了两者模态的优势，实现高抗噪，远距离，稳定性高的语音识别系统。我们建立感知喉咙振动的毫米波与语音之间相关性的数学模型，为系统的融合机制提供理论基础。针对语音识别中的两大难题：一是在恶劣条件下检测语音活动，二是在多人场景中锁定用户，我们基于相关性模型设计了语音活动检测模块和用户标定方法来解决以上难题。为了充分利用两者的相关性，我们基于注意力机制设计了融合网络，并提出了重校正模块和投影模块来解决特征提取与融合不充分等问题。指纹声音身份认证利用带有指纹的粗糙指尖摩擦智能设备（如VR头盔，智能手表）表面产生的声波，从中提取反映指纹差异化的特征，构建了层次化指纹音特征提取模型，使“指纹音”系统变成一个新型“指纹扫描仪”，保证了“指纹音”区分用户的准确率。该方法无需传统的高能耗高价格光学或电容指纹传感器，而仅需日常常见的低能耗低成本的麦克风就可以实现指纹身份认证，可以广泛应用于可穿戴设备，智能家居，工业物联网等物联网终端。

　　传统物联网感知范式 “以物为中心”，存在可扩展性弱、维护成本高、覆盖范围滞、数据类型少等问题。相比之下，群智感知 “以人为中心”，正好弥补传统感知四方面不足，目前已成为一种新型的物联网感知范式。然而，在群智感知中，如何充分利用参与者资源，优化任务分配方案，提高系统整体效用是当前一个亟需解决的重要问题。本报告将介绍如何针对在线型群智任务不断涌现而参与者资源相对有限且分布不均这一现实困境，从寻求社会公平和系统效用最优平衡的角度出发，借助于博弈论强大的数学工具，并结合最优化理论、李雅普诺夫优化、数据挖掘与机器学习等理论和技术，研究移动群智感知中多任务在线分配与公平优化理论和方法，为促进移动群智感知的可持续性健康发展提供新的思路和方法。

　　新款英特尔CPU上所部署的可信执行环境SGX为软件程序提供专属的安全区域，用以保证其中代码与数据的机密性和完整性。然而现有研究表明，可信执行环境本身会遭受侧信道攻击。本报告将涵盖我们在SGX侧信道攻防两端的相关工作。在攻击端，我们分析幽灵漏洞Spectre对SGX的影响，提出针对SGX的衍生攻击SgxPectre来完全绕过SGX的保护机制。在防御端，我们针对目前基于超线程技术的侧信道攻击，提出了一个自动化的攻击检测方案。

　　2021年5月8日至9日，由CCF物联网专委会主办、山东大学计算机科学与技术学院承办的“CCF 物联网专委会走进山东大学(青岛)”在山东大学青岛校区成功举办。本次活动含8个特邀专家报告、1个论坛以及12个青年专家报告，为来自全国各地高校、科研院所的百余位参会专家学者以及山东大学青岛校区广大师生介绍了物联网领域的前沿进展。