Apr 10. 2025 - 学院动态

科研|设计学院10篇论文被人机交互顶会ACM CHI会议录用

 

ACM CHI

The ACM CHI conference on Human Factors in Computing Systems

 

CHI 2025 

南方科技大学创新创意设计学院(以下简称“设计学院”)各科研团队聚焦“设计+科技+产业”跨学科领域的创新与实践,致力于以设计研究为产业带来启发,形成前沿科技到产业未来的转化,以设计推动科技普惠创新。近日,设计学院助理教授诸胜宇(JE Seungwoo)、李雪亮、安鹏铖和Mirna Zordan课题组的科研成果共10篇被美国计算机协会ACM CHI(The ACM CHI conference on Human Factors in Computing Systems)录用,其中7篇为长文录用。

 

大会简介

美国计算机协会 ACM CHI(The ACM CHI conference on Human Factors in Computing Systems)是人机交互领域顶级国际学术会议。与其它计算机科学会议相比,CHI规模庞大,更加注重人与技术之间的互动、探索创新的交互方式、新兴技术在真实世界的应用、以及技术使用中的社会影响与伦理因素。CHI被中国计算机学会(CCF)评为A类会议,被Core Conference Ranking评为A*级(flagship conference)会议,在谷歌学术人机交互领域期刊及会议整体排名中常年位列第一,学术影响力指数H-5 index高达129(2025年数据),CHI的论文一直以来被公认为具有很高含金量。今年会议延续以往入选难度,有5014篇长文投稿进入评审流程,最终录用1249篇,录用率为24.9%。

 

长文 

 

VRCaptions: Design Captions for DHH Users in Multiplayer Communication in VR

VRCaption: 面向聋哑及听力障碍用户的VR多人通信字幕设计

 

 

  • Tianze Xie†, Xuesong Zhang†, Feiyu Huang, Di Liu, Pengcheng An, Seungwoo Je*

 

报告时间

Wed, 30 Apr | 8:12 AM - 8:24 AM (UTC +08:00)

 

在现实场景与VR多人互动中,聋哑及听力障碍(DHH)群体获取听觉信息仍面临持续挑战。为改善此现状,我们研究开发了专门针对VR多人环境中DHH用户需求优化的字幕系统。首先,通过与12名DHH参与者、社会工作者及设计师开展三轮协同设计工作坊,基于VR密室逃脱情境深入探索DHH用户的核心设计需求。继而通过13名DHH用户的迭代测试确定最优功能配置。基于此构建VRCaptions原型系统,该VR字幕系统可有效提升DHH用户在虚拟环境中的多人会话参与度。最终邀请两组混合听力群体通过VR密室逃脱实验验证系统有效性。结果表明,VRCaptions显著增强了DHH参与者的信息获取能力,并将VR环境中的沟通障碍降低63.7%。

 

设计学院2023级博士生解天择,博士后研究员张雪松为论文共同第一作者,助理教授诸胜宇(JE Seungwoo)为通讯作者,南科大为第一单位。

 

ReachPad: Interacting with Multiple Virtual Screens using a Single Physical Pad through Haptic Retargeting

ReachPad: 基于触觉重定向的单物理触控板多虚拟屏交互系统

 

 

  • Han Shi, Hanzhong Luo, HyeonBeom Yi, Seungwoo Je*

 

虚拟现实(VR)技术的发展将二维用户界面扩展至三维空间,这一演变虽催生出更丰富的交互模态,却同时引发了触觉反馈缺失的核心挑战——特别是在空中交互场景中。既有研究虽已探索多种界面交互反馈方案,但多数方法依赖专用触觉设备。本研究创新性引入触觉重定向技术,通过单一平面触控板实现VR环境下多虚拟屏幕的协同操控,该平板设备作为统一物理代理,支持跨多虚拟屏幕的无缝交互。我们首先通过用户研究确定重定向技术下虚拟屏幕的适宜尺寸与空间布局,继而对比分析跨屏拖拽交互方案,最终通过对照实验验证本方案在典型应用场景中相较传统控制器的优越性。

 

设计学院访问学生施涵为论文第一作者,助理教授诸胜宇(JE Seungwoo)为通讯作者。

 

DobbyEar: Inducing Body Illusion of Ear Deformation with Haptic Retargeting

DobbyEar: 基于触觉重定向的耳部形变体感诱导系统

 

 

  • Han Shi, Seungwoo Je*

 

报告时间

Mon, 28 Apr | 4:20 PM - 4:32 PM (UTC +08:00)

 

触觉与视觉多模态刺激在虚拟现实(VR)中构建身体错觉以增强虚拟化身身体所有权(body ownership)的研究,已在心理学与人机交互(HCI)领域形成丰富理论体系。然既有方案多依赖机械装置或物理代理实现触觉反馈。本研究突破性采用触觉重定向技术,通过动态调整用户手部运动轨迹(平均偏移量3.2±0.8cm),改变其对触碰时身体部位形态的感知。该技术可实现亚毫米级精度的复杂形变,基于耳部轮廓映射成功诱导出精灵耳(尖角60°)、狗耳(垂耳角度45°)等差异化形态。通过阈值测定实验,测得虚拟耳部最大可容忍偏转角为28.5°(SD=4.3),且形变感知强度与视觉保真度呈显著正相关(r=0.76, p<0.001)。进一步实验表明,触觉重定向使被试对虚拟化身的身体所有权评分提升至7.82/10分,较传统振动反馈方案提高39.6%(t=5.23, p<0.001),同时空间临场感量表得分达8.15±0.62分。

 

设计学院访问学生施涵为论文第一作者,助理教授诸胜宇(JE Seungwoo)为通讯作者。

 

Breaking Barriers or Building Dependency? Exploring Team-LLM Collaboration in AI-infused Classroom Debate

减少障碍还是产生依赖?探索课堂辩论中团队与大语言模型的协作模式

 

 

  • Zihan Zhang, Black Sun, Pengcheng An*

 

报告时间

Tue, 29 Apr | 1:22 PM - 1:34 PM (UTC +08:00)

 

本研究聚焦于课堂辩论这种高互动性学习教育场景,深入探索了学习者与大语言模型(LLM)的协作模式。通过对辩论过程中人与AI的互动行为的观察与分析,研究揭示了人工智能工具在降低学习者社交焦虑、打破沟通障碍以及为初学者提供学习支架等方面的积极作用。同时,也指出了信息过载和认知依赖等潜在风险,为未来的人机交互教育工具设计提供了相应的启示。

 

设计学院2023级研究生张子晗为论文第一作者,助理教授安鹏铖为通讯作者,南科大为第一单位。

 

Walk in Their Shoes to Navigate Your Own Path: Learning About Procrastination Through A Serious Game

Walk in Their Shoes to Navigate Your Own Path: 通过严肃游戏学习应对拖延症

 

 

  • Runhua ZHANG, Jiaqi GAN, Shangyuan GAO, Siyi CHEN, Xinyu WU, Dong CHEN, Yulin TIAN, Qi WANG*, and Pengcheng AN*

 

报告时间

Tue, 29 Apr | 10:58 AM - 11:10 AM (UTC+08:00) 

 

在本研究中,该工作设计并评估了一款名为 ProcrastiMate 的严肃游戏,旨在帮助玩家获得与拖延行为相关的知识与洞察。通过解决设计中的关键难题——在贴近个人现实与保持心理距离之间取得平衡——ProcrastiMate 结合了LLM模块,支持游戏内容的定制化,使玩家能够深入投入游戏情境,并在不感到被评判的前提下,对自身的拖延行为产生洞察。我们的论文展示了如何通过游戏化的教育方法来干预拖延行为,并提出了在涉及容易让人感到被批评或脆弱的话题(如心理健康问题:焦虑、抑郁、成瘾)

 

该工作与同济大学设计创意学院王琦课题组合作,通讯作者为王琦,助理教授安鹏铖

 

Influencer: Empowering Everyday Users in Creating Promotional Posts via AI-infused Exploration and Customization

Influencer: 通过AI赋能的探索与定制,助力普通用户创作推广内容

 

 

  • Xuye Liu, Annie Sun, Pengcheng An, Tengfei Ma, Jian Zhao*

 

报告时间

 Mon, 28 Apr | 10:58 AM - 11:10 AM (UTC +08:00)

 

Creating promotional posts helps users share creativity and grow communities or micro-businesses, but it's often challenging for design novices. We introduce Influencer, an AI-powered interactive tool that supports fast ideation and quality post creation. It offers image and caption suggestions, brand-aware design exploration, flexible content fusion, and a mind-map-style interface. Our user study and case analyses show that Influencer effectively helps novices create diverse, engaging promotional content with ease.

 

该工作与滑铁卢大学赵健教授WVisdom课题组合作,通讯作者为赵健。

 

LumaDreams: Designing Positive Dream Meaning-Making for Daily Empowerment

LumaDreams:构建积极释梦,助力日常赋能

 

 

 

  • Bolin Lyu, Zhuying Li*, Pengcheng An, Josh Andres

 

报告时间

Tue, 29 Apr | 2:22 PM - 2:34 PM (UTC +08:00)

 

梦境有助于我们的认知与情绪健康,但日常生活中相关工具尚不多见。改研究开发并评估了LumaDreams,一款结合生成式AI的移动应用,支持用户以图文记录梦境,并转化为积极的图像与故事,引导意义建构与反思。在为期14天的用户研究中,LumaDreams 促进了认知与情绪上的积极转变,增强了日常赋能感,也揭示了用户对AI梦境转化过程的理解与信任建立方式。

 

该工作与东南大学计算机科学与工程学院PALM实验室李竹颖课题组合作,通讯作者为李竹颖

 

短文 (Late-Breaking Work)

 

Fire-Works: An Interactive System Based on Breathing Patterns to Support Social Interactions Among the Oldest Old Living in Long-Term Care Facilities

Fire-Works:基于呼吸节律的交互系统以支持长期护理机构中高龄老人社交互动

 

 

  • Xi Zhang, Jiakun Pei, Chuisong Chen, Seungwoo Je, Mirna Zordan*

 

报告时间

Mon, 28 Apr | 5:00 PM - 7:00 PM (UTC +08:00)

 

对于居住在长期护理机构中的高龄老人来说,身体机能和认知能力的衰退往往使他们难以与其他居民进行社交互动。本文提出一种生物反馈系统作为技术探针,该系统允许四位用户通过可视化呼吸节律实现同步,进而激发以身体为媒介的社交互动。研究表明这种基于呼吸的交互系统展现出作为技术介导的干预措施在长期护理机构中部署的广阔前景。

 

设计学院2023级硕士生张汐为论文第一作者,助理教授Mirna Zordan为通讯作者,南科大为第一单位。

 

短文 (Interactivity) 

 

RainbowForest: A Playful Educational Tool to Engage Children with ASD in Learning through Play in Classrooms

RainbowForest:支持孤独症儿童课堂游戏化学习的辅助教学工具设计

 

 

  • Kezhuo WANG, Rui QI, Yafei GE, Pengcheng AN, Xueliang LI*

 

报告时间

Mon, 28 Apr | 5:00 PM - 5:00 PM (UTC +08:00)

 

在针对孤独症儿童的课堂教学中,很少有专门支持孤独症儿童游戏化学习的辅助教学工具。我们从常见于孤独症儿童康复训练中心和特殊教育环境中的儿童玩具,如沙盘、积木和感官玩具中获得灵感,设计了“RainbowForest”。该工具由平台卓、带有颜色传感器和内置LED灯的模块化底座,以及彩色伸缩管组成,为孤独症儿童提供了一种独特的“多感官沙盘游戏”游戏化体验。RainbowForest不仅可以引导有特殊需要的孩子参与到结构化的颜色匹配游戏中,还支持孩子们根据自己的兴趣自由玩耍。此外,RainbowForest的开放式互动方式还支持教师基于特定的课堂教学目标定制新的游戏规则,将这一工具融入到多样化的教学活动中。本项目特别感谢来自深圳市竹香学校的老师和同学们的参与。

 

设计学院2023级硕士生王可卓为论文第一作者,助理教授李雪亮为通讯作者,南科大为第一单位。

 

Visiobo: Assisting Poster Reading for Multiple Viewers with a Projector-enhanced Physical Agent

Visiobo:投影增强的物理代理以协助多观众海报阅读

 

 

  • Kexin HUANG †, Jiaqi JIANG †, Huiying LU, Hanqin ZHOU, Pengcheng AN*

 

报告时间

Tue, 29 Apr | 9:30 AM - 10:10 AM (UTC +08:00)

 

我们提出了一种结合语音交互与视觉信息增强(视觉指引与概念图谱)的具身导览代理系统Visiobo,用于提升海报展览中的多用户学习体验。一项12人的用户实验结果表明,该系统不仅很好地支持了用户对个性化互动、信息定位与确认以及对海报的拓展学习,还促进了观众之间对海报的共同理解与交流。

 

设计学院2023级研究生黄可心,2022级研究生姜嘉琪为论文共同第一作者,助理教授安鹏铖为通讯作者,南科大为第一单位。

 

更多资讯