青少年科技创新成果竞赛

计算机科学

基于AR扩增实境互动配套识别学前读写困难症学童

香港特别行政区宣道会陈朱素华纪念中学黄诺谦张才进方家豪

指导教师曾祥俊

一、研究背景

现时读写困难症学童普遍在小学三年级后才被发现出来，但读写困难症学童的最佳治疗时间介于学前至小学二年级之间，因此导致他们被较迟发现而大大降低了后期治疗的效果。本发明品针对以上问题，加入AR扩增实境技术制作非文字的测试配套，希望能够及早识别学前至小学二年级读写困难症学童。

二、研究过程

1.设计思路

根据研究背景资料收集和统计数字分析，我们的发明品目标是及早识别出读写困难症的学童，因此，我们构思设计利用扩增实境(AR扩增实境)的手机应用程序配套来改善以上的问题。通过游戏化的模式引导学童完成测试并接受我们设计的识别辅导配套，以改善学童读写困难的情况。收集的学习数据将会经过人工智能大数据作分析以帮助分析学童的学习情况。

2.发明品使用流程

• 开启有后置镜头的安卓手机
• 增强现实游戏化界面评估
• 评估结果识别读写困难学童
• 增强现实游戏改善读写困难症的问题
• 分析学童表现以持续观察改善情况

3.发明品特点

利用AR扩增实境配合游戏化学习:我们通过简单的测试配套让学童轻松在家中利用手机应用程序快乐学习。而不同的AR扩增实境3D打印模具更可训练学前学童分辨“相同”及“不相同”的能力，如颜色、形状等。

以非文字的方式作学前检测:主要以图形及图案制作识别配套，希望能尽早识别学前学童的读写困难症潜在个案，避免他们因为对文字欠缺认知而被忽略。

结合人工智能监测学童学习情况(未来展望):当学童在手机应用程序上使用测试配套时，手机上的前置镜头配合人工智能技术对学童的脸部表情及专注程度进行识别，以便跟进学童在识别过程中的学习情况。

4.软件工程应用

|应用软件|用途|好处|
|---|---|---|
|Unity|利用游戏开发工具Unity软件制作手机应用式及搭建混合实境|跨平台软件制作手机应用程序，能配合C#编程制作游戏，并可结合Vuforia网上平台制作简单AR扩增实境功能|
|Visual Studio|利用Visual Studio程序编写软件C#程序|微软公司开发的程序编写软件能协助Unity编写C#程序，方便快捷|
|Vuforia|利用扩增实境软件开发工具包Vuforia网上平台制作AR扩增实境硬件配套识别|免费平台，用以制作AR扩增实境游戏，并于Unity搭建AR扩增实境场景|

5.硬件工程应用

|应用硬件|用途|好处|
|---|---|---|
|3D打印模具|利用智能手机扫描3D打印模具底部的AR扩增实境图像,搭建AR扩增实境场景|利用硬件配合软件配套,可增加配套学习的互动性,更可训练学前学童的手部肌肉，训练分辨“相同”及“不相同”的能力|
|智能手机|智能手机用于软件配套时,会配合人工智能技术识别学童的脸部表情等|可利用前置镜头配合人工智能识别技术追踪用家的脸部表情|

6.开发成本

|发明品|成本|
|---|---|
|3D打印卡通模具|约$20|
|智能手机App|免费|

三、配套软件运作说明

1.配套软件介绍

AR扩增实境识别配套有3个等级(包括狮子找食物、机械人找零件、蘑菇找家),每个难度有个关卡,目的是要识别用家的读写困难症潜在风险(并相应地制作出一份初步评估供老师或家长参考)。三个角色设有三个不同难度的迷宫关卡,家长需要指示学童点选指定卡通图案(如关卡一:狮子)以进入关卡。

2.配套软件选关阶段

三个角色含有三个不同难度的关卡，家长需要指示学童点选指定角色图案(如关卡一:狮子)开始，学童不能跳过较易关卡进较难的关卡，三个角色按难度循序渐进。国外文献指出，杂乱环境会影响读写困难症学童的阅读能力，因此本测试配套的关卡是按杂乱环境的密集程度顺序排列，以便更准确地找出读写困难症学童。

3.软件使用步骤说明(配套流程)

(1)家长陪同学童开启App内置的AR扩增实境功能。

(2)用相机扫描 3D打印卡通模具底部的识别图案。

(3)之后手机会出现一个卡通图案(浮现在接口右上方)。玩家可用手指点击卡通立体图案以进行游戏。进入游戏关卡后，手机程序上就会随机出现一个迷宫场景。

(4)玩家开始在这个场景上进行游戏。游戏进行三次后会进入下一个难度的3D打印卡通模具。

测试场景上会有4/9/16个缺口的C字方块[根据游戏难度而定，难度1:难度(易)4个缺口的C字方块;难度2:难度(中)9个缺口的C字方块;难度3:难度(难)16个缺口的C字方块]组成一个迷宫，上面有一个起点(以卡通立体图案表示)及终点(以食物、零件、家表示)，而C字方块的缺口所指向的方向便是出口。玩家需在手机上利用手指根据缺口的方向指向下一个方块，由起点划出一条路线至终点。

四、程序实验

1.测试软件有效性

借助学校开放日向香港的小学进行大规模测试，在配套接口进行测试，其中 129名学童确诊已知为读写困难症个案，而 939名学童是非读写困难症个案。

实验结果分析:由于读写困难症学童对杂乱环境和镜面字等情况会出现阅读困难，因此他们在游戏环境中难以划出前往终点的路线。反之，正常学童能够容易地识别路线中的“开口”符号而获得正解路线。基于两类学童在配套中表现上有明显的不同(读写困难症个案为3.11分，对比非读写困难症个案为7.02分)，因此我们的配套可有效地帮助家长或老师找出学前学童是否有读写困难症的特征。

2.测试不同光线下对 AR扩增实境扫描的影响

本实验主要针对不同光线环境下对AR扩增实境界面效能的影响，如扫描成功率、速度等，以推算出这些因素造成的影响。

实验结果分析:从数据可见，在昏暗环境下进行AR扩增实境的平均时间为3.926s，而在正常室内灯光的平均时间为2.16s。昏暗环境的所需时间比正常室内灯光的所需时间高出 1.77s。可见昏暗环境对 AR扩增实境的运作有一定的影响，因此建议用家在正常室内灯光下使用本发明品。

3.测试不同装置对软件安装的影响

本实验主要针对本发明品软件能否在不同移动装置上安装及运作，包括不同机种、型号、装置版本的智能手机或平板电脑等。

实验结果分析:结果表明，此软件可在不同的安卓移动装置上安装并运行，适用于不同的安卓版本，但此软件暂时不能在 iOS移动装置上安装及运作。故建议用家使用安卓装置使用发明品。

4.测试不同次序操作对软件的影响

本实验主要针对以不同次序使用此发明品对其运作、分数计算等的影响。正常次序操作是AR扩增实境→关卡1→AR扩增实境→关卡2→AR扩增实境→关卡3→测试结果。

实验结果分析:从实验数据可见，正常次序操作下能正常显示分数结果，但三次错序操作会出现错误，可见若不按照正常次序操作使用此发明品将无法得到分数结果。

五、未来展望及改进方向

1.制作AR扩增实境改善配套

今后新增两种新的改善配套，在游戏开发工具Unity软件上构建的扩增实境现用于7岁或以上学童，作训练配套使用。在以后的发展中，可以加入更多种配套以核实潜在个案学童在读写困难症上各方面的表现。另外，我们计划将配套设计成不同单元，让学童按照个人的进度和读写困难症的严重程度来挑选合适的单元。

2.人工智能分析脸部表情

人工智能监测读写困难症学童的面部表情和专注程度，利用客观方式跟踪学童的学习表现，以便跟进及分析学童的学习进度。

3.登入系统

由于现在识别系统中的结果需靠人工记录及分析，当有大规模测试时会更加烦琐和不便。因此现在正计划制作登入系统，让学童登人后可储存个人资料、测试进度、分数记录等，以便日后学校可根据数据跟进学童的学习表现。

4.受益人群

主要有三类:读写困难症学童、读写困难症学童的家长、政府和学校。

专家评语

该项目创意新颖，方法和技术路线清晰，团队合作得非常紧密，是一个很优秀的项目。本项目主要创新点在于通过AR扩增实境App，图片识别技术，并配合3D打印技术制作出3D打印卡通模具进行测试，以非文字的智能手机App尽早识别读写困难症潜在个案。建议增加测试的人数和模型。