从神经机器翻译器到引导移动GUI的实现( 五 ) 摘要：GUI框架是实现UI设计图像

5.3 有用性评估我们进行了一项试点用户研究，以评估生成的 GUI 框架对引导 GUI 实现的有用性。
我们从学校招募了八名博士生和研究人员。我们要求每个参与者在 Android 中实现相同的 5 个 UI 图像集。我们选择两个相对简单的 UI 设计图像，两个中等复杂的图像和一个复杂的图像进行研究。参与者只需要实现可在 UI 图像中复制 UI 元素及其空间布局的框架式 GUI ，而无需设置组件的属性（例如，字体，颜色，填充等）。该研究分为两组，每组四个参与者：实验组 P1 ， P2 ， P3 ， P4 ，他们使用我们的工具从生成的 GUI 框架开始；对照组 P5 ， P6 ， P7 ， P8 ，从头开始。根据研究前的背景调查，所有参与者都有超过两年的 Java 和 Android 编程经验，并且至少为其工作开发了一个 Android 应用程序。每对参与者 Px ， Px + 4 具有相当的开发经验，因此实验组总体上具有与对照组相似的专业知识。参与者需要使用 Android Studio 以避免工具偏差，并且每个设计最多需要 20 分钟的时间。
我们记录用于实现 UI 设计图像的时间。在每个用户界面图片实施后，要求参与者以五分李克特量表（1：完全不满意； 5：高度满意）来评估他们对实施的满意程度。实验结束后，我们要求研究人员（不参与研究）判断所实现的框架 GUI 与各自的 UI 图像的相似性（也是五点李克特量表：1：完全不相似； 5：相同的布局）。该研究人员不知道哪个组实现哪个框架 GUI 。
图 6 中的方框图显示，实验组实现框架 GUI 的速度比对照组快（平均 6.14 分钟对 15.19 分钟）。实际上，对照组的平均时间被低估了，因为三名参与者未能在 20 分钟内完成至少一张 UI 图像，这意味着他们在实际开发中可能需要更多时间。相反，实验组中的所有参与者将在 15 分钟内完成所有任务。实验组将其实施的 GUI 的 90％评为高度满意（5 分），而对照组则为 15％。这与已实现的 GUI 与研究人员给出的 UI 图像的相似性等级一致。平均而言，实验组和对照组的满意评分为 4.9 对 3.8 ，实验组和对照组的相似评分为 4.2 对 3.65 。
文章插图
图 6：实验组和对照组的比较。*表示 p <0.01 和表示 p <0.05
【从神经机器翻译器到引导移动GUI的实现】尽管决不是决定性的，但此用户研究提供了我们的方法用于引导 GUI 实施的有用性的初步证据。
6. 结论本文介绍了一种用于 UI 图像到 GUI 框架生成的生成工具。我们的工具包含两个组成部分：深度学习架构和自动 UI 数据收集方法。我们的工具具有几个独特的优势：1）将特征提取，空间编码和 GUI 框架生成集成到端到端的可训练框架中。2）它学习直接从图像数据中提取信息丰富的 UI 功能，而无需手工功能或图像预处理。3）它学会直接从 UI 图像和 GUI 框架中将 UI 功能， GUI 组件和组成相关联，不需要这种相关性的详细注释。4）它是使用真实的 Android 应用程序的第一个大规模 UIimage-GUI-skeleton 数据集进行训练的。这些优势为我们的工具提供了前所未有的速度，可靠性，准确性和通用性，可完成 12000 多个 UI 图像到 GUI 框架生成任务。将来，我们将使用不同的 UI 分辨率和方向进一步测试我们的工具。我们还将神经网络组件扩展到 Web 设计和实现。