慕测智能科技|易如反掌：深度学习的个案研究虽然深度学习是一种令人兴奋的新技术

文章图片
虽然深度学习是一种令人兴奋的新技术，但是方法的好处需要对其计算成本进行评估。这对于深入学习尤其重要，因为这些学习需要数小时（至数周）来训练这种模型。如此长的训练时间限制了（a）一名研究人员通过不同随机种子重复测试其结论的稳定性；（b）其他研究人员重复、改进甚至反驳最初的工作，例如，最近，深入学习被用来发现StackOverflow中的哪些问题可以链接在一起。那个深度学习系统花了14个小时才完成。我们在这里展示了将一个非常简单的优化器DE应用于微调支持向量机，它可以获得类似的（有时更好的）结果。 DE方法在10分钟内结束，即比深度学习方法快84倍。我们将这些结果作为软件分析社区的警示，并建议不是每一个创新都应该在没有关键分析的情况下应用。如果研究人员部署一些新的和昂贵的流程，那么工作应该以一些更简单和更先进的替代方案为基础。
【慕测智能科技|易如反掌：深度学习的个案研究】基于搜索的软件工程，软件分析，参数调优，软件工程数据分析，深度学习支持向量机，增量进化
本文推广了徐等人在ASE'16中的一个先验结果（74）。徐描述了一种探索大型程序讨论论坛的方法，发现相关但独立的条目。现代SE的发展如此之快，以至于这些论坛包含了比任何教科书或研究更为相关和最新的的评论
徐预测是否有两个StackOverflow中的问题语义上是可连接的。具体来说，徐将StackOverflow中的问题和答案结合在一起，定义为一个知识单元，如果两个知识单元语义链接，就被认为是相关联的知识单元。
在他们的论文上。他们使用卷积神经网络（CNN），类似于深度学习方法[42] ，来预测两个KUS是否可连接。这种CNN在计算上非常昂贵，通常需要由10到20层、数亿个权值和数十亿个单元（42）之间的连接组成的网络。即使有了先进的硬件和算法，训练深度学习模型仍然需要数小时到数周的时间。例如，徐报告他们的分析需要14小时，使用1000台机器（16000核）在三天内训练一个模型。
本文讨论了一些方法来重复徐的分析。我们关注的是使用简单快捷的方法是否能达到目前最先进的深度学习方法所能达到的效果。具体来说，我们使用DE（differentialevolution[62]）来重复徐的研究， DE作为一个超参数优化器来调整徐的基线方法，后者是一种传统的机器学习算法支持向量机（SVM）。
RQ1：我们可以复制徐的基线结果（单词嵌入+支持向量机）吗？使用这样的基线，我们可以将我们的方法与徐的方法进行比较
RQ2：DE能调整一个模型，使其优于XU的深度学习方法吗？我们应用di进化来调整SVM 。在精密度、召回率和F1评分方面，我们的方法在大多数评价评分中优于CNN 。
RQ3：用DE对SVM进行调整是否比徐的深度学习法更快？我们的DE方法比cnn快84倍。
我们将这些结果作为软件分析的警示。虽然深度学习是一种令人兴奋的新技术，但这种方法的好处需要仔细评估其计算成本。更普遍地说，如果研究人员部署一些新的和昂贵的过程（如深度学习），那么这项工作应该与SE中一些更简单和更快的交替调整相比较。第三节阐述了本研究的案例研究问题和提出的调整方法，第四节描述了本研究的实验设置，包括研究问题、数据集、评价方法和实验设计部分。第五节显示实验结果。第六节讨论了研究结果的含义和对研究有效性的威胁。第七部分对论文进行了总结，并对今后的工作进行了探讨。
在开始之前，我们离题提出两点。首先，由于“DE+SVM在这个应用中胜过了深度学习，这并不意味着DE永远是所有其他软件分析应用的优越方法。没有一个模型在所有的问题上都是最有效的[73]-诀窍是尝试几种方法并选择最好的方法。