【新智元】丛京生院士深度解读可定制计算的设计自动化：自动将代码转换成电路描述，解决开发人员最大难题( 四 )

本文插图

本文插图

本文插图

本文插图

本文插图

本文插图
类似这样对于一个软件程序员进行常年的HLS C/C++代码的训练并不是可推广和有效率的模式。我的希望是在座的各位只要经过一些基本优化理论的训练就可以通过写软件代码得到优于通用CPU的设计。这样大家才能广泛体会到可定制计算能够带来的好处。不恰当地说我想“民主化”可定制计算这项技术——使得它可以被所有人轻松的使用，而不再是掌握在少数人手里的垄断技术。大家可以看到我们的科研计划，我们真心实意地想在高层次语言和电路实现中间构建起一座桥梁。我们从C /C++, Caffe/Tensorflow, Spark, Halide等语言和框架出发，把他们变成通用的中间表示，然后再把他们映射到各种各样高性能的微架构上去。这些步骤我们希望都是自动的、智能的，不需要用户干预。我的学生们已经在使用峰科计算（Falcon Computing Solutions）推出的Merlin编译器，通过几十分钟的训练就可以得到和经过几年高层次综合训练的学生相同性能的设计。

本文插图
在这里我举一个我们已经实现的微架构优化的例子，将某些计算模块映射到脉动阵列(Systolic Array)上。这是一个已经提出很多年的结构,一个单元只能和它的邻接单元通信，其目的就是减少各个计算单元之间的通信损耗从而提高运行频率。这里的第一个问题是什么样的应用可以映射到脉动阵列。第二个问题是通过什么方式可以从众多不同参数的脉动阵列解法中找出一个最优解。这两个问题都不容易。我们为此开发了一个PolySA 编译器来专门解决这个问题[11] 。在这里我不具体展开，简单来说我们把其中的多重循环转化成多边形模型（Polyhedral Model）来求解。从这个模型出发我们发现了一条可以映射到脉动阵列的路。通过PolySA我们发现对于矩阵乘法有五种脉动阵列的结构存在潜在的最优解，对于卷积神经网络(CNN)则有15种潜在的脉动阵列结构[12][13][14] 。

本文插图
模板计算让图片可以进行模糊或者锐化的操作另外一个微架构例子是模板计算（Stencil Computation）。比如在下图中某一像素的值将会根据相邻四个像素的值进行更新。借此技术，图片可以做模糊或者锐化的操作。假设我们要在一个时钟周期内完成计算所需要的数据访问，鉴于存储器的端口有限，相关的五个数据元素最好能从五个不同的存储体(memory bank)中同时得到。更复杂一点如果我想同时处理多个像素点，我需要保证更多的数据来自于不同的存储体。所以这个计算任务不管是片内还是片外，存储访问都是瓶颈。我们设计了一个可定制的存储架构来满足以上需求[15] 。这个架构里有一系列的FIFO ，算法根据数据访问模式自动设计这些FIFO的长度和推入推出行为，从而保证每一时钟周期下所需数据都按时取得。

本文插图
我们研究的一个更加通用的架构叫作可定制并行流水结构(Customizable, Parallel, and Pipeline (CPP) Architecture)[16] 。 FPGA有数以百万计的逻辑门，在这个资源范围内有两件事情你可以做的非常好。第一件就是大规模的并行化电路执行，想多并行就多并行。第二件就是任意长度的流水线，想多长就可以有多长。我们AutoESL的第一个客户其实并不是来自半导体行业，而是金融行业。他们跑来问我能不能试用我们的产品。我问你们想用我们的产品做什么？他们说做高频交易——用可定制的电路只要比别的公司用CPU做的快一秒就能挣非常多的钱。他们给我们的第一个测试案例是金融界知名的Black-Scholes模型。我们的实现用了300多级流水线实现了令他们非常满意的结果。不仅仅是流水线，通过我们的研究发现一般的高层次综合加速任务只要照着我们的优化模板来做，就能达到很好的效果。首先你需要做存储访问和计算的拆分。接着尽量做宽内存访问(Memory Coalescing)来达到最大的带宽使用率。然后小心地设计片上存储分块，保证计算需要的并行片上数据访问。最后确保所有的循环都可以被并行执行或者按流水线执行。