户外 露出 芯片设想服从擢升2.5倍,中科大华为诺亚商酌,用GNN+蒙特卡洛树搜索优化电路设想
芯片设想是当代科技的中枢户外 露出,逻辑优化(Logic Optimization, LO)当作芯片设想经由中的枢纽要津,其效鲠径直影响着芯片设想的全体性能。
可是,传统逻辑优化算子由于存在无数无效和冗余的变换,导致优化过程耗时较长,成为制约芯片设想服从的主要瓶颈。
为解决这一挑战,中科大王杰汲引团队(MIRALab)和华为诺亚方舟实验室(HuaweiNoah ’ sArkLab)商酌建议了基于神经符号函数挖掘的高效逻辑优化面容户外 露出,权臣擢升传统枢纽逻辑优化算子初始服从最高达 2.5 倍。
论文已被 ICLR 2025 接纳。
盘问团队建议了一种转换的数据驱动的电路神经符号学习框架—— CMO。
庸碌解释,盘问团队设置了一种贤慧又高效的 AI 算法框架。这个系统通过"看图识路"(图神经蚁合)加上"会棋战的计谋"(蒙特卡洛树搜索),大要自动学会何如更快、更智能地"剪枝"电路逻辑——就像帮电路减肥,让它初始得更快但不丢性能。
在执行测试中,CMO 能让枢纽算法初始服从擢升最多 2.5 倍,也等于说,原本跑 10 分钟的任务,当今 4 分钟就处分了。这个技艺还是被集成进华为自研的EMU 逻辑详尽器具中,有劲地相沿了 EDA 器具全链条国产化任务。
序文
芯片设想自动化(EDA)被称为"芯片之母",是半导体行业的枢纽基石。逻辑优化(LO)是前端设想经由中最遑急的 EDA 器具之一,其中枢任务是通过功能等效的转念来优化电路,减少电路的限制和深度,从而擢升芯片的质地。
LO 任务是一个 NP-hard 问题。为了解决 LO 问题,现存的启发式算子(如 Mfs2 [ 1 ] 、Resub [ 2 ] 、Rewrite [ 3 ] 、Refactor [ 4 ] 等)通过遍历电路图节点并进行局部转念而完好意思逻辑优化。但由于现存算子存在无数无效和冗余的转念,导致优化过程相等耗时,严重铁心了芯片设想的服从。为了提高 LO 的服从,先前的盘问建议使用打分函数来估量并剪枝无效的节点转念。
现存的打分函数约莫分为两类,第一类是东说念主工设想的启发式有筹画 [ 5 ] ,这些面容固然具有可解释性,但设想过程复杂,且泛化性能较差,难以保证算子优化性能。第二类是基于图神经蚁合(GNN)的深度学习有筹画 [ 6 ] ,尽管 GNN 在 LO 任务中发扬出色,但且推理严重依赖于 GPU,难以在纯 CPU 的工业环境中部署。此外,GNN 的"黑箱"特质也激发了对其可靠性的担忧。因此,何如找到兼具推理服从、可解释性和泛化性能的打分函数是逻辑优化范畴亟待解决的繁难。
为了解决上述繁难,盘问团队建议了首个数据驱动的电路神经符号学习框架(Circuit symbolic learning framework,CMO ) ,该框架接纳教练 - 学生范式,期骗泛化性强的 GNN 模子当作教练,并领导当作学生的基于蒙特卡洛树搜索的符号学习有筹画,从而灵验生成兼具泛化智商与轻量化的符号打分函数。
在三个具有挑战性的电路基准测试中,离线实验罢了标明,CMO 学习到的可解释符号函数在推理服从和泛化智商方面均权臣优于此前基于 GPU 的发轫进面容以及东说念主工设想的有筹画。此外,在线实验进一步考证了 CMO 的执行应用价值:CMO 大要在保合手枢纽算子优化性能的同期擢升其初始服从最高达 2.5 倍。该有筹画为芯片设想器具的高效化提供了新的解决有筹画,面前已得手应用于华为自研 EMU 逻辑详尽器具中。
配景与问题先容 1. 逻辑优化(Logic Optimization,LO)
逻辑优化是电子设想自动化(EDA)器具中的枢纽模块,旨在通过优化由有向无环图默示的电路图 ( 即减少电路图的面积与深度 ) ,擢升芯片的性能、功耗和面积(PPA)。逻辑优化不期间为两个阶段:
映射前优化(Pre-mapping Optimization):在电路映射到技艺库之前,使用启发式算法(如 Rewrite、 Resub、 Refactor 等)对电路进行优化。
映射后优化(Post-mapping Optimization):在电路映射到技艺库(如圭表单位网表或 K 输入查找表)后,进一步使用启发式算法(如 Mfs2)对电路进行优化。
逻辑优化的中枢任务是通过功能等效的转念减少电路的限制和深度,从而擢升芯片的质地。可是,逻辑优化是一个 NP 难问题,现存的启发式算法固然灵验,但由于存在无数无效和冗余的转念,导致优化过程相等耗时。因此,何如提高逻辑优化的服从成为芯片设想中的一个枢纽挑战。
2. 基于节点剪枝的高效逻辑优化框架
为了擢升逻辑优化的服从,盘问者建议了如图 1 所示的估量与剪枝框架(Prediction and Prune Framework),该框架通过引入打分函数来估量并剪枝无效的节点转念,从而减少不消要的预计支拨。具体来说:
节点级转念(Node-level Transformations):逻辑优化启发式算子(如 Mfs2)接续会对电路中的每个节点按序应用转念。可是,好多转念是无效的,即它们不会对电路的优化罢了产生骨子性影响。
打分函数的作用:打分函数用于评估每个节点的转念是否灵验。通过估量并剪枝无效的节点转念,不错权臣减少启发式算法的预计量,从而擢升优化服从。
△图 1. 逻辑优化中的估量与剪枝框架
可是,现存的评分函数在以下几个方面存在局限性:
1. 推理服从:基于深度学习的评分函数(如 GNN)固然估量准确率高,但其推理期间长,在纯 CPU 环境的大限制工业电路上推理期间最高可占算子初始期间的 30%,因此难以温情工业需求。
2. 可解释性:深度学习模子(如 GNN)的"黑箱"特质使得其在执行应用中的可靠性受到质疑。
3. 泛化性能:东说念主工设想的评分函数固然具有可解释性,但其泛化性能较差,难以顺应不同电路的特质。
为了解决这些问题,本文建议了CMO 框架,通过学习轻量级、可解释且泛化智商强的符号函数来优化逻辑综划算子。
面容
为了挖掘轻量化符号打分函数,最初建议了数据驱动的神经符号学习框架 ( Circuit Symbolic Learning framework, CMO ) ,在 CMO 中的中枢技艺孝顺是图增强的蒙特卡洛树搜索有筹画 ( Graph Enhanced Symbolic Discovery Framework, GESD ) ,通过学习图神经蚁合内蕴的学问以擢升符号函数的泛化智商。
1. 数据驱动的神经符号学习框架 -CMO
如图 2 所示,CMO 描摹了该盘问通盘这个词符号函数学习与执行部署的 pipeline。
△数据驱动的神经符号学习框架 CMO 数据采集
通过应用逻辑优化启发式算法(如 Mfs2)对电路进行优化,生成数据集。关于电路中的每个节点,生成一个数据对,其中是节点特征,是标签(要是节点转念灵验则标签为 1,不然为 0)。
关于一个给定的电路图,采集到的数据为
,筹画是从中学习轻量且可解释的符号函数。
结构 - 语义特征判辨
关于节点特征的设想,盘问团队参考了 [ 5 ] 的设想,将节点特征设想为了包含图结构与图语义信息的高维特征。其中,结构特征包含电路的拓扑信息(如节点的层级、扇入 / 扇出数等),而语义特征包含功能信息(如节点的真值表)。可是,高维特征会导致搜索空间急剧增多,为了解决这一问题,建议了结构 - 语义特征判辨计谋。团队不雅察到结构特征是一语气的,顺应数学符号纪念;而语义特征是翻脸的,顺应布尔符号学习。因此,将特征分离并别离使用不同的符号纪念有筹画学习,权臣减少了符号搜索空间,并从结构与语义两个维度集成信息,有意于模子泛化性能的擢升。
神经符号函数学习
结构函数学习:关于一语气的结构特征,该函数将结构特征映射为一语气值。
语义函数学习:关于翻脸的语义特征,该函数将语义特征映射为翻脸值。
特征信息交融
在测试阶段,将捕快得回的结构函数与语义函数同期当作部署模子,并将结构函数和语义函数的输出交融,得回节点的最终分数:
其中是一个权重参数,用于均衡两种特征的遑急性。
2. 图增强的蒙特卡洛树符号搜索有筹画 -GESD
在 CMO 中,何如从给定的电路数据中发现具有强泛化智商的符号函数是一个枢纽问题。为此,建议了首个图增强的蒙特卡洛树符号搜索有筹画—— GESD(如图 3 所示)。
该有筹画通过图神经蚁合(GNN)领导蒙特卡洛树的生成,奥妙衔尾了图神经蚁合的高泛化智商与符号函数的轻量化上风,从而权臣擢升了符号函数的泛化性能。
△图 3. 图增强的蒙特卡洛树符号搜索有筹画 GESD 符号树生成
符号操作符:在生成符号函数之前,需要界说搜索中使用的符号。用于生成结构抒发式树的数学运算符包括:{+, − , × , ÷ , log, exp, sin, cos}。团队莫得使用占位符来生成常数,因为引入里面常熟优化轮回接续会导致 更高的捕快老本。此外,团队发现像 exp、sin、cos 等复杂操作符大要灵验擢升符号函数的估量性能。关于生谚语义抒发式树的布尔运算符包括:{ 与,或,非 },通过与或非的组合大要拟合随心一个布尔抒发式。
蒙特卡洛树搜索:受到蒙特卡洛树搜索(MCTS)在灵验探索大型复杂符号空间方面的上风启发(Sun 等,2023;Xu 等,2024),使用符号抒发式树来默示符号函数通过抒发式树并期骗 MCTS 生成符号树。关于一棵符号树,他的里面节点是数学运算符(如加、减、乘、除、对数、指数等),叶子节点是输入变量或常数。界说景况(s)为现时抒发式树的先序遍历,动作(a)为添加到景况中的符号操作符或变量。具体来说,此盘问中的 MCTS 包括四个圭表:聘任、膨胀、模拟和反向传播。
1. 聘任:在聘任阶段,MCTS 代理遍历现时抒发式树,聘任具有最大 UCT 值的动作。为了确保生成抒发式的正当性,在现时景况下,MCTS 代甘心屏蔽掉现时非末端节点的无效动作,并在此基础上聘任一个灵验的动作当作。
2. 膨胀:当聘任阶段达到一个可膨胀节点——即它的子节点并非一说念已被造访—— MCTS 代甘心通过立时聘任一个未造访的灵验子节点来膨胀该节点。
国产婷婷综合在线精品3. 模拟:在现时景况和膨胀节点的基础上,通过立时聘任下一个节点进行仿真,直到抒发式树完成。具体来说,进行 10 次仿真,并复返最大仿真奖励,而不是传统 MCTS 算法中的平均奖励,以找到独一的最优符号解,这是一种与传统 MCTS 算法不同的运筹帷幄搜索启发式面容。
4. 反向传播:仿真收尾后,更新旅途中从现时节点到根节点的最大奖励 Q 和造访次数 N。该搜索算法会握住叠加上述圭表,直到温情住手准则。
图增强符号函数
教练 - 学生框架:
引入图神经蚁合(GNN)当作教练模子,通过蒸馏 GNN 的"暗学问"来增强符号函数的泛化智商。具体来说,最初在捕快数据集上捕快一个 GNN,该 GNN 大要灵验捕捉电路中的复杂结构和语义信息,从而解决由于电路范畴散播大幅度变化而导致的泛化智商差的问题。然后,期骗 GNN 的估量输出和信得过标签来领导符号函数的学习过程。
这种教练 - 学生框架的中枢想想是通过 GNN 的高泛化智商来指示符号函数的生成,从而弥补传统符号面容在泛化性能上的不及。
奖励函数设想:
在 MCTS 的模拟阶段,使用以下奖励函数评估符号函数:
其中是基于标签的亏空,用于确保符号函数的估量罢了与信得过标签一致;
是基于 GNN 输出的亏空,用于将 GNN 的泛化智商挪动到符号函数中。通过疗养权重不错均衡标签信息和教练学问的遑急性。此外,是一个刑事背负因子,用于戒指符号函数的复杂度,确保生成的符号函数既简单又高效。
图蒸馏
通过最小化符号函数输出与 GNN 输出之间的均方差错(MSE),将 GNN 的泛化智商挪动到符号函数中。与以往使用 KL 散度的面容不同,MSE 大要径直学习 GNN 输出的泛化信息,从而完好意思与 GNN 荒谬的泛化性能。具体来说,盘问团队发现电路特征与 GNN 输出之间存在浅显的非线性映射关系,这使得符号函数大要在不葬送性能的情况下保合手轻量化。
此外,针对电路数据中正负样本严重不屈衡的问题,接纳焦点亏空(Focal Loss)当作学生模子的亏空函数,进一步擢升符号函数的学习后果。焦点亏空通过疗养难易样本的权重,灵验缓解了样本不屈衡带来的负面影响,从而提高了符号函数在寥落数据上的发扬。
实验罢了
在实验部分,在两个泛泛使用的开源电路数据集(EPFL 和 IWLS)以及一个工业电路数据集上进行了全面测试。实验罢了标明,该面容在多个方面发扬出色:
1. 服从擢升:CMO 框架权臣擢升了传统枢纽逻辑优化算子(如 Mfs2)的初始服从,最高可达 2.5 倍加快。举例,在超大限制电路 Sixteen 上,CMO-Mfs2 将初始期间从 78,784 秒减少到 32,001 秒,擢升了约 59.4%。
2. 优化质地擢升:通过在疏导期间内屡次初始 CMO 驱动的新式算子(如 2CMO-Mfs2),进一步擢升了电路的优化质地(QoR)。具体来说,电路的限制和深度得回了权臣改善,其中电路深度的最大优化幅度达到 30.23%。举例,在 Hyp 电路上,2CMO-Mfs2 将电路深度从 8,259 层减少到 5,762 层,权臣缩小了电路的蔓延。
这些实验罢了充分证实了 CMO 框架在擢升逻辑优化服从和质地方面的双重上风,为芯片设想中的逻辑优化任务提供了强有劲的相沿。
△表 1. 实验罢了标明该面容不仅大要擢升算子服从,同期还大要擢升算子优化质地
本论文作家白寅岐是中国科学技艺大学 2024 级硕士生,师从王杰汲引,主要盘问所在为东说念主工智能驱动的芯片设想、图机器学习、大模子等。他曾在东说念主工智能顶级会议 ICML、Neurips 等会议上发表论文两篇,本科期间曾获首批国度后生学生基础盘问神色资助(世界 108 东说念主)。
论文地址:https://openreview.net/forum?id=EG9nDN3eGB
代码地址:https://gitee.com/yinqi-bai/cmo
一键三连「点赞」「转发」「防御心」
接待在批驳区留住你的见地!
— 完 —
学术投稿请于责任日发邮件到:
ai@qbitai.com
标题注明【投稿】,告诉咱们:
你是谁,从哪来,投稿内容
附上论文 / 神色主页通顺,以及相干样式哦
咱们会(尽量)实时恢复你
� � 点亮星标 � �
科技前沿进展逐日见户外 露出