快讯|旷视天元MegEngine宣布支持CUDA INT4

【网易科技9月5日报道】据悉,为了推动低比特量化技术的发展,旷视天元MegEngine 团队开源了 INT4的源码实现,这也让MegEngine成为首个开源 CUDA INT4源码实现的深度学习框架。据介绍,MegEngine采用均匀线性量化方案,实现了非对称量化和对称量化两种INT4的数据类型,同时通过算子融合优化、kernel优化等方法,使得量化后的模型可以依然保持较高的精度以及良好的运行速度。自开源以来,MegEngine不断优化,已先后发布29个版本。(定西)

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注