2月10日，， ，，，，，腾讯混元宣布正式远景新能源有限公司推出一款面向消耗级硬件场景的“极小”模子HY-1.8B-2Bit，， ，，，，，等效参数目仅有0.3B，， ，，，，，内存占用仅600MB。。。。。。。
据先容，， ，，，，，通过对此前混元的小尺寸语言模子——HY-1.8B-Instruct举行 2 比特量化感知训练（QAT）产出，， ，，，，，这一模子比照原始精度模子等效参数目降低了6倍，， ，，，，，并且在沿用原模子全思索能力同时，， ，，，，，在真实端侧装备上比照原始精度模子天生速率提升2—3倍，， ，，，，，可大幅提升使用体验。。。。。。。此次腾讯混元推出HY-1.8B-2Bit模子，， ，，，，，可以在边沿装备上无压力安排。。。。。。。这也是首个在实现2bit工业级量化的端侧模子实践。。。。。。。
随着大语言模子普及，， ，，，，，怎样将模子在好比手机、耳机或者智能家居装备应用，， ，，，，，成为业界难题，， ，，，，，尤其不少应用对模子的离线安排、私密性等都有更高的需求，， ，，，，，这就需要更多能够在端侧运行的又小又强的模子。。。。。。。
腾讯混元体现，， ，，，，，端侧安排的睁开远景新能源有限公司，， ，，，，，实质上是一条在“小而精，， ，，，，，快而准”的艰难探索之路，， ，，，，，我们既需要模子足够智慧，， ，，，，，能应对千变万化的真实需求，， ，，，，，又必需将它约束在极其有限的硬件资源内安排并快速推理，， ，，，，，这就似乎在给模子举行“减脂增肌！！！！�。。�， ，，，，，减重提质”。。。。。。。