智工具作者 李水青编辑 心缘

智工具2月10日报道，，，，，今日，，，，，腾讯混元开源一款面向消耗级硬件场景的“极小”模子HY-1.8B-2Bit，，，，，等效参数目仅有0.3B，，，，，内存占用仅600MB，，，，，比常用的一些手机应用还小，，，，，可外地化安排于手机、耳机或智能家居等装备应用。。。。。。。

该模子基于首个工业级2比特（Bit）端侧量化计划，，，，，通过对此前混元的小尺寸语言模子HY-1.8B-Instruct举行2比特量化感知训练（QAT）产出。。。。。。。这一模子比照原始精度模子等效参数目降低6倍，，，，，沿用原模子全思索能力，，，，，可凭证使命重漂后切换长/短头脑链；；；；；；同时在真实端侧装备上天生速率提升2-3倍。。。。。。。

▲ HY-1.8B原始精度模子天生效果

▲HY-1.8B-2Bit模子天生效果，，，，，2bit量化后的模子速率显着更快

比特是盘算机存储的最小单位，，，，，一样平常模子的精度有2比特、4比特、8比特、32比特等体现要领，，，，，数值越大模子的精度更高，，，，，所占的内存就越大。。。。。。。虽然2比特量化的精度损失较大，，，，，但通过QAT和先进的量化战略，，，，，团队已经能让2比特模子靠近全精度模子的性能，，，，，比照4比特PTQ模子版本数学、代码、科学等指标上体现相当。。。。。。。

关于原始模子巨细只有1.8B，，，，，量化bit数只有2bit的HY-1.8B-2Bit，，，，，混元团队接纳了量化感知训练战略，，，，，从而显著提升了量化后模子的性能。。。。。。。腾讯混元还通过数据优化、弹性拉伸量化以及训练战略立异三个要领，，，，，来提升HY-1.8B-2Bit的全科能力。。。。。。。

安排方面，，，，，腾讯混元提供了HY-1.8B-2Bit的gguf-int2名堂的模子权重与bf16伪量化权重，，，，，比照原始精度模子，，，，，HY-1.8B-2Bit现实模子巨细直降6倍，，，，，仅有300MB，，，，，能够无邪用于端侧装备上。。。。。。。该模子也已在Arm等盘算平台上完成适配，，，，，可安排于启用Arm SME2手艺的移动装备上。。。。。。。

在MacBook M4芯片上，，，，，HY-1.8B-2Bit牢靠了线程数为2测试了差别窗口巨细下的首字时延和天生速率，，，，，模子选定fp16、Q4、HY-1.8B-2Bit三种gguf名堂作为比照，，，，，首字时延在1024输入内能够坚持3~8倍的加速，，，，，天生速率上常用窗口下比照原始模子精度，，，，，HY-1.8B-2Bit能够实现至少2倍稳固加速。。。。。。。

在天玑9500上同样举行了测试，，，，，比照HY-1.8B-Q4名堂首字时延能够加速1.5~2倍，，，，，天生速率加速约1.5倍。。。。。。。

项目链接：https://github.com/Tencent/AngelSlim模子地点：https://huggingface.co/AngelSlim/HY-1.8B-2Bithttps://huggingface.co/AngelSlim/HY-1.8B-2Bit-GGUF手艺报告：https://huggingface.co/AngelSlim/HY-1.8B-2Bit/blob/main/AngelSlim_Technical_Report.pdf

结语：模子“瘦身”，，，，，加速端边侧智能生长

HY-1.8B-2Bit的推出标记着腾讯在小型化、多语言和端侧AI上的新突破。。。。。。。它不但在性能上靠近更大规模的模子，，，，，还兼顾了速率、内存和隐私的平衡。。。。。。。

从去年中阿里的Qwen-Embedding-0.6B、谷歌的0.27B的Gemma 3、0.3B的EmbeddingGemma，，，，，再到今年头腾讯0.3B的HY-1.8B-2Bit，，，，，越来越多的小尺寸模子可供开发者选择，，，，，推动RAG、语义搜索等应用一直下沉至小我私家装备。。。。。。。

目今，，，，，HY-1.8B-2Bi黑龙江龙江自然气科技有限公司t的能力仍受限于监视微调（SFT）的训练流程，，，，，以及基础模子自己的性能与抗压能力。。。。。。。针对这一问题，，，，，混元团队未来将重点转向强化学习与模子蒸馏等手艺路径，，，，，以期进一步缩小低比特量化模子与全精度模子之间的能力差别。。。。。。。