新京报贝壳财经讯（记者罗亦丹腾海塑胶制品有限公司）2月10日，，，，，，腾讯混元开源面向消耗级硬件场景的“极小”模子HY-1.8B-2Bit，，，，，，该模子基于1.8B参数的小尺寸模子，，，，，，通过2Bit量化手艺，，，，，，等效参数目约为0.3B，，，，，，现实存储占用仅约600MB，，，，，，比常用的一些手机应用还小，，，，，，实现了端侧安排的新突破。。。。。。。

该模子基于混元团队首创的工业级2Bit端侧量化计划，，，，，，通过对HY-1.8B-Instruct模子举行2比特量化感知训练（QAT）产出，，，，，，模子巨细镌汰至原始精度模子的1/6，，，，，，同时在真实端侧装备上天生速率提升2-3倍，，，，，，可大幅提升使用体验。。。。。。。能力上，，，，，，模子还保存了原版的头脑链，，，，，，可以为差别重漂后的使命提供响应深度的推理历程。。。。。。。这是业界首个实现2bit工业级量化的端侧模子实践。。。。。。。

随着大语言模子普及，，，，，，怎样将模子在手机、耳机或智能家居等装备上应用，，，，，，成为业界难题，，，，，，尤其是不少应用对模子的离线安排、私密性等都有更高的需求，，，，，，这就需要更多能够在端侧运行的又小又强的模子。。。。。。。现在，，，，，，模子已在开源模子社区Huggingface和Github上线。。。。。。。

编辑 杨娟娟

校对 柳宝庆