CPM-Bee是完全开源、可商用的中英双语基础模型，参数容量达百亿级。这是通过CPM-Live培训过程实现的第二个里程碑。 CPM-Bee利用Transformer自回归架构，在万亿级代币的海量语料库上进行了预训练，拥有卓越的基础能力。