最近一直在做大模型的预训练（clm或者mlm），也在做sft（使用指令数据做有监督微调）。 我发现：从数据结构的角度来说，clm、mlm、sft其实本质上都是差不多的。 工程上（或者叫代码上）98%都是相同的。 2%的不同，体现在训练的数据结构上和data_collator部分。

美国皮肤护理品牌 Neutrogena（露得清）将于周二在拉斯维加斯举行的2019年国际消费电子展 Consumer Electronics Show（CES）上发布首款微型3D打印面膜 Mask iD。 Mask iD 的个性化定制体现在三个方面： 首先是定制面膜与脸部轮廓的贴合度。Mask iD 是史上第一款为用户的脸部 ...