Stable Diffusion公司开源大语言模型StableLM来了!
嘻嘻发布于2023-04-21
浏览2023年4月20日Stable Diffusion公司发布了StableLM阿尔法模型的初始集合,具有3B和7B参数。15B和30B型号即将上市,都是基于CC BY-SA-4.0下发布。大家可以在 Hugging Face上体验StableLM-Tuned-Alpha-7B。
Stable Diffusion是stability.ai开源的文生图开源模型,可以说Stable Diffusion的发布将AI图像生成提高到了全新高度,其效果和影响不亚于Open AI发布ChatGPT,其基于模型的工具Stable Diffusion Webui被大家广泛使用,在Github上有67k, 可知它受欢迎的程度。所以大家对StableLM也抱有很大的期待,尽快它只开源了7B的版本。
StableLM模型
StableLM Alpha模型是在the Pile上构建的新数据集上训练的,该数据集包含1.5万亿个token,大约是the Pile的3倍。这些模型将在多达1.5万亿个token上进行训练,这些模型的上下文长度为4096个token。
作为概念的验证,StableLM还使用斯坦福Alpaca程序对模型进行了微调,使用了五个最新的会话代理数据集的组合:斯坦福的Alpaca、Nomic AI的gpt4all、RyokoAI的ShareGPT52K数据集、Databricks实验室的Dolly和Anthropic的HH,将以StableLM Tuned Alpha的形式发布这些模型。
Size | StableLM-Base-Alpha | StableLM-Tuned-Alpha | Training Tokens | Parameters | Web Demo |
---|---|---|---|---|---|
3B | checkpoint | checkpoint | 800B | 3,638,525,952 | |
7B | checkpoint | checkpoint | 800B | 7,869,358,080 | Hugging Face |
15B | (in progress) | (pending) | |||
30B | (in progress) | (pending) | |||
65B | (in progress) | (pending) | |||
175B | (planned) |
StableLM-Tuned-Alpha应用场景
主要有四个使用场景闲聊、正式写作、创意写作、辅助编程