Stable Diffusion公司开源大语言模型StableLM来了!

2023年4月20日Stable Diffusion公司发布了StableLM阿尔法模型的初始集合,具有3B和7B参数。15B和30B型号即将上市,都是基于CC BY-SA-4.0下发布。大家可以在 Hugging Face上体验StableLM-Tuned-Alpha-7B。

file

Stable Diffusion是stability.ai开源的文生图开源模型,可以说Stable Diffusion的发布将AI图像生成提高到了全新高度,其效果和影响不亚于Open AI发布ChatGPT,其基于模型的工具Stable Diffusion Webui被大家广泛使用,在Github上有67k, 可知它受欢迎的程度。所以大家对StableLM也抱有很大的期待,尽快它只开源了7B的版本。

StableLM模型

StableLM Alpha模型是在the Pile上构建的新数据集上训练的,该数据集包含1.5万亿个token,大约是the Pile的3倍。这些模型将在多达1.5万亿个token上进行训练,这些模型的上下文长度为4096个token。

作为概念的验证,StableLM还使用斯坦福Alpaca程序对模型进行了微调,使用了五个最新的会话代理数据集的组合:斯坦福的Alpaca、Nomic AI的gpt4all、RyokoAI的ShareGPT52K数据集、Databricks实验室的Dolly和Anthropic的HH,将以StableLM Tuned Alpha的形式发布这些模型。

Size StableLM-Base-Alpha StableLM-Tuned-Alpha Training Tokens Parameters Web Demo
3B checkpoint checkpoint 800B 3,638,525,952
7B checkpoint checkpoint 800B 7,869,358,080 Hugging Face
15B (in progress) (pending)
30B (in progress) (pending)
65B (in progress) (pending)
175B (planned)

StableLM-Tuned-Alpha应用场景

主要有四个使用场景闲聊、正式写作、创意写作、辅助编程

聊天

file

写作

file

创意

file

编码

file

如何使用?

shell bash中如何去掉字符串中空格?
ChatGPT平替之ChatGLM-6B

发表我的评论

电子邮件地址不会被公开。 必填项已用*标注

62 + 52 =

ajax-loader