大模型到底是怎么生成文字的?

大模型这个热门话题在过去一年里引发了大量讨论,那么,你是否知晓大模型究竟是怎么生成文字的?这篇文章里,作者尝试讲透其生成原理,并带你了解四种构建AI应用的大模型技术架构,一起来看看吧。

在人工智能的领域,大模型在去年已经成为了一个热门的话题。各大厂商如谷歌、微软、OpenAI等,都在积极研发和应用大模型技术。这些模型在语言理解、图像识别、推荐系统等方面都表现出了惊人的能力,甚至在某些任务上,已经超越了人类的表现。

或许你用过,惊叹于它的神奇,或许你没有用过,听着它的传奇。无论如何,都懂那么一点点,但很难讲的清,它到底是怎么生成的?

我们接下来就讲透它生成的原理,并了解四种构建AI应用的大模型技术架构。

一、大模型的生成原理

首先,我们要了解的是,GPT大模型是一种基于深度学习的自然语言处理模型,也就是LLM。

(敲黑板,LLM是一种生成文字的模型,文生图比如DALL·E,它和LLM都是多模态语言模型的分支)它的工作原理可以简单地理解为“学习语言的规律”,它的生成方式只是根据上文,猜下一个词的概率。

那它为什么会掌握这么多的知识?那是因为在模型训练过程中,GPT模型会阅读大量的文本数据,然后学习这些文本中的语言规律。

这个过程可以类比为人类学习语言的方式。当我们是婴儿时,我们会通过听父母和周围的人说话,学习语言的规律。

比如,我们会学习到“我”通常后面会跟“是”,“你”通常后面会跟“好”等等。这就是一种语言规律。GPT模型就是通过类似的方式,学习语言的规律。

但是,GPT模型的学习能力远超人类。

它可以阅读数以亿计的文本,学习到非常复杂的语言规律。这就是为什么GPT模型可以生成非常自然、连贯的文本。

二、GPT模型如何学习语言的规律

说到这里,需要我们了解一下GPT模型的内部结构。GPT模型是由多层神经网络组成的。每一层神经网络都可以抽取文本的某种特征。比如:

第一层神经网络可能会抽取出单词的拼写规律;第二层神经网络可能会抽取出词性的规律;第三层神经网络可能会抽取出句子的语法规律等等。

通过这种层层抽取,GPT模型可以学习到非常深层次的语言规律。

当GPT模型生成文本时,它会根据已有的文本,预测下一个单词,整体就是通过这种方式,生成连贯的文本。

当然,这只是一个非常简化的版本。实际上,GPT模型的工作原理还涉及到很多复杂的数学和计算机科学知识。

三、大模型的四种应用技术架构

大模型的厉害之处,其实不止在于它很像我们人学习语言,而更大的作用在于它未来会改变我们的生活和职场。从整体现有最新的架构来看,其实有四种大模型的应用架构,从上往下,依次从简单到复杂。

第一种:Prompt(指令工程)

指令工程听着好像很遥远,其实就是通过下面这个输入框触发的:

看上去简单,但这个很考验一个人写prompt的“功力”。

prompt的作用就是通过引导模型生成特定类型的文本。一个好的prompt可以引导模型以期望的方式生成文本。例如,如果我们想让模型写一篇关于全球变暖的文章,我们可以给模型一个prompt,如“全球变暖是一个严重的问题,因为…”。模型会根据这个prompt生成一篇文章。

这种方法的优点是简单直观,但缺点是可能需要大量的尝试才能找到一个好的prompt。

第二种:Function calling(函数调用)

Function calling是一种更深入的应用架构,它通过调用模型的内部函数,直接获取模型的某些特性。

例如,我们可以调用模型的词向量函数,获取单词的词向量。

这种方法的优点是可以直接获取模型的内部信息,但缺点是需要深入理解模型的内部结构。

第三种:RAG(Retrieval-Augmented Generation)

RAG是一种结合检索和生成的应用架构。

在这种方法中,模型首先会检索相关的文本,然后用这些文本作为输入,让模型生成答案。

例如,如果我们想让模型回答一个关于全球变暖的问题,模型可以先检索到一些关于全球变暖的文章,然后根据这些文章生成答案。

这种方法的优点是可以利用大量的外部信息,提高模型的生成质量。但缺点是需要大量的计算资源,因为需要对大量的文本进行检索。

第四种:Fine-tuning(微调)

Fine-tuning是一种在特定任务上进一步训练模型的应用架构(如计算钢材的消耗量等等)。

在这种方法中,模型首先会在大量的文本上进行预训练,学习语言的基本规律。然后,模型会在特定任务的数据上进行fine-tuning,学习任务的特定规律。

例如,我们可以在情感分析任务上fine-tuning模型,让模型更好地理解情感。

这种方法的优点是可以提高模型在特定任务上的表现,但缺点是需要大量的标注数据。

最后的话

总的来说,GPT大模型生成结果的原理,就是通过学习语言的规律,然后根据已有的语境,预测下一个单词,从而生成连贯的文本。这就像我们人类说话或写文章一样,根据已有的语境,预测下一个单词或短语。只不过,GPT模型的学习能力和生成能力,远超我们人类。

我们可以看到,AI在学习我们人类,它们不知疲倦,孜孜以求,我们人类也应该向它们学习,不带批判和有色眼镜的看待身边人的观点,用仅剩的群体智慧来继续引领我们走向下一个新世界。

后续还会对四种技术架构进行深入探讨,欢迎交流~

希望带给你一点启发,加油。

作者:柳星聊产品,公众号:柳星聊产品

本文由 @柳星聊产品 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

30秒将任意文字生成视频,AI视频生成模型清影上线

7月26日,北京人工智能大模型企业智谱AI发布AI视频生成模型“清影”,输入几个字到几百个字后,清影就能在30秒内生成1440x960清晰度的高精度视频。

“一艘巨大的古典帆船在巨浪的海面上行驶,灰蒙蒙的夜晚,月光照出蓝色的光影,风浪显得气氛很紧张。”输入一段文字后(俗称Prompt),用户可以选择自己想要生成的风格,包括卡通3D、黑白、油画、电影感等,配上清影自带的音乐,就生成了充满AI想象力的视频片段。

据悉,清影底座的视频生成模型是CogVideoX,采用新型DiT架构,可更高效压缩视频信息,以更好融合文本和视频内容,加强其复杂指令遵从能力、内容连贯性、大幅的画面调度等,相比前代(CogVideo)推理速度提升了6倍。除了文本生成视频,清影也可以支持用图片生成视频,通过图生视频来实现剧情创作、短视频创作等。同时,基于清影的“老照片动起来”小程序也同步上线,人们只需一步上传老照片,AI就能让凝练在旧时光中的照片动起来。

据了解,清影(Ying)的研发得到北京市的大力支持。其中,智谱清影的算力支持来自于北京亦庄人工智能公共算力平台 ,该平台5000P高性能智能算力已投入使用,通过高质量数据、高性能算力、国产软硬件适配、模型评测、行业应用等一体化服务体系,助力人工智能技术迭代创新。

当前,北京正在打造人工智能产业高地,为智谱AI开展大模型研发提供了产业投资、算力补贴、应用场景示范、人才等全方位支持。“智谱清影在北京亦庄算力集群中诞生,未来也将应用实践于北京亦庄广阔的高精尖产业集群,形成大模型赋能实体经济的新应用、新业态、新模式。”智谱相关负责人说。

相关问答

文字怎样生成录音

1.打开手机桌面的应用商店。2.搜索文字转语音点击安装3.安装完成打开输入文字,点击立即合成。3.点击立即保存即可生成录音.1.打开手机桌面的应用商店。2.搜...

【请写出实验室用过氧化氢、高锰酸钾制取氧气的文字表达式及...

[回答]过氧化氢在二氧化锰的催化作用下生成水和氧气,反应的文字表达式为:过氧化氢二氧化锰水+氧气(化学方程式是2H2O2MnO2.2H2O+O2↑).高锰酸钾在加热...

在word中如何快速随机地生成一段文字?

1、启动word2010,此时会新建一个空白文档。2、在新文档中输入一个公式符号“=”。3、在“=”后面输入一个产生随机数的函数“rand()”。rand()函数的格式为:r...

如何把文字做成写在书页?

首先在手机下载美册APP并打开,选择特效视频专区,找到要制作的书本上加文字的效果,使用模板开始制作。制作页面,将找来的情感语句,粘贴进去,然后将段落格式...

电子公章的字体怎么调整?

1、打开Word,点击“插入选项卡,再点击“形状然后选择“椭圆形状。2、按住键盘上的“Shift键,然后按鼠标左键进行拖动,画出一个正圆。3、选中圆,然后将“形...

Word如何生成大量随机文字?

word2016随机生成文字可以使用“=rand()”函数。软件工具:word20161、随机函数“=rand()”的格式为:=rand(段落数,每段几句)。当()中的参数缺省时段落数和...

ps怎样做长图且有文字?

1.首先,打开PS软件,新建一个文档,将画布的宽度设置为600像素,高度设置为3200像素,分辨率为500像素,这些尺寸是预设,在制作的过程中可以修改,2.再打开需...1...

wps的文档怎么随机生成文字?

A列是词语列表根据需要填列(想填列多少都可以)B列是计算随机数据的个数B2=COUNTA(E:E)-1C列是统计各随机词语出现的次数C2=COUNTIF(E:E,A2)向下复制D2=C2.....

如何利用PS处理将输入的文字制作成原文件的文件一样?

首先用PS打开原图片。2.点击“文字”工具,编写文字“101-1A型电热鼓风干燥箱、测厚仪”。3.调整文字,要求文字与源文件文字字体、大小、间距一模一样(颜色先...

PS如何做环形文字?

3、画完圆后,点击右边的路径。4、选中该蒙层,然后点击右下角的第3图标,然后再点击第4图标。5、这样就生成了工作路径。6、点击输入文字工具,当鼠标停留在...4...