大模型到底是怎么生成文字的?

大模型这个热门话题在过去一年里引发了大量讨论,那么,你是否知晓大模型究竟是怎么生成文字的?这篇文章里,作者尝试讲透其生成原理,并带你了解四种构建AI应用的大模型技术架构,一起来看看吧。

在人工智能的领域,大模型在去年已经成为了一个热门的话题。各大厂商如谷歌、微软、OpenAI等,都在积极研发和应用大模型技术。这些模型在语言理解、图像识别、推荐系统等方面都表现出了惊人的能力,甚至在某些任务上,已经超越了人类的表现。

或许你用过,惊叹于它的神奇,或许你没有用过,听着它的传奇。无论如何,都懂那么一点点,但很难讲的清,它到底是怎么生成的?

我们接下来就讲透它生成的原理,并了解四种构建AI应用的大模型技术架构。

一、大模型的生成原理

首先,我们要了解的是,GPT大模型是一种基于深度学习的自然语言处理模型,也就是LLM。

(敲黑板,LLM是一种生成文字的模型,文生图比如DALL·E,它和LLM都是多模态语言模型的分支)它的工作原理可以简单地理解为“学习语言的规律”,它的生成方式只是根据上文,猜下一个词的概率。

那它为什么会掌握这么多的知识?那是因为在模型训练过程中,GPT模型会阅读大量的文本数据,然后学习这些文本中的语言规律。

这个过程可以类比为人类学习语言的方式。当我们是婴儿时,我们会通过听父母和周围的人说话,学习语言的规律。

比如,我们会学习到“我”通常后面会跟“是”,“你”通常后面会跟“好”等等。这就是一种语言规律。GPT模型就是通过类似的方式,学习语言的规律。

但是,GPT模型的学习能力远超人类。

它可以阅读数以亿计的文本,学习到非常复杂的语言规律。这就是为什么GPT模型可以生成非常自然、连贯的文本。

二、GPT模型如何学习语言的规律

说到这里,需要我们了解一下GPT模型的内部结构。GPT模型是由多层神经网络组成的。每一层神经网络都可以抽取文本的某种特征。比如:

第一层神经网络可能会抽取出单词的拼写规律;第二层神经网络可能会抽取出词性的规律;第三层神经网络可能会抽取出句子的语法规律等等。

通过这种层层抽取,GPT模型可以学习到非常深层次的语言规律。

当GPT模型生成文本时,它会根据已有的文本,预测下一个单词,整体就是通过这种方式,生成连贯的文本。

当然,这只是一个非常简化的版本。实际上,GPT模型的工作原理还涉及到很多复杂的数学和计算机科学知识。

三、大模型的四种应用技术架构

大模型的厉害之处,其实不止在于它很像我们人学习语言,而更大的作用在于它未来会改变我们的生活和职场。从整体现有最新的架构来看,其实有四种大模型的应用架构,从上往下,依次从简单到复杂。

第一种:Prompt(指令工程)

指令工程听着好像很遥远,其实就是通过下面这个输入框触发的:

看上去简单,但这个很考验一个人写prompt的“功力”。

prompt的作用就是通过引导模型生成特定类型的文本。一个好的prompt可以引导模型以期望的方式生成文本。例如,如果我们想让模型写一篇关于全球变暖的文章,我们可以给模型一个prompt,如“全球变暖是一个严重的问题,因为…”。模型会根据这个prompt生成一篇文章。

这种方法的优点是简单直观,但缺点是可能需要大量的尝试才能找到一个好的prompt。

第二种:Function calling(函数调用)

Function calling是一种更深入的应用架构,它通过调用模型的内部函数,直接获取模型的某些特性。

例如,我们可以调用模型的词向量函数,获取单词的词向量。

这种方法的优点是可以直接获取模型的内部信息,但缺点是需要深入理解模型的内部结构。

第三种:RAG(Retrieval-Augmented Generation)

RAG是一种结合检索和生成的应用架构。

在这种方法中,模型首先会检索相关的文本,然后用这些文本作为输入,让模型生成答案。

例如,如果我们想让模型回答一个关于全球变暖的问题,模型可以先检索到一些关于全球变暖的文章,然后根据这些文章生成答案。

这种方法的优点是可以利用大量的外部信息,提高模型的生成质量。但缺点是需要大量的计算资源,因为需要对大量的文本进行检索。

第四种:Fine-tuning(微调)

Fine-tuning是一种在特定任务上进一步训练模型的应用架构(如计算钢材的消耗量等等)。

在这种方法中,模型首先会在大量的文本上进行预训练,学习语言的基本规律。然后,模型会在特定任务的数据上进行fine-tuning,学习任务的特定规律。

例如,我们可以在情感分析任务上fine-tuning模型,让模型更好地理解情感。

这种方法的优点是可以提高模型在特定任务上的表现,但缺点是需要大量的标注数据。

最后的话

总的来说,GPT大模型生成结果的原理,就是通过学习语言的规律,然后根据已有的语境,预测下一个单词,从而生成连贯的文本。这就像我们人类说话或写文章一样,根据已有的语境,预测下一个单词或短语。只不过,GPT模型的学习能力和生成能力,远超我们人类。

我们可以看到,AI在学习我们人类,它们不知疲倦,孜孜以求,我们人类也应该向它们学习,不带批判和有色眼镜的看待身边人的观点,用仅剩的群体智慧来继续引领我们走向下一个新世界。

后续还会对四种技术架构进行深入探讨,欢迎交流~

希望带给你一点启发,加油。

作者:柳星聊产品,公众号:柳星聊产品

本文由 @柳星聊产品 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

电脑上的字是怎么做出来的?好多人看完才知道自己理解错了

你知道一款字体,从有创意到变成字库产品,是怎样的一个过程吗?

字库并非像有的人想象的那样,由计算机将若干笔画简单拼接而成,一蹴而就,分分钟给你一套字库。正相反,字库的创作是一个艰苦卓绝的过程。需要告诉大家的是,字库中的字,都是字体设计师一个字,一个字 设计出来的,每一个字都需要反复揣摩,不断修改,才能最终完成。

一款新的字体,一般由主创设计师或书法家负责设计或书写原稿,然后由多位字体设计人员组成设计小组,完成所有汉字的精细设计。

字库的制作主要包括以下步骤:

1.设计原始字稿

原始字稿包括手写的字稿,也包括设计师直接在计算机上创作的字稿。字稿可能包括字库中所有汉字,也可能只包括部分汉字;有可能是设计草图,也有可能是质量比较高的字稿。

方正倩体的设计草图

中国书法院院长、书法家管峻书写的管峻楷体草图

电影导演、演员徐静蕾书写的静蕾体草图

2.针对手写字稿的扫描和数字化拟合

如果是手写的字稿,需要输入到电脑。第一步,扫描,利用软件将字稿数字化,储存在电脑中。第二步,数字化拟合,将字稿扫描后的点阵图形制作成尽可能接近原稿的曲线轮廓信息。

能熟练使用电脑的设计师,有的会完全在电脑上设计字稿,这时就没有这个过程,直接进入下一环节“字形精细设计”。

字体数字化拟合示意图

3.字形精细设计

设计小组成员对每个字形进行精细的设计,包括统一风格,调整笔画粗细,使其相互协调,使每个字都有美感。设计一款在中国大陆使用的字库产品,最少要涵盖国家标准GB2312-80包含的6763个常用汉字。原稿中有的字,需要进一步做精细设计;原稿中没有的字,需要在主创设计师的指导下,根据原稿风格设计出来。

4.字形设计反复修改

除了设计师一个字、一个字地自查外,还会打印出纸样,由主创设计师对每个字形的结构、笔形、粗细提出修改意见,包括检查字形轮廓是否光滑、结构是否合理、粗细是否均匀、灰度是否和谐、整体是否美观,反复修改,直到满意为止。

主创设计师打印出纸样,提出修改意见,设计师调整,再打印,至少要这样反复3次。

倩体创作过程中的部分纸样

启体、舒体的字形反复修改过程图

由此可见,创作一套完整的计算机字库是一个漫长的过程,通过字体设计师的不懈努力,完美地将艺术美学与计算机科学融合在一起。正是由于他们的努力,才能够将传情达意的文字准确地、艺术地表现在生活中的方方面面.

相关问答

电脑怎么改简体中文?

如果使用的是Windows系统自带的输入法,可以通过下面的方法将繁体字切换成简体字:1、首先将鼠标移动到电脑桌面右下角的语言栏,单击鼠标右键;2、点击“设置...

字符文字如何转化为段落文字

字符文字转化为段落文字的方法可以通过以下几个步骤实现:1.确定段落的主题和结构。在开始转化之前,需要先确定段落的主题和结构,这有助于更好地组织文字。2...

wps的文档怎么随机生成文字?

A列是词语列表根据需要填列(想填列多少都可以)B列是计算随机数据的个数B2=COUNTA(E:E)-1C列是统计各随机词语出现的次数C2=COUNTIF(E:E,A2)向下复制D2=C2.....

怎样将图片里的文字转为WORD文档呢?-ZOL问答

2条回答:微信小程序看图识字可以把图片中的文字识别生产word文档的说。

如何用剪映生成文字稿?

要用剪映生成文字稿,需要按照以下步骤操作:首先,选择你想要生成文字稿的视频素材,导入剪映编辑器中。然后,在编辑器的时间线上找到你想要生成文字稿的片段...

图片文字怎么样生成二维码-ZOL问答

不可能有字体字体,但在Excel表格中输入数字,用VBA条形码控件可以连续生成并打印出来。百度“草料二维码生成器”,在网页上直接弄就可以了利用手机中的能扫描二...

文字转换器在线转换的方法有哪些?

文字可转换的东西很少,但是转换的东西用的很多,比如:文字转换语音,文字转换语音的方法有那些那,怎么操作那,听小编细细道来。下面就来给大家演示一下在线...文...

Word如何生成大量随机文字?

word2016随机生成文字可以使用“=rand()”函数。软件工具:word20161、随机函数“=rand()”的格式为:=rand(段落数,每段几句)。当()中的参数缺省时段落数和...

在word中如何快速随机地生成一段文字?

“p“表示随机生成多少个自然段;”s“表示每个自然段生成几句话。在word中可以利用这个函数随机生成一段文字。此时公式为“=rand()“。4、如果我们希望随机生...

excel如何将表格内容转化为文本?

1、打开Excel表格2、在excel表格中选中需要转换成文本的区域3、在表格的上方点击表格工具选项4、在列表中,点击数字转为文本型数字5、最后即可转换为文本型...