近日，《每日經(jīng)濟新聞》記者專訪了廈門大學(xué)教授蘇勁松。蘇勁松向記者介紹，ChatGPT本質(zhì)上是一個語言模型，它可以根據(jù)給定的上下文來預(yù)測當(dāng)前出現(xiàn)詞語的分布概率。

粗略來看，ChatGPT的發(fā)展經(jīng)歷了多個階段：第一階段是統(tǒng)計語言模型，即用傳統(tǒng)的統(tǒng)計方法來建立語言模型；第二階段是神經(jīng)網(wǎng)絡(luò)語言模型，即使用神經(jīng)網(wǎng)絡(luò)來建立語言模型，先后出現(xiàn)了許多經(jīng)典模型，包括前饋神經(jīng)網(wǎng)絡(luò)語言模型、循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型等等。隨著2017年Transformer模型的出現(xiàn)，研究者們也開始使用Transformer模型來構(gòu)建預(yù)訓(xùn)練語言模型，也就是ChatGPT的前身GPT。