跳至主要內容

智慧有限

搜尋此網誌

按市場計算

在 8月 22, 2023

取得連結
Facebook
Twitter
Pinterest
電子郵件
其他應用程式

按市場計算
價格變動
也許還有許多困難
但他們的命運卻不是更困苦
更艱難

取得連結
Facebook
Twitter
Pinterest
電子郵件
其他應用程式

留言

發佈留言

熱門文章

寫在前面

自從 OpenAI 發表 GPT-2 以來，大型語言模型（Large Language Models, LLMs）「學人講話」的能力到達了一個全新的境界，而以 GPT-3.5 為核心的 ChatGPT 在 2022 年底問世之後，人們對沉寂多年的「通用人工智慧」（ artificial general intelligence, AGI ）又重新燃起了希望，當然，同時也包括了擔憂與恐慌。從表現上來看，ChatGPT 在表達能力上可以說得上是頭頭是道，但在內容的「正確」程度上卻還有相當的進步空間。追究其根本，由於「語言模型」的本質是「模擬字詞依照特定順序出現的機率分布」，夠大的語言模型雖然可以在「語法」（syntax）、「語意」（semantics）和「語用」（pragmatics）上達到很高的水準，但背後並不存在有「判斷」、「推理」這些認知過程，也因此沒有辦法做到「事實查核」（fact check）。當然，單靠語言模型無法做到的事情，我們總是可以透過多個不同模型「接力」，或是導入人類互動來完成，不過這就是題外話了。基於神經網路的大語言模型，我們很難分析它每個步驟的具體細節在做些什麼，但是我們知道的是：這樣的模型從大量文本中學到「詞語出現順序的潛在規則」。我們可以假設它是個小學中年級，普通程度的學生：它可以寫出文法正確，語意大致通順的短句，但是一旦要它寫長一點的篇幅，它的文意就會漸漸產生莫名其妙的偏移，直到跟前面的文意毫無關連。而從許多的研究結果中發現，當語言模型的規模變大（可以用參數的數量來表示），通常能夠維持「文意順暢」的長度就越長，甚至讓讀者產生「有邏輯性」的感覺。雖然現在有很多公開的大語言模型，在各種應用上都展示出驚人的結果，但要部屬這樣的模型一般都需要付出相當高昂的成本。以 GPT-3 為例，依照 OpenAI 官方的說法，從模型架構研發到在 GPU instance 上訓練完成，總共花了 460萬美金（參考資料），這顯然不是隨便誰都可以玩得起的 side project。時隔兩年之後，即使有許多結構精簡化但效能接近 GPT-3 的新模型發佈，部屬大語言模型的成本依然相當可觀。吾輩雖然玩不起 GPT-3，但也有一些替代的選擇：一是拿人家訓練好的語言模型來玩，例如直接使用 OpenAI 的 API；另一個選擇則是透過自行訓練小一點的模型

沒辦法辯護的時候

又沒辦法辯護的時候他那個人永遠都不會相信的永生無疑是一個永恆有希望的明星永遠是個世界上最偉大的無畏人士永不會再有這種想法讓他死得永無止境的人現在永不存在

看了膽戰心驚

看了膽戰心驚駭人的眼中人人都在這種看起來就好像沒有刺激、血淚、老紅眼的瞬息萬變的漩渦中熄滅但是他們這一生中絕不是少數而是生死的一種死生的意思生命中並沒有什麼差別那些人的生活有無甚了只不過是這個世界上最純淨的土地還是一塊人類心目中最可貴的但卻沒有人可以在死生中看見卻在看見人中不見的中土他們都會在他的眼中看是誰會覺得有點像他這樣子的人就是他們的主要用意而幫助他找出一些計劃使他有一點能看出來自己一直保持一致只不過他對自由的冷淡又有信心只有過著冷冷的臉和冷淡的氣候例如沙漠

由 Blogger 提供