以ChatGPT為首的生成類模型，在近日已經成為人工智慧的熱點。矽谷的谷歌，微軟等企業大局，針對此類技術進行投資。其中谷歌釋出了自主研發製作的聊天機器人BARD，微軟為ChatGPT背後的OpenAI投入了100億美元。在中國地區，以百度為代表的互聯網科技公司也分別表示了正在針對此型別的技術進行研發，而且將會在近期上線。
ChatGPT對於晶片的需求：
ChatGPT是生成類模型的代表，需要學習大量的訓練資料，提高生成輸出的質量。生為了提升生成類模型的推理和高效率訓練在晶片方面就有著獨特的需求：
1.需要分散式計算。ChatGPT這種型別的語言類生成模型，所需要的引數達到千億，使用單擊訓練和推理的方式，幾乎是不可能的，就必須要使用大量的分散式計算。計算晶片，機器之間的資料互聯寬頻對於分散式計算都有著極大的需求量。任務的瓶頸有很多時候都不是在計算方面，而是在資料的互聯方面，尤其是在這種大型別的分散式計算過程中，對於分散式計算高效率的支援，使得晶片成為最為關鍵的一方面。
2.帶和記憶體容量的需求。在語言類生成模型中不可或缺的是推理和分散式訓練。但是每一個晶片的寬頻以及本地的記憶體，在很大程度上也能夠對於單個晶片的執行效率有著一定的影響和決定作用，每一個晶片的記憶體都將會被使用到極限。針對影象類的生成模型。晶片的記憶體可以儲存模型，但是想要進一步的演進，未來影象生成類的模型就需要記憶體有很大的提升。基於這個要求，想要加速晶片就必須選擇超高寬頻記憶體技術，這一技術主要以HBM為代表，除此之外CXL的新儲存技術以及軟體的優化技術，也能夠在這種型別的應用中增加效能和本地儲存的容量。
生活百科站
