高昂的 AI 培訓成本一直是採用 AI 的重大障礙，阻礙了許多公司實施 AI 技術。根據 2017 Forrester Consulting 報告， 48% 的公司強調高技術成本是未實施 AI 驅動解決方案的主要原因之一。
但是，最近的發展表明 AI 培訓成本正在迅速下降，並且這一趨勢有望繼續將來。根據 ARK Invest Big Ideas 2023 報告，類似 GPT-3 級別性能的大型語言模型的訓練成本從 2020 年的 460 萬美元暴跌至 2022 年的 45 萬美元，每年下降 70%。
讓我們來探討一下 AI 訓練成本下降的趨勢進一步討論造成這種下降的因素。
AI 培訓成本如何隨時間變化?
根據最近的 ARK Invest 2020 研究，訓練深度學習模型的成本正在以比摩爾定律快 50 倍的速度提高。事實上，對於許多用例而言，與運行 AI 推理系統相關的費用已大幅降低到幾乎可以忽略不計的水平。
此外，在過去幾年中，培訓成本每年減少十倍。例如，2017 年，在公共雲上訓練像 ResNet-50 這樣的圖像分類器的成本約為 1,000 美元，但到 2019 年，成本已大幅下降至約 10 美元。
這些發現與 OpenAI 的 2020 年報告，該報告發現訓練 AI 模型執行相同任務所需的計算能力一直在下降自 2012 年以來每 16 個月增長兩倍。
此外，ARK 報告 強調了 AI 培訓成本的下降。該報告預測，到 2030 年，GPT-3 級別模型的訓練成本將降至 30 美元，而 2022 年為 450,000 美元。
訓練 GPT-3 級別性能的成本 – ARK Invest Big Ideas 2023
促成的因素降低 AI 培訓成本
隨著 AI 技術的不斷改進，培訓 AI 模型變得更便宜、更容易，從而使它們更容易為更廣泛的企業所用。包括硬件和軟件成本以及基於雲的 AI 在內的幾個因素導致了 AI 培訓成本的下降。
讓我們在下面探討這些因素。
1.硬件
人工智能需要專門的高端昂貴硬件來處理大量數據和計算。 NVIDIA、IBM 和 Google 等組織提供 GPU 和 TPU 來執行高性能計算 (HPC) 工作負載。高昂的硬件成本使得人工智能難以大規模普及。
但是，隨著技術的進步，硬件成本正在下降。根據ARK Invest 2023 報告，賴特定律預測 AI 相關計算單元 (RCU) 生產成本，即 AI 訓練硬件成本，每年應下降 57%，從而導致到 2030 年 AI 訓練成本減少 70%，如下圖所示。
AI 訓練硬件成本– ARK Invest Big Ideas 2023
2。軟件
人工智能軟件培訓成本可以通過TensorFlow 和 PyTorch 使開發人員能夠在分佈式系統上以高性能訓練複雜的深度學習模型，從而節省時間和資源。
此外，像 Inceptionv3 或 ResNet 和遷移學習技術也有幫助通過允許開發人員微調現有模型而不是從頭開始訓練它們來降低成本。
AI 軟件培訓成本 – 方舟投資大創意 2023
3.基於雲的人工智能
基於雲的人工智能訓練通過按需提供可擴展的計算資源來降低成本。使用現收現付模式，企業只需為其計算資源付費。此外，雲提供商還提供可加速 AI 訓練的預構建 AI 服務。
例如，Azure 機器學習 是一種基於雲的預測分析服務，可以快速開發和實施模型。它提供靈活的計算資源和內存。用戶可以快速擴展到數千個 GPU 以提高計算性能。它允許用戶通過 Web 瀏覽器在預配置的 AI 環境中工作，從而消除設置和安裝開銷。
AI 培訓成本下降的影響
AI 培訓成本的下降已經對各個行業和領域產生重大影響，從而提高創新和競爭力。
下面我們來討論其中的一些。
1.大規模採用複雜的 AI 聊天機器人
由於 AI 成本下降，AI 聊天機器人正在增加。特別是在 OpenAI 的 ChatGPT 和 開發之後GPT-4（生成式預訓練變壓器），尋求開發具有類似或更好功能的 AI 聊天機器人的公司數量明顯激增。
例如，五天后ChatGPT 於 2022 年 11 月發布，積累了 100 萬用戶。儘管今天，大規模運行該模型的成本約為每次查詢 0.01 美元，但賴特定律預測，到 2030 年，類似於 ChatGPT 的聊天機器人應用程序將可以大規模部署，成本要低得多（估計運行 10 億次查詢需要 650 美元），每天有可能處理 85 億次搜索，相當於 Google 搜索。
每十億次查詢執行 AI 推理的成本 – ARK Invest Big Ideas 2023
2.生成式 AI 的使用增加
AI 培訓成本的下降導致生成式 AI 技術的開發和實施激增。到 2022 年，在引入創新的生成 AI 工具（例如 DALL-E 2、Meta Make-A-Video 和 Stable Diffusion）的推動下，生成 AI 的使用顯著增加。 2023 年，我們已經見證了 GPT-4 形式的突破性模型。
除了圖像和文本生成，生成式 AI 正在幫助開發人員編寫代碼。 GitHub Copilot 等程序可以幫助用一半時間完成編碼任務。
完成編碼任務的時間-ARK Invest Big Ideas 2023
3.更好地利用訓練數據
降低 AI 訓練成本有望更好地利用機器學習訓練數據。例如，ARK Invest 2023 報告表明，通過到 2030 年，訓練參數比 GPT-3（175B 參數）多 57 倍、令牌多 720 倍的模型的成本預計將從 170 億美元降至 60 萬美元。
數據可用性和質量將成為關鍵在這個低成本計算世界中開發高級機器學習模型的主要限制因素。然而，訓練模型將發展出處理估計 162 萬億個單詞或 216 萬億個標記的能力。