使用穩定擴散的高分辨率
大阪大學的日本科學家已利用 AI 從人類在觀看時產生的大腦活動重建準確、高分辨率的圖像
大阪前沿生物科學研究生院的新論文詳細介紹了他們如何使用人工智能圖像生成程序 Stable Diffusion 將大腦活動轉化為相應的視覺表示。儘管之前有許多類似的思想到計算機圖像的實驗，但本次測試是首次使用穩定擴散。對於額外的系統訓練，研究人員將數千張照片的文字描述與志願者在通過功能磁共振成像 (fMRI) 掃描查看圖片時檢測到的大腦模式聯繫起來。
大腦內的血流水平波動取決於哪些區域被激活。例如，流向人類顳葉的血液有助於解碼有關圖像“內容”的信息。而枕葉負責處理維度特性，如透視、比例和定位。由四個人查看超過 10,000 張圖像生成的 fMRI 掃描的現有在線數據集被輸入到 Stable Diffusion，然後是圖像的文本描述和關鍵字。這使程序能夠“學習”如何將適用的大腦活動轉化為視覺表示。
在測試期間，一個人看著鐘樓的圖像。 fMRI 記錄的大腦活動對應於 Stable Diffusion 之前的關鍵字訓練，然後將關鍵字輸入其現有的文本到圖像生成器。從那裡開始，根據枕葉的佈局和透視信息進一步細化重建的鐘樓，形成最終的、令人印象深刻的圖像。
該團隊的增強穩定擴散圖像生成僅限於四人圖像數據庫-進一步的測試將需要額外的測試人員進行腦部掃描以用於培訓目的。儘管如此，該團隊的突破性進展在認知神經科學等領域顯示出巨大前景，正如《科學》雜誌指出的那樣，可以幫助研究人員深入研究其他物種如何感知其環境。