我能在26年前的主機上跑語言模型嗎？
簡單回答：可以。Emotion Engine總共只有32 MB記憶體，所以訣竅是在前向傳播時從CD-ROM串流權重，一次一個矩陣——只有激活值、KV快取和嵌入層會留在記憶體中。這代表比記憶體還大的模型依然能跑，只是需要從光碟讀取更多資料。必須建立自訂量化格式（PSNT）、處理位元組順序、編寫分詞器流程，並從頭打造大部分PS2 SDK（會另外釋出）。模型本身也是客製化的——我專門為此訓練了一個1000萬參數的Llama風格架構。而且真的能跑。在實體硬體上。
- 內容創作
- 大型語言模型
- 研究助理
✨ AI 摘要
這項專案展示了如何在PlayStation 2上執行1000萬參數的Llama風格語言模型，透過從CD-ROM串流權重資料來克服主機記憶體限制。過程中建立了自訂量化格式、修改PS2 SDK，並開發了專用分詞器。
適合誰
復古電腦愛好者, 嵌入式系統開發者, 對資源受限環境感興趣的AI研究人員
為何值得關注
透過創新的資料串流技術與客製化軟體開發，讓極度受限的硬體也能執行現代AI模型。
核心功能
- 在 PlayStation 2 上運行一個 1000 萬參數的 Llama 風格語言模型。
- 從 CD-ROM 串流模型權重以克服 32MB RAM 的限制。
- 使用自定義量化格式（PSNT）處理模型權重。
- 包含自定義的分詞器管道。
使用場景
- 一位懷舊電腦愛好者可以利用這個工具在古董硬體上實驗AI，展示舊系統執行現代任務的能力。
- 專注於復古風格遊戲的遊戲開發者，可能會將這個LLM整合到PlayStation 2遊戲中，生成動態的遊戲對話或背景故事，增添獨特的互動元素。
- 學習AI模型優化的學生，可以研究量化與串流模型權重的技術，並將這些原理應用於資源受限的嵌入式系統。