能在26年前的游戏机上跑语言模型吗？
简短回答：可以。Emotion Engine总共只有32MB内存，所以诀窍是在前向传播过程中从CD-ROM逐矩阵流式读取权重——只有激活值、KV缓存和嵌入层驻留在内存中。这意味着比内存更大的模型仍然可以运行，只是需要从光盘读取更多数据。为此我不得不构建自定义量化格式（PSNT）、处理字节序、编写分词器流水线，并几乎从零重写了大部分PS2 SDK（这部分会单独发布）。模型本身也是定制的——我专门为此训练了一个1000万参数的Llama风格架构。而且它确实能运行。在真实硬件上。
- 代码生成
- 内容创作
- 大语言模型
✨ AI 摘要
该项目展示了如何在 PlayStation 2 上运行一个 1000 万参数的 Llama 风格语言模型，通过从 CD-ROM 流式传输权重来应对游戏机有限的内存。项目涉及创建自定义量化格式、修改 PS2 SDK 以及开发定制分词器。
适合谁
复古计算爱好者, 嵌入式系统开发者, 对资源受限环境感兴趣的人工智能研究人员
为什么值得关注
通过创新的数据流技术和定制软件开发，实现在资源极度受限的硬件上运行现代人工智能模型。
核心特性
- 在PlayStation 2上运行一个1000万参数的Llama风格语言模型。
- 通过CD-ROM流式传输模型权重，以克服32MB内存限制。
- 使用自定义量化格式（PSNT）存储模型权重。
- 包含自定义的分词器流水线。
使用场景
- 复古计算爱好者可以用这个在古董硬件上实验AI，展示老式系统处理现代任务的能力。
- 专注于复古风格游戏的开发者可能会将这个LLM集成到PlayStation 2游戏中，生成动态的游戏对话或背景故事，增加独特的互动元素。
- 学习AI模型优化的学生可以研究量化与流式传输模型权重的技术，将这些原理应用于资源受限的嵌入式系统。