大家玩过 Minecraft 吗？
这是一款自由度极高的沙盒游戏，玩家可以在一个 3D 世界里自由探索、搭建、创造，与方块和生物互动。
我曾经浅浅地玩过一段时间，但也止步于搭一些简单的房子。
不得不说，相同的工具在不同的手上产出的结果真的可以天差地别。
现在已经有人用它搭了一个参数规模为 500w 的小型语言模型，并且没有使用命令块或数据包。
这样的操作也是让一大批网友惊掉下巴。
目前已经冲上 X 新闻榜了，相关的帖子也在像滚雪球一样飞速扩散中。
网友们也开始在评论区"催更"了：
一、CraftGPT
搭建这个大模型的博主叫 Sammy Uri 。他把这个模型取名为" CraftGPT "。
基本介绍
先来一起看看 Sammy 发布的完整视频。
CraftGPT 包含了完整的 Tokenizer、位置编码、词向量、LayerNorm、矩阵乘法、多头注意力、KV cache、ReLU 等结构。
密密麻麻的方块属实是有些震撼了，也能看出作者花了很多心血。
它可以进行对话：
基本事实查询：
在不同种子系数下得到不同的答案：
模型数据
CraftGPT 一共有 5087280 个参数，在 TinyChat 基本英语对话数据集上进行训练。
嵌入维度为 240，词汇量为 1920 个 token，由 6 层组成。
上下文窗口大小为 64 个 token，只能应对非常短的对话。
大多数权重被量化为 8 位，嵌入和 LayerNorm 权重分别以 18 位和 24 位存储。
整个建筑体积为 1020x260x1656 方块。
由于体积巨大，作者使用了 Distant Horizons 模组来拍摄整个建筑的画面；这也导致远处的红石组件看起来有点"糊"。
为了加速运行，作者使用 MCHPRS（ Minecraft 高性能红石服务器）将 tick rate 提高到约 4w 倍。
但这样，它仍需要约 2 小时内给出回复。
一些局限
Sammy 也提醒大家：不要对 CraftGPT 抱有过高期待。
该模型很容易偏离主题，产生语法不正确的响应，或者输出垃圾信息。
此外，CraftGPT 的上下文窗口非常小，只有 64 个 token 。展示视频中的对话展现了该模型的最佳性能。
并且使用 MCHPRS 至关重要，如果不借助它加速的话，可能需要 10 年才能得到回答。
运行指南
所需链接指路
world 下载（Vanilla，1.20.4）：
https://drive.google.com/file/d/1pf1PtSqCLkHPj-vGpdOxRhDcug8rLIl0/view?usp=sharing
world 下载（MCHPRS）：
https://drive.google.com/file/d/1GToQikx1VpJSOg5unnnFhJl8onq0DRhY/view
模拟器、权重和运行模型的指南：
https://github.com/sammyuri/craftgpt
MCHPRS：
https://github.com/MCHPR/MCHPRS
如何运行
内存需求最低为 32GB RAM ，理想情况下最好有 64GB+ 。
下载 MCHPRS，将绘图比例设置为 7（可以在
./crates/core/src/plot/mod.rs找到）并进行编译。下载 MCHPRS world 到
./target/release处解压，并将其重命名为world。登录 MCHPRS（版本 1.20.4）并输入
/rp c -io。（-io标志启用优化编译，并阻止向玩家发送非输入/输出方块更新。）输入
/rtps unlimited和/wsr 1。默认的 RNG 种子是
1。如果您想输入不同的种子，请以二进制形式输入230, 150, 1000。输入提示符后耐心等待几个小时即可。会有进度条会显示当前令牌的进度，二进制计数器会显示迄今为止已处理的令牌数量。
二、Minecraft中的其他"神操作"
CraftGPT 这个例子并不是第一次玩家在 Minecraft 整活了。
作为一款沙盒游戏，Minecraft 给玩家提供了极大的创作空间。
除了可以用来搭建各种绝美建筑之外，
网友的才华也是在 Minecraft 的世界里百花齐放。
有人用它作画。
这个质感真的绝了。
经典的"红石音乐"。
花之舞：
和原曲完全听不出差别。
周杰伦的稻香：
还有玩家用它来搭 CNN 。
搭 MLP 做手写数字识别器：
搭 CPU ：
搭 OS ：
三、最后
不得不夸一句，这届网友真是太有才了。
是时候再次点开我的 Minecraft 看看了。
在这里推荐一款前两天在 X 上翻到的游戏：messenger 。
画面和音乐都非常让人放松。
直接在浏览器上访问该链接就能玩：
messenger.abeto.co
>/ 本期作者：Tashi & JackCui
>/ JackCui：AI领域从业者，毕业于东北大学，大厂算法工程师，热爱技术分享。
没有评论:
发表评论