LightNest
面向 AI 的通用二进制理解、编辑与验证系统。目标是由自然语言驱动程序理解和修改二进制,让 LightNest 与训练器的可执行产物协同迭代;当前是可验证的小规模研究原型。
现在可以做什么
- 按上限读取文件范围;索引 ELF 和 LNW1 内嵌权重,跳过张量数据,不把整个文件变成 token
- 49 个 RV32 任务,覆盖算术、比较、位运算、移位、聚合、搜索和谓词,含空输入、溢出及独立语义检查
- 在 CPU 上训练小型字符/字节 Transformer,明确分开未见措辞、未训练任务和等价编码测试
- 流式打包内嵌权重的 Linux ELF;有限内存读取/复制自身的程序槽
- 在副本中修改权重元素或兼容的注意力头数,记录父子哈希、验证和回滚
这不等于理解任意二进制,更不等于已经实现自主递归进化。当前原生推理器不包含完整训练器;未知格式、无源码修复及跨架构移植仍是长期目标。详见 设计。
安装与运行
Python 3.12+。默认 CPU 依赖,不会自动下载 Qwen 权重:
uv sync --extra test
uv run python main.py inspect dist/lightnest
uv run python -m lightnest.binary large-file.bin --scan-bytes 1048576
uv run python main.py train --steps 1500 --dim 64 --layers 2 --batch 8 --threads 2
uv run python -m pytest -q tests
默认检查只覆盖明确的结构和有限的区段前缀。完整扫描需显式 --deep-scan,完整哈希需 --sha256;两者内存有界,但仍会读过整个文件。
uv run python main.py generate 把两个数相加 -o work/candidate.bin
uv run python main.py explain work/candidate.bin
uv run python main.py edit work/candidate.bin 改成相减 -o work/revised.bin
上面生成的是小端 RV32 指令,不是宿主机可执行文件。候选必须在模拟器里检查行为;有效字节不代表正确程序。原件不会被命令行 edit 覆盖。
python -m lightnest.pack 将 work/small.pt 打包为内嵌权重的 dist/lightnest 并检查 Python/C 一致性。该检查需要模型能完成验证题;未学会时会报错,而不会写死题目答案。
Qwen2.5-0.5B 的旧语言适配器保留在 lightnest/lang.py,属于独立路径。需要显式安装 uv sync --extra language 并准备其权重;本轮 CPU 实验没有训练 Qwen。work/lang.pt 与小模型 work/small.pt 不可互换。
自修改实验
lightnest.self_edit.SelfEditEnv 提供观察、有限读取、权重/头数修改、验收与祖先链。iterate(proposer) 接受外部传入的策略,每一代观察最新通过验收的文件。格式和资源规则是基础工具;修改策略应由学习系统提出,不是任务答案查表。
lightnest.reinforce 是有限动作 REINFORCE bandit,用于验证反馈管线,不是通用自我进化模型。验收器在候选文件之外,holdout 只能在一轮终止后评估。线程化 PyTorch 应使用独立进程 CommandEvaluator,不要使用 fork 回调。
权重、训练日志和报告保存在 work/,默认不提交到 Git。实验必须同时报告失败与泛化结果,不能只报告训练 loss。
本轮实测与失败项见 实验报告。执行奖励训练入口:
uv run python -m lightnest.train_execution_rl --checkpoint work/v2-small.pt --baseline-report work/v2-training-report.json --time-budget 60
uv run python -m lightnest.pack --model work/v2-small.pt
后续新增学习式单字节补丁、LNP2 和内嵌神经策略的原生两代实验,见 局部补丁与继承实验。这仍不是自主训练或通用 bootstrap。
最新 执行奖励强化学习续跑:局部加减补丁在固定新样本与独立复核上有改进,整程序生成仍有退步项。训练发生在外部 Python 进程,原生二进制自主训练尚未实现。
2026-10-17的进一步失败探测、多步修复、原生权重反馈和全局上下文实验见探索报告。
进阶实验与更新 (2026-10-18 ~ 10-19)
- **共享深度与局部停止突破 (Breakthrough Architecture)**:基于 GRU + 关系图/插槽的共享深度网络,突破直线运算限制,详细评估见 突破实验报告 与架构说明 架构与神经寄存器。
- **多控制流与存储高难任务训练 (Harder Tasks)**:从直线加减法扩展到混合运算、覆盖写、绝对地址临时存储、分支汇合和有界循环,详细报告见 高难任务训练结果 与 复现说明。
- 渐进式训练与容量缩放:见 Progressive v5 报告 及 容量缩放分析。
- 数据集标准与质检报告:见 Dataset v1 质检报告 及配置协议规范
configs/。