状态独立于公开模型
公开代码、初始权重与合成数据;运行后形成的个人或组织状态单独保存。部署者决定其保存位置、访问范围与生命周期。
天之衍·衍忆 AD1E-Memory-0.8B
个人与组织的经验,保存为独立数值记忆,参与后续读取与回答。探索一种无需反复发送长篇历史、无需改变基础模型参数的经验积累路径。
受控中文事实记忆实验 · 公开初始权重与合成测试数据
本实验数值状态大小
1,095,595 bytes · 7 个记录槽
纠正目标答对
漏改 / 错误复用
问答逐项一致回放
运行时优化器步骤
最终独立测试 · seed 198051
所有指标均有明确实验范围
当对话翻到新的一页,昨天的经历,
还能参与今天的回答吗?
场景演绎,帮助理解记忆研究的方向。具体能力与实验结果见下方实测。
基础模型与训练后的读写模块,在测试时保持冻结。变化的是每个用户或组织自己的数值黑板状态。它通过读取和路由影响下一次计算,使新增事实与纠正能够被后续回答使用。
本轮输入
冻结基础模型
冻结的神经模块
形成事实回答
名称区间头 + 有序字节数值 RBF 身份键 + 冻结关系网络 → 选择原子改写位置
公开代码、初始权重与合成数据;运行后形成的个人或组织状态单独保存。部署者决定其保存位置、访问范围与生命周期。
完整名称定位与数值身份键共同定位记录,关系网络选择改写目标,更新以原子方式提交。实验依赖字面名称唯一;同名不同对象仍未验证。
在全新进程恢复数值状态,逐项检查后续回答。同时核对参数哈希,区分状态更新、参数学习与缓存残留。
长期使用中,信息会积累、关系会调整,事实也会被更正。把已保存的经验组织成当前可读状态,为每次只发送当前问题提供了一条研究路径。
无需为每个新问题重新传递已经保存的事实,有望减少请求体和重复预填计算,也降低系统挑选旧消息的负担。一般长对话的时间与成本优势仍需专门测量。
一次修改对应一个记忆绑定的变化,其余信息继续保留。后续回答读取更新后的状态,减少对“每次再提醒一遍哪句话作废”的依赖。这是本轮实测的核心行为。
保存数值状态,在新进程恢复;不同个人或团队分别持有自己的状态。公开代码和初始权重提供共同起点,实际经历由使用者管理,权限与审计仍需部署系统承担。
最终独立批次包含 96 个 episode(seed 198051)。下表呈现事实更新、保持、召回与组合问答的不同结果;目标纠正成功,并不意味着所有能力同步改善。
新增名称区间头的训练损失 · 基础权重冻结
| 步骤 | 损失 |
|---|---|
| 100 | 0.450358 |
| 200 | 0.122335 |
| 300 | 0.404463 |
| 400 | 0.126579 |
| 500 | 0.095490 |
| 600 | 0.032314 |
| 700 | 0.017861 |
| 800 | 0.008892 |
| 900 | 0.068905 |
| 1000 | 0.011144 |
同一独立批次 · 精确匹配准确率
564/576 → 566/576 问答
188/192 → 186/192 问答
| 检查项 | 结果 | 解释 |
|---|---|---|
| 纠正后的目标事实 | 96 / 96 | 独立 96 个 episode 中,变更目标全部答对 |
| 漏改 / 错误复用 | 0 / 96 | 同名与身份边界测试中的目标更新结果 |
| 初始错误覆盖 | 0 / 576 | 初始写入未错误覆盖其他记录 |
| 未变更事实保持率 | 97.92% | 检查更新对其余事实的影响 |
| 召回准确率 | 97.92% → 98.26% | 纠正前 → 纠正后 |
| 组合问答准确率 | 97.92% → 96.88% | 纠正前 → 纠正后;组合能力仍有退化 |
0 / 96 的含义零次观测失败的单侧 95% 二项置信上界为 3.07%;它不等于总体失败概率为零。不同批次不是配对样本,不据此宣称显著改善。
保留历史失败旧批次 2 / 96 与中间批次 4 / 96 的失败保留在报告中。原先两项回归的漏改现已归零;旧样本在纠正前已有的组合错误仍然保留。
开发批次 48 + 16 + 32,全部原有门槛与新增零失败门槛通过,完整跨度检查全部通过。
全新进程回放的问答逐项一致;数值状态完全一致,所有参数哈希未变,运行时优化器步骤为 0。
已独立确认一个训练实例。更广泛的种子、任务、语言与容量验证仍需要继续进行。
正常读取与记录置换保持相同结果;移除记忆、关闭读取或归零内容,准确率明显下降。这支持该受控测试中数值状态对回答的因果作用。
v0.1 提供一个可复现的研究起点。它的证据来自受控中文事实记忆任务,距离开放式、长期、多用户的实际应用仍有明确边界。
验证的是事实写入、纠正、召回与组合问答。尚未验证自由聊天、通用新概念理解或开放领域的长期记忆能力。
每槽 32 tokens、64 字符;本实验状态为 1,095,595 bytes(约 1.045 MiB)。这是数值状态体积,不能解释为百万 token 记忆容量。
使用 Qwen/Qwen3.5-0.8B-Base,开发并训练记忆相关模块。此发布没有训练自己的基础大模型。
“私有”表示用户或组织状态与公开初始权重分离,不是密码学隐私保证。当前研究代码尚未提供多租户隔离与权限控制。
数值记忆有望减少重复发送历史与 prefill,但收益取决于上下文缓存和记忆模块成本。目前未测量长上下文的实际成本节省。
记忆状态用于参与计算。实际应用仍需保留必要上下文、原始业务记录与审计证据,并管理事实源与更新授权。
FROZEN BASE REVISION dc7cdfe2ee4154fa7e30f5b51ca41bfa40174e68
模型权重、代码、合成数据与研究报告统一发布在 Hugging Face。下载仓库后,在本地安装锁定依赖、运行状态自检,并生成新进程回放结果。
获取完整研究发布模型文件与复现材料由 Hugging Face 托管。
hf download duman2020/AD1E-Memory-0.8B-v0.1 --local-dir ad1e-memory
cd ad1e-memory
python3.13 -m venv .venv
source .venv/bin/activate
pip install -r requirements.lock
python blackboard.py --state ./private-memory.npz selftest
python replay.py --output ./replayed-v0.1