跳至研究内容
天之衍AD1E INTELLIGENCEHugging Face
AD1E RESEARCH / MEMORY SYSTEMS
研究发布 v0.1

让经历,成为
下一次计算的一部分。

天之衍·衍忆 AD1E-Memory-0.8B

个人与组织的经验,保存为独立数值记忆,参与后续读取与回答。探索一种无需反复发送长篇历史、无需改变基础模型参数的经验积累路径。

受控中文事实记忆实验 · 公开初始权重与合成测试数据

INDEPENDENT NUMERICAL STATEFIG. 01
PRIVATE STATE / 私有状态经验有自己的
存放位置。
1.045 MiB

本实验数值状态大小
1,095,595 bytes · 7 个记录槽

当前经验数值记忆后续回答
PARAMETERS FROZENSTATE EVOLVES
结构示意;图形线条不代表实际记忆数值。
96 / 96

纠正目标答对

0 / 96

漏改 / 错误复用

1,536

问答逐项一致回放

0

运行时优化器步骤

最终独立测试 · seed 198051
所有指标均有明确实验范围

SCENE FILM / 晚风记忆01:09 · 场景短片

“还记得昨天
的晚风吗?”

当对话翻到新的一页,昨天的经历,
还能参与今天的回答吗?

场景演绎,帮助理解记忆研究的方向。具体能力与实验结果见下方实测。

同一套模型。
不同的经历。

基础模型与训练后的读写模块,在测试时保持冻结。变化的是每个用户或组织自己的数值黑板状态。它通过读取和路由影响下一次计算,使新增事实与纠正能够被后续回答使用。

RUNTIME / 测试时路径FROZEN WEIGHTS + DYNAMIC STATE
01 / INPUT当前经验或问题

本轮输入

02 / FROZENQwen 特征

冻结基础模型

03 / READ & ROUTE记忆读取与路由

冻结的神经模块

04 / EXTRACT神经字符抽取

形成事实回答

DYNAMIC / PER-USER STATE独立数值黑板

名称区间头 + 有序字节数值 RBF 身份键 + 冻结关系网络 → 选择原子改写位置

经验更新状态
新增训练的神经名称区间头在测试时冻结;原有已训练读取模块与回答头保持不变。每次交互均重置原生 KV / recurrence cache。
01

状态独立于公开模型

公开代码、初始权重与合成数据;运行后形成的个人或组织状态单独保存。部署者决定其保存位置、访问范围与生命周期。

02

纠正需要稳定地址

完整名称定位与数值身份键共同定位记录,关系网络选择改写目标,更新以原子方式提交。实验依赖字面名称唯一;同名不同对象仍未验证。

03

以回放检查经验延续

在全新进程恢复数值状态,逐项检查后续回答。同时核对参数哈希,区分状态更新、参数学习与缓存残留。

少重述过去,
让新的经历继续。

长期使用中,信息会积累、关系会调整,事实也会被更正。把已保存的经验组织成当前可读状态,为每次只发送当前问题提供了一条研究路径。

01 / LESS REPETITION

减少重复处理历史

无需为每个新问题重新传递已经保存的事实,有望减少请求体和重复预填计算,也降低系统挑选旧消息的负担。一般长对话的时间与成本优势仍需专门测量。

02 / EXPLICIT REVISION

让更正留在状态中

一次修改对应一个记忆绑定的变化,其余信息继续保留。后续回答读取更新后的状态,减少对“每次再提醒一遍哪句话作废”的依赖。这是本轮实测的核心行为。

03 / INSTANCE CONTINUITY

让经验随使用实例延续

保存数值状态,在新进程恢复;不同个人或团队分别持有自己的状态。公开代码和初始权重提供共同起点,实际经历由使用者管理,权限与审计仍需部署系统承担。

可检查的结果。
保留失败的记录。

最终独立批次包含 96 个 episode(seed 198051)。下表呈现事实更新、保持、召回与组合问答的不同结果;目标纠正成功,并不意味着所有能力同步改善。

FIG. 02 / TRAINING1,000 STEPS

名称定位,如何学会。

新增名称区间头的训练损失 · 基础权重冻结

名称区间头训练损失曲线每100步记录一个当前训练批次的损失。第100步0.4504,第1000步0.0111;第300和900步有反弹。不是验证损失,也不是连续每步记录。0.00.10.20.30.40.51004007001000联合损失优化步骤100步:0.450358200步:0.122335300步:0.404463400步:0.126579500步:0.095490600步:0.032314700步:0.017861800步:0.008892900步:0.0689051000步:0.011144
100 步 0.45041,000 步 0.0111
每 100 步取当步批次值,折线仅连接 10 个实测点,不做平滑。联合损失由起点、终点交叉熵及区间分类损失构成;下降不等同于独立测试泛化。
原始训练日志 ↗
10 个记录点
步骤损失
1000.450358
2000.122335
3000.404463
4000.126579
5000.095490
6000.032314
7000.017861
8000.008892
9000.068905
10000.011144
FIG. 03 / INDEPENDENT TEST96 EPISODES

更正之后,其他能力怎样。

同一独立批次 · 精确匹配准确率

更正前更正后

事实召回

前
97.92%
后
98.26%

564/576 → 566/576 问答

关系组合

前
97.92%
后
96.88%

188/192 → 186/192 问答

0%50%100%
柱长使用完整 0–100% 轴,避免放大微小差异。事实召回略升,组合问答略降;这里展示描述性结果,不宣称统计显著改善。
最终独立 96 个 episode 的测试结果
检查项结果解释
纠正后的目标事实96 / 96独立 96 个 episode 中,变更目标全部答对
漏改 / 错误复用0 / 96同名与身份边界测试中的目标更新结果
初始错误覆盖0 / 576初始写入未错误覆盖其他记录
未变更事实保持率97.92%检查更新对其余事实的影响
召回准确率97.92% → 98.26%纠正前 → 纠正后
组合问答准确率97.92% → 96.88%纠正前 → 纠正后;组合能力仍有退化

0 / 96 的含义零次观测失败的单侧 95% 二项置信上界为 3.07%;它不等于总体失败概率为零。不同批次不是配对样本,不据此宣称显著改善。

保留历史失败旧批次 2 / 96 与中间批次 4 / 96 的失败保留在报告中。原先两项回归的漏改现已归零;旧样本在纠正前已有的组合错误仍然保留。

DEVELOPMENT GATES

672 / 672

开发批次 48 + 16 + 32,全部原有门槛与新增零失败门槛通过,完整跨度检查全部通过。

FRESH-PROCESS REPLAY

1,536 / 1,536

全新进程回放的问答逐项一致;数值状态完全一致,所有参数哈希未变,运行时优化器步骤为 0。

TRAINING REPLICATION

1 次

已独立确认一个训练实例。更广泛的种子、任务、语言与容量验证仍需要继续进行。

CAUSAL INTERVENTION / 128 QUESTIONS

回答确实依赖记忆内容。

正常读取与记录置换保持相同结果;移除记忆、关闭读取或归零内容,准确率明显下降。这支持该受控测试中数值状态对回答的因果作用。

完整记忆
98.44%
记录顺序置换
98.44%
语义内容归零
5.47%
空记忆
0%
关闭读取
0%
0%50%100%

每组 128 问 · 完整 0–100% 轴 · 原始干预记录

已经验证什么,
还需要验证什么。

v0.1 提供一个可复现的研究起点。它的证据来自受控中文事实记忆任务,距离开放式、长期、多用户的实际应用仍有明确边界。

任务边界

中文事实记忆

验证的是事实写入、纠正、召回与组合问答。尚未验证自由聊天、通用新概念理解或开放领域的长期记忆能力。

容量边界

7 个记录槽

每槽 32 tokens、64 字符;本实验状态为 1,095,595 bytes(约 1.045 MiB)。这是数值状态体积,不能解释为百万 token 记忆容量。

模型边界

冻结 Qwen 基座

使用 Qwen/Qwen3.5-0.8B-Base,开发并训练记忆相关模块。此发布没有训练自己的基础大模型。

隐私边界

独立状态需要访问控制

“私有”表示用户或组织状态与公开初始权重分离,不是密码学隐私保证。当前研究代码尚未提供多租户隔离与权限控制。

成本边界

上下文节省有待测量

数值记忆有望减少重复发送历史与 prefill,但收益取决于上下文缓存和记忆模块成本。目前未测量长上下文的实际成本节省。

业务边界

保留事实与审计

记忆状态用于参与计算。实际应用仍需保留必要上下文、原始业务记录与审计证据,并管理事实源与更新授权。

FROZEN BASE REVISION dc7cdfe2ee4154fa7e30f5b51ca41bfa40174e68

把结论,
交给复现。

模型权重、代码、合成数据与研究报告统一发布在 Hugging Face。下载仓库后,在本地安装锁定依赖、运行状态自检,并生成新进程回放结果。

获取完整研究发布

模型文件与复现材料由 Hugging Face 托管。

LOCAL REPRODUCTIONv0.1
hf download duman2020/AD1E-Memory-0.8B-v0.1 --local-dir ad1e-memory
cd ad1e-memory
python3.13 -m venv .venv
source .venv/bin/activate
pip install -r requirements.lock
python blackboard.py --state ./private-memory.npz selftest
python replay.py --output ./replayed-v0.1
本地状态路径由部署者管理;运行条件与细节见模型卡。