O(1) state vs a KV-cache that never stops growing

O(1) 状态 vs 永不停止增长的 KV-cache

حالة O(1) مقابل ذاكرة KV لا تتوقف عن النمو

Fp16 KV-cache, GQA=1, the 832×12 decode configuration measured in our benchmarks. AwareLiquid O-series carried state is flat to the decimal.

fp16 KV-cache，GQA=1，即基准测试里的 832×12 解码配置。AwareLiquid O 系列的携带状态精确到小数位都是平的。

ذاكرة KV بدقة fp16 وGQA=1، إعداد فك الترميز 832×12 المقاس في معاييرنا. الحالة المحمولة لسلسلة O من AwareLiquid مسطّحة حتى الخانة العشرية.

What attention structurally cannot do: cross-window recall

注意力结构上做不到的事：跨窗口召回

ما لا يستطيعه الانتباه بنيوياً: الاستدعاء عبر النوافذ

Drop the KV-cache and a Transformer forgets by construction. AwareLiquid's fast-weight state keeps discrete key→value bindings across windows and sessions.

一旦丢弃 KV-cache，Transformer 在结构上就会遗忘。AwareLiquid 的 fast-weight 状态能跨窗口、跨会话保留离散的 key→value 绑定。

عند إسقاط ذاكرة KV ينسى المحول بنيوياً. حالة الوزن السريع في AwareLiquid تحفظ ارتباطات مفتاح→قيمة منفصلة عبر النوافذ والجلسات.

Removing the fast-weight matrix collapses recall to 0.008 — the fast weight is the memory. Snapshotting that state and restoring it into a fresh process is bit-exact. This is a specific key→value recall task, not free-form chat memory.

去掉 fast-weight 矩阵后召回跌到 0.008——fast weight 就是记忆。把该状态快照并恢复到新进程是位精确的。这是特定的 key→value 召回任务，不是自由聊天记忆。

إزالة مصفوفة الوزن السريع تُسقط الاستدعاء إلى 0.008 — الوزن السريع هو الذاكرة. أخذ لقطة لتلك الحالة واستعادتها في عملية جديدة دقيق بالبت. هذه مهمة استدعاء مفتاح→قيمة محددة، وليست ذاكرة دردشة حرة.

Measured results

实测结果

النتائج المقاسة

Every row is from a reproducible run (RESULTS.md / BENCHMARKS.md). Inference carried-state bytes only.

每一行都来自可复现的运行（RESULTS.md / BENCHMARKS.md）。仅为推理携带状态的字节数。

كل صف من تشغيل قابل لإعادة الإنتاج (RESULTS.md / BENCHMARKS.md). بايتات حالة الاستدلال المحمولة فقط.

Against the strongest opposing compression (2-bit KV + GQA=8), the advantage still holds: 1070.9× @128k, 8567× @1M. The state is flat from 512 to 1M tokens; the KV column is the analytic size.

对上最强的反向压缩（2-bit KV + GQA=8）仍然成立：128k 时 1070.9×，1M 时 8567×。状态从 512 到 1M token 保持平坦；KV 一栏是解析尺寸。

مقابل أقوى ضغط معاكس (2-bit KV + GQA=8) يظل التفوق قائماً: 1070.9× عند 128k و8567× عند 1M. الحالة مسطّحة من 512 إلى مليون رمز؛ وعمود KV هو الحجم التحليلي.

What we do NOT claim (retracted)

我们不宣称的（已撤回）

ما لا ندّعيه (مسحوب)

Credibility is the point. These earlier headline claims are withdrawn or explicitly not claimed.

可信度才是重点。以下过往的标题式宣称已撤回或明确不宣称。

المصداقية هي المقصد. هذه الادعاءات السابقة سُحبت أو لا ندّعيها صراحةً.

• “−28.5% adapter PPL” — retracted: that run trained LoRA only (MT adapter frozen); the MT adapter adds ≈0 PPL beyond LoRA.
• “−28.5% adapter PPL”——已撤回：那次只训练了 LoRA（MT 适配器被冻结）；MT 适配器在 LoRA 之外约等于 0 PPL。
• “−28.5% PPL للمحوّل” — مسحوب: ذلك التشغيل درّب LoRA فقط (محوّل MT مجمّد)؛ محوّل MT يضيف ≈0 PPL بعد LoRA.
• “−31% vs Transformer” at 2K steps — retracted: undertrained + weak baseline; does not survive 20K-step convergence against a modern baseline.
• 2000 步时“比 Transformer 好 31%”——已撤回：欠训练 + 弱基线；对现代基线跑到 2 万步就不成立。
• “−31% مقابل المحوّل” عند 2000 خطوة — مسحوب: تدريب غير كافٍ وخط أساس ضعيف؛ لا يصمد عند تقارب 20 ألف خطوة أمام خط أساس حديث.
• Battery-pilot “irregular-sampling edge” — retracted as an architectural claim (2026-08-29); a single-domain result survives.
• 电池试点的“不规则采样优势”——作为架构宣称已撤回（2026-08-29）；仅剩单领域结果。
• “تفوّق أخذ العينات غير المنتظم” في تجربة البطارية — مسحوب كادعاء معماري (2026-08-29)؛ تبقى نتيجة نطاق واحد.
• The hybrid M-series is not O(1) and gives no long-context LM gain (measured null).
• 混合 M 系列不是 O(1)，也没有长上下文 LM 增益（实测为零）。
• هجين سلسلة M ليس O(1) ولا يمنح مكسباً في سياق طويل (مقاس: صفر).

Status: what works, what's limited, what's not wired yet

状态：已可用 / 有局限 / 尚未打通

الحالة: ما يعمل، وما هو محدود، وما لم يُوصَل بعد

We publish the honest state, not a finished-product story.

我们如实标注当前状态，而不是"已完成"的包装。

ننشر الحالة بصدق، لا كقصة منتج مكتمل.

✅ Working & measured

✅ 已可用、已实测

✅ يعمل ومُقاس

• O(1) constant memory (O-series), cross-window recall 0.56 vs 0.000, bit-exact snapshot/restore.
• O(1) 常数内存（O 系列）、跨窗口召回 0.56 vs 0.000、位精确的快照/恢复。
• ذاكرة O(1) ثابتة (سلسلة O)، استدعاء عبر النوافذ 0.56 مقابل 0.000، حفظ/استعادة دقيق بالبت.
• Our M1 (TinyLlama-1.1B + MT v2s adapter) is live on this site and streaming.
• 我们自己的 M1（TinyLlama-1.1B + MT v2s 适配器）已上线并可流式生成。
• نموذج M1 (TinyLlama-1.1B + محوّل MT v2s) يعمل على الموقع ويبث.

⚠️ Limited / known issues

⚠️ 局限 / 已知问题

⚠️ محدود / مشكلات معروفة

• Free-form chat memory does not work. Ask it to remember a code, open a "new session", ask again — it does not recall it. The 0.56 figure is a specific key→value recall task, not conversational memory.
• 自由聊天式记忆不成立。让它记住一个 code、开"新会话"再问——它不会召回。0.56 是特定 key→value 召回任务，不是对话记忆。
• ذاكرة الدردشة الحرة لا تعمل. اطلب منه تذكّر رمز، وافتح "جلسة جديدة"، واسأل مجدداً — لا يتذكّره. رقم 0.56 هو مهمة استدعاء مفتاح→قيمة محددة، لا ذاكرة محادثة.
• The hybrid M-series is not O(1); base-recipe LM quality trails a modern Transformer by 11.3% (the modern-trunk recipe closes it, 3/3 seeds).
• 混合 M 系列不是 O(1)；基础配方 LM 质量落后现代 Transformer 11.3%（modern-trunk 配方已收复，3/3 seeds）。
• هجين سلسلة M ليس O(1)؛ جودة اللغة بالوصفة الأساسية تتراجع 11.3% عن محوّل حديث (وصفة modern-trunk تعالج ذلك، 3/3 بذور).
• CPU-only, and this box has no bf16 hardware (Intel Broadwell). Measured ~0.6 tok/s with fp32. bf16 is software-emulated here and was ~16× slower — we switched to fp32 to fix that. Fine for a short demo reply, not for production chat.
• 纯 CPU，且这台机器没有 bf16 硬件（Intel Broadwell）。fp32 实测约 0.6 tok/s；bf16 在此是软件模拟、慢了约 16×——我们已改用 fp32 修复。适合短回复 demo，不适合生产聊天。
• CPU فقط، وهذه الآلة بلا عتاد bf16 (Intel Broadwell). القياس نحو 0.6 رمز/ثانية بـ fp32. bf16 هنا محاكاة برمجية وكان أبطأ ~16× — انتقلنا إلى fp32 لإصلاح ذلك. مناسب لرد قصير في عرض، لا للدردشة الإنتاجية.

🚧 Not wired yet

🚧 尚未打通

🚧 لم يُوصَل بعد

• The cross-session fast-weight store is enabled server-side, but the free-form "remembers you" experience is not wired into the UI (and would overclaim).
• 服务端已开启跨会话 fast-weight 存储，但"记住你"的自由体验尚未接进前端（也不应过度宣称）。
• مخزن الوزن السريع عبر الجلسات مفعّل على الخادم، لكن تجربة "يتذكرك" الحرة غير موصولة بالواجهة (وستكون ادعاءً مبالغاً).
• Self-thinking decode (THINKING) is off on the demo; the Science-Q&A RAG path is currently disabled.
• Demo 上"自思考解码"（THINKING）关闭；科学问答的 RAG 通路当前停用。
• فك الترميز بالتفكير الذاتي (THINKING) متوقف في العرض؛ ومسار RAG لأسئلة العلوم معطّل حالياً.

See it, or read the data

亲自试，或看数据

جرّبه أو اقرأ البيانات

The live demo runs our own M1 (TinyLlama-1.1B + a trained MT-LNN adapter). Every number here links to open code and reproducible tables.

在线 demo 跑的是我们自己的 M1（TinyLlama-1.1B + 训练好的 MT-LNN 适配器）。这里的每个数字都链接到公开代码与可复现的表格。

العرض المباشر يشغّل نموذج M1 الخاص بنا (TinyLlama-1.1B + محوّل MT-LNN مدرَّب). كل رقم هنا مرتبط بكود مفتوح وجداول قابلة لإعادة الإنتاج.