计算受限观测者视角下的信息度量新范式 - 卡内基梅隆
papers

计算受限观测者视角下的信息度量新范式 - 卡内基梅隆

论文探讨了人工智能领域中数据选择与泛化能力的关系,并提出了核心概念“Epiplexity”(外延复杂度)。作者指出,传统的信息论在面对计算受限的观察者时存在局限性,无法准确衡量数据中可被学习的结构化信息**。通过分析三个信息悖论,研究揭示了数据的排列顺序、计算约束以及涌现现象如何影响模型获取信息。实验证明,Epiplexity 能够比传统的交叉熵(Entropy)更有效地预测模型在分布外任务(OOD)上的表现。该理论为优化预训练数据选择提供了数学工具,强调了在资源有限的情况下,结构信息的提取是提升通用智能的关键。
📅 2026-02-18 ⏱️ 6 分钟 📝 2285 字
#AI #Epiplexity #LLM
large_model

mHC: Redefining Deep Learning Scalability - DeekSeek

2026年伊始,DeepSeek团队带来了mHC(流形约束超连接),这项技术完美解决了传统残差连接提升性能的超连接技术因破坏稳定性而难以实用的阿喀琉斯之踵.
large_model

mHC: Redefining Deep Learning Scalability - DeekSeek

2026年伊始,DeepSeek团队带来了mHC(流形约束超连接),这项技术完美解决了传统残差连接提升性能的超连接技术因破坏稳定性而难以实用的阿喀琉斯之踵.
📅 2026-01-01 ⏱️ 8 分钟 📝 2907 字
#AI #DeepSeek #mHC
projects

MemEvolve:智能体自我进化的元学习框架(OPPO)

MemEvolve是一个旨在实现大语言模型智能体自我进化的元学习框架。传统的智能体记忆系统往往采用固定架构,难以适应多变的任务需求,因此他们提出了双层优化机制:内环负责积累实践经验,外环则根据性能反馈动态重构记忆架构。
projects

MemEvolve:智能体自我进化的元学习框架(OPPO)

MemEvolve是一个旨在实现大语言模型智能体自我进化的元学习框架。传统的智能体记忆系统往往采用固定架构,难以适应多变的任务需求,因此他们提出了双层优化机制:内环负责积累实践经验,外环则根据性能反馈动态重构记忆架构。
📅 2026-01-01 ⏱️ 5 分钟 📝 1734 字
#AI #Memory #MemEvolve
projects

Mem0: AI助手和数字人的记忆中间件

Mem0 是一个为 AI 助手和代理提供智能记忆层的开源项目,旨在实现个性化的 AI 交互。其核心特性包括多级记忆(用户、会话和代理状态的无缝记录)和智能记忆提取。
projects

Mem0: AI助手和数字人的记忆中间件

Mem0 是一个为 AI 助手和代理提供智能记忆层的开源项目,旨在实现个性化的 AI 交互。其核心特性包括多级记忆(用户、会话和代理状态的无缝记录)和智能记忆提取。
📅 2025-12-29 ⏱️ 6 分钟 📝 2104 字
#AI #Mem0 #Memory