在当今AI大模型(LLM)席卷全球的背景下,出现了一个全新的职业——提示词工程师(Prompt Engineer)。无数人们在Github上寻找“咒语”,在Discord里分享“秘籍”,试图通过复杂的结构化Prompt来驯服AI。这一现象被一些人视为一种工程技术,甚至是一种需要运气的“玄学”。然而,如果我们跳出代码和参数的视角,回归到大模型的本质——语言,我们会发现,早在一个世纪前,哲学家路德维希 ...
北航、人大和九坤投资共同撰写的论文 《Scaling Laws for Code: Every Programming Language Matters》 整理而成。 在代码大模型(Code LLMs)的预训练中,行业内长期存在一种惯性思维,即把所有编程语言的代码都视为同质化的文本数据,主要关注数据总量的堆叠。然而,现代软件开发本质上是多语言混合的,不同语言的语法特性、语料规模和应用场景差异巨大。
近日,一封由 AI 系统生成的感谢邮件在技术圈引发广泛关注和讨论。Python 之父 Guido van Rossum 对收到的邮件回应一句「Stop」,React 核心团队成员、Redux 作者 Dan Abramov 则投诉称“垃圾邮件泛滥”。
scons ( 2.3.0 ) ant ( 1.8.2 ) Python ( 2.7.3 ) PostgreSQL ( 9.3.4 ) Linux x86-64: g++ ( 4.3.4 ) gcc ( 4.3.4 ) make ( 3.81 ) kernel ( 3.0.13-0.27-default ) Linux PPC64: g++ ( 4.3.4 ) gcc ( 4.3.4 ) make ...
参数量不再是长上下文任务的唯一真理。Vectorize.io与Virginia Tech最近发布的记忆架构HINDSIGHT证明了这一点:通过重构记忆的拓扑结构,一个仅有20B参数的开源模型在LongMemEval基准测试中达到了83.6%的准确率,而全上下文(Full-Context)的GPT-4o仅为60.2%。
为了解决这个问题,研究者提出了一种名为 "Vibe Reasoning"(直觉推理/氛围推理) 的新方法。通过Vibe ...
单个字符对大模型来说意义有限,使用GPT系列的Llama系列的tokenizer就会发现, 20个字符的问题,在不同AI眼中是10-13个token。
【本文由小黑盒作者@idea小时于12月30日发布,转载请标明出处!】 Introducing Inferri: Navigate the AGI Era. Inferri官网 互联网上每天诞生成百上千个 AI ...
就在昨天,新加坡国立大学、中国人民大学、复旦大学等多所顶尖机构联合发布了一篇AI Agent 记忆(Memory)综述。 当前的 LLM 应用开发正面临严重的“记忆碎片化”问题:我们有用于短期记忆的 KV Cache,有用于知识检索的 RAG,还有用于长期交互的 MemGPT 类架构,但缺乏统一的理论指导。这篇综述不仅是对现有工作的盘点,更是一份解决“灾难性遗忘”与“上下文溢出”的系统方案。它详细 ...
12月18日,2025国际在线教育大会成功举办。本届大会以“科创赋能 ...
BetterYeah AI的诞生,源于对企业AI应用深水区挑战的深刻洞察。传统SaaS工具往往“有数据、无智能”,难以应对复杂的业务场景和动态需求。BetterYeah AI将自身定位为企业级AI智能体开发平台,其使命远不止于为企业添加一个AI功能插件,而是致力于成为企业AI转型的领导者,帮助企业快速构建、部署和管理私有化的生产级Agent应用。