█ 脑科学动态
自然注视转移揭示视网膜编码的非线性偏差
口渴与对盐的渴望：解读体液平衡的神经密码
认知地图的异常与精神分裂症的症状关联
病理性焦虑的多维神经机制
数学框架重塑细胞死亡定义
自发情绪调节可能加剧抑郁症患者的自杀风险
综合认知行为疗法显著改善长期悲伤障碍患者的心理健康
█ AI行业动态
从算法到视觉：2024年WLA奖项揭晓
智谱AI发布升级版AutoGLM
AI赋能科学革命：从实验室到社会的深远影响
Hippocratic AI获首项专利，安全星座架构引领医疗AI创新
█ AI研发动态
大型语言模型在方式含义推理能力上的不足
神经网络通过距离度量学习数据表示
BiomedParse 推动九大生物医学成像模式的联合分析
从反向传播到前瞻性配置：生物学习的新视角
大脑表征的无监督转移方法实现跨个体的神经信息解码
生成式人工智能如何突破人类行为模拟的边界
大语言模型的记忆与泛化：从预训练数据中解码性能来源
脑科学动态
自然注视转移揭示视网膜编码的非线性偏差
视网膜的早期视觉处理功能通常由高效编码假说（efficient coding hypothesis）描述，该假说认为视网膜通过减少冗余来优化输出。然而，这一理论在动态注视场景下是否适用尚不清楚。来自德国哥廷根大学神经科学研究所的Dimokratis Karamanlis、Mohammad H. Khani 等科学家，联合开展了这项研究，专注于研究自然视觉输入中的注视转移对视网膜编码效率的影响。
研究采用狨猴和小鼠视网膜作为实验模型，记录在自然刺激和注视转移条件下的神经节细胞尖峰反应。实验显示，不同类型的神经节细胞在动态注视模式下表现出显著的尖峰相关性，这一现象与高效编码假说中预期的冗余减少不符。进一步的模型分析表明，这种相关性源于神经节细胞输入的非线性汇集机制（nonlinear pooling），这使得局部高对比度的固定刺激被更强地信号化。
研究还发现，不同类型的神经节细胞表现出特定的编码偏差，说明视网膜在处理动态视觉信息时具备物种特异性和细胞类型特异性。研究揭示，视网膜的编码方式在动态注视转移的条件下存在显著的非线性偏差，为视网膜视觉处理的复杂性提供了新的证据。研究发表在 Nature 上。
#神经科学 #视网膜 #高效编码 #非线性汇集 #动态视觉
阅读论文：
Karamanlis, Dimokratis, et al. “Nonlinear Receptive Fields Evoke Redundant Retinal Coding of Natural Scenes.” Nature, Nov. 2024, pp. 1–8. www.nature.com, https://doi.org/10.1038/s41586-024-08212-3
口渴与对盐的渴望：解读体液平衡的神经密码
维持体液稳态对于动物生存至关重要。加州大学旧金山分校James C.R. Grove 和 Zachary A. Knight 领导的研究团队深入探讨了动物如何通过神经机制感知和调节体液中的水和盐含量。他们的研究重点在于口渴和对钠的食欲（salt appetite）的神经调控，试图填补该领域中的认知空白。
研究首先回顾了哺乳动物液体稳态系统的基本构造，详述了负责检测脱水状态的核心神经回路，即终板（lamina terminalis），其中包括穹窿下器（SFO）、终板血管器（OVLT）和正中视前核（MnPO）。研究还展示了加压素（vasopressin, 一种通过调节肾脏尿液浓缩来节约水分的激素）与醛固酮（aldosterone，提高钠保留的激素）在钠食欲中的作用机制。
结果表明，口渴与钠食欲分别通过不同的神经通路和激素信号实现精确调控。研究还揭示了摄水和摄盐行为如何迅速缓解体液失衡状态。这项研究为未来开发相关疾病（如高血压和代谢紊乱）的治疗策略提供了新思路。研究发表在 Neuron 上。
#神经科学 #体液平衡 #口渴 #盐食欲
阅读论文：
“The Neurobiology of Thirst and Salt Appetite.” Neuron, Nov. 2024. www.sciencedirect.com, https://doi.org/10.1016/j.neuron.2024.10.028
认知地图的异常与精神分裂症的症状关联
认知地图是人类大脑的一种重要能力，它帮助我们理解环境、想象未来以及学习新知识。这一能力的异常可能导致精神分裂症的多种症状，如妄想和概念混乱。Matthew M. Nour、Yunzhe Liu、Mohamady El-Gaby、Robert A. McCutcheon 和 Raymond J. Dolan 等研究人员通过联合研究，探讨了这种异常的神经机制及其潜在成因。他们分别来自牛津大学和伦敦大学学院等顶尖机构。
研究通过神经影像学分析和理论建模，揭示了精神分裂症患者的认知地图构建存在明显缺陷，尤其是海马复合体和前额皮质中的神经吸引子动力学失调。神经吸引子（neural attractor）是大脑中维持信息稳定的一种模式，其不稳定性导致患者难以形成和维持逻辑结构化的记忆与思维。此外，研究强调早期生活中的心理社会压力（如家庭矛盾或社会孤立）可能通过干扰表征学习进一步加剧这些问题。这项研究为精神分裂症的症状机制提供了新的理论支持，或将推动更有效的干预和治疗策略的发展。研究发表在 Trends in Cognitive Sciences 上。
#大脑健康 #认知地图 #精神分裂症 #神经吸引子 #早期环境
阅读论文：
Nour, Matthew M., et al. “Cognitive Maps and Schizophrenia.” Trends in Cognitive Sciences, vol. 0, no. 0, Nov. 2024. www.cell.com, https://doi.org/10.1016/j.tics.2024.09.011
病理性焦虑的多维神经机制
焦虑症是全球范围内最普遍的心理健康问题，但其复杂的神经生物学机制尚未得到全面解析。研究人员利用功能神经影像学分析技术，聚焦于四大神经行为系统的异常：负价系统（negative valence，主要处理恐惧和负面情绪）、正价系统（positive valence，控制奖励和愉悦感）、认知系统（cognitive systems，负责情绪控制与决策）和社会过程系统（social processes，影响人际互动）。
他们发现病理性焦虑不仅与急性威胁回路的反应增强有关，还包括对远程威胁的过度敏感、持续威胁的强化，以及奖励处理和社会互动能力的减弱。这些神经异常在焦虑症状形成后常因不良行为（如逃避行为）进一步强化，阻碍症状的自然消退。研究指出，针对这些回路异常的干预有望提高焦虑症的治疗效果。这一研究发表在 Nature Reviews Neuroscience 上，为焦虑症的治疗与机制研究指明了新方向。
#大脑健康 #焦虑症 #神经回路 #功能神经影像学
阅读论文：
Akiki, Teddy J., et al. “Neural Circuit Basis of Pathological Anxiety.” Nature Reviews Neuroscience, Nov. 2024, pp. 1–18. www.nature.com, https://doi.org/10.1038/s41583-024-00880-4
数学框架重塑细胞死亡定义
细胞死亡是生物学研究中的核心课题，但其定义在科学上长期缺乏数学精度。来自东京大学宇宙生物学研究所的 Yusuke Himeoka 助理教授及其团队提出了一种新的数学方法，试图明确细胞生命与死亡的边界。
研究团队将细胞死亡视为动态系统中的“可控性问题”，开发了一种名为“化学计量射线”（stoichiometric rays）的数学工具。该方法利用酶（enzyme）的活性作为控制参数，借助酶在生化反应中加速反应速率而不改变平衡态的特性，计算细胞状态的可控性。他们通过这一工具分析了一个简化代谢模型，成功绘制了生命与死亡的边界（life-death boundary）。
结果表明，细胞的死亡状态可以被定义为即便调节所有生化过程也无法恢复到生命状态的一种极限状态。这一方法结合了动态系统和热力学原理，为研究细胞死亡的可逆性提供了理论支持。
#认知科学 #细胞死亡 #动态系统 #酶促反应 #数学建模
阅读论文：
Himeoka, Yusuke, et al. A Theoretical Basis for Cell Deaths. arXiv:2403.02169, arXiv, 11 Oct. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2403.02169
自发情绪调节可能加剧抑郁症患者的自杀风险
重度抑郁症患者的情绪调节能力受损，可能导致其面对压力时更容易产生自杀意念。然而，自发的情绪调节是否总是对缓解负面情绪有帮助仍存在争议。为探讨这一问题，纽约州精神病学研究所和哥伦比亚大学瓦格洛斯内外科医学院的J. John Mann博士、Sarah Herzog博士及其团队，结合神经影像技术与生态瞬时评估方法，研究了情绪调节在抑郁症患者应对日常压力中的作用。
研究选取82名重度抑郁症患者，利用功能性核磁共振成像（fMRI）分析其在回忆负面记忆时的神经活动，并通过生态瞬时评估（EMA）记录其对日常压力的情绪和自杀意念反应。研究中包括三种记忆回忆情境：非结构化回忆（无特定指导的回忆）、远距离回忆（认知重评估，强调情绪疏离）和沉浸式回忆（对照条件）。
结果显示，自发倾向进行情绪调节的患者（通过非结构化回忆情境下的fMRI神经特征反映）在日常压力后的自杀意念显著增加；而能够在远距离回忆情境中接受指导进行情绪调节的患者，压力后的负面情绪明显减少。研究指出，自发情绪调节可能代表对负面刺激的高度敏感性，而指导性情绪调节则可能帮助患者更适应地应对压力。研究发表在 Biological Psychiatry: Cognitive Neuroscience and Neuroimaging 上。
#大脑健康 #情绪调节 #抑郁症 #自杀风险 #生态瞬时评估
阅读论文：
“A Neural Signature for Reappraisal as an Emotion Regulation Strategy: Relationship to Stress-Related Suicidal Ideation and Negative Affect in Major Depression.” Biological Psychiatry: Cognitive Neuroscience and Neuroimaging, Aug. 2024. www.sciencedirect.com, https://doi.org/10.1016/j.bpsc.2024.08.011
综合认知行为疗法显著改善长期悲伤障碍患者的心理健康
长期悲伤障碍（PGD）是一种新纳入国际疾病分类系统的心理疾病，常导致患者在失去亲人后长期陷入悲痛，影响正常生活。德国埃希施塔特-因戈尔施塔特天主教大学的Rita Rosner带领团队，开展了一项多中心随机临床试验，探讨综合认知行为疗法（PG-CBT）与以当下为中心疗法（PCT）的疗效差异。
研究在德国四所大学附属门诊进行，共招募了212名18至75岁患者。这些患者根据PG-13访谈确诊为PGD，并被随机分为两组，分别接受PG-CBT和PCT治疗。PG-CBT以暴露疗法、认知重构和体验方法为核心，帮助患者直面最痛苦的回忆并调整负性认知；PCT则重点关注支持性对话和日常应对策略。
结果表明，治疗后PG-CBT在减轻PGD严重程度上优于PCT，且显著减少了患者的抑郁症状和整体精神病理症状。随访12个月时，组间差异缩小但仍具趋势性。研究指出，PG-CBT是一种有效的干预手段，具有广泛推广的潜力，而PCT则适合不愿聚焦丧失体验的患者，为个体化治疗提供了更多选择空间。该研究发表在 JAMA Psychiatry 上。
#大脑健康 #长期悲伤障碍 #认知行为疗法 #心理健康
阅读论文：
Rosner, Rita, et al. “Grief-Specific Cognitive Behavioral Therapy vs Present-Centered Therapy: A Randomized Clinical Trial.” JAMA Psychiatry, Nov. 2024. Silverchair, https://doi.org/10.1001/jamapsychiatry.2024.3409
AI 行业动态
从算法到视觉：2024年WLA奖项揭晓
2024年世界顶尖科学家协会（World Laureates Association，WLA）奖项揭晓，Jon Kleinberg与Jeremy Nathans因在计算机科学与生命科学领域的卓越贡献分别获奖。这一国际性奖项于2021年创立，旨在表彰推动学术与科技进步、对社会产生深远影响的研究人员，每位获奖者将获得人民币1000万元的奖金。
康奈尔大学计算机与信息科学教授Jon Kleinberg以其在算法设计和社会影响研究中的成就获颁计算机科学或数学奖。上世纪90年代，互联网的普及使信息管理从稀缺问题转向了过载挑战。Kleinberg的研究聚焦如何设计具有社会责任的算法，以优化信息流动并减轻技术对社会的潜在负面影响。他强调，算法设计的选择对社会结果具有深远影响，这不仅是技术问题，更关乎伦理与人类发展。
约翰霍普金斯大学医学院教授Jeremy Nathans获颁生命科学或医学奖。他以研究视觉系统的基因基础著称，其工作揭示了感光蛋白的基因编码与色盲等疾病的分子机制。他的发现为视网膜疾病（如色素性视网膜炎和黄斑变性）的基因治疗奠定了基础，第一款相关疗法已于2018年获FDA批准。Nathans指出，这些研究不仅加深了对视网膜功能的理解，更为开发创新疗法铺平了道路。
#2024WLA奖 #算法研究 #视觉基因 #社会影响 #基因治疗
阅读更多：
https://www.science.org/content/article/from-eyes-algorithms-announcing-2024-world-laureates-association-prizes
智谱AI发布升级版AutoGLM
在智谱的OpenDay活动中，研究人员展示了其最新Agent产品AutoGLM和GLM-PC的技术突破。AutoGLM通过支持复杂任务处理和跨平台操作，展现了大模型技术在实际应用中的潜力。AutoGLM具备执行超长步骤任务的能力，可理解复杂指令，并通过“短口令”功能简化用户交互。此外，“随便模式”能由AI自主决策，为用户带来全新体验。AutoGLM现已进入大规模内测阶段，并计划通过API向更多应用开放。
另一方面，智谱还推出了面向PC的自主Agent——GLM-PC，基于多模态模型CogAgent，探索“无人驾驶”PC操作模式。GLM-PC可以自动参与会议、处理文档、进行网页搜索与总结，甚至实现远程和定时操作。尽管当前版本仍需精准指令输入，但其能力展示了大模型操作系统的雏形。
活动现场，智谱CEO张鹏通过简单语音指令完成了多项复杂操作。他表示，大模型的能力正在逐步从语言理解（L1）向逻辑推理（L2）、工具使用（L3）和自我学习（L4）方向延伸。
#AutoGLM #智能设备 #Agent技术 #人工智能 #大模型
阅读更多：
https://www.zhipuai.cn/news/149?tab=2
AI赋能科学革命：从实验室到社会的深远影响
人工智能（AI）正在科学领域掀起一场安静却深刻的革命。全球实验室中，三分之一的博士后已开始借助大型语言模型（LLM）完成文献综述、编码及编辑等任务。AI对科学的影响不仅仅局限于实验室，还逐渐向社会层面延伸。2023年诺贝尔化学奖授予了AlphaFold 2系统的创建者Demis Hassabis和John Jumper，以及David Baker，以表彰他们在利用AI预测蛋白质结构和设计新型蛋白质方面的贡献。
AI正在重塑从基因组学到天气预测等多个学科。一些研究人员训练自己的AI模型，另一些则优化现有模型，或利用模型预测加速研究。这种技术特别适用于解决规模与复杂性相关的挑战。例如，在结构生物学中，传统的X射线晶体学实验需要耗时数年、花费约10万美元，而AlphaFold蛋白质结构数据库提供了超过2亿个蛋白质结构的免费即时访问。
尽管如此，AI在科学中的潜力并非必然实现。目前，尽管许多研究人员使用LLM工具完成日常工作，但采用AI驱动研究方法的比例仍然较低。政策制定者可以通过加速AI应用、明确其高效领域来推动这一进程。美国能源部、欧盟委员会和英国皇家学会等机构已经意识到AI对科学发展的巨大价值，但仍缺乏全面战略。
作者通过访谈20余位专家，总结了五大AI推动科学发展的关键机遇及相关风险。文章认为，尽管AI可能引发对科学创造力和可靠性的担忧，但其最终将带来净效益。为此，文章提出四项政策建议，以助力AI科学黄金时代的到来。
#人工智能 #科学变革 #AlphaFold #深度学习 #公共政策
阅读更多：
https://deepmind.google/public-policy/ai-for-science/
Hippocratic AI获首项专利，安全星座架构引领医疗AI创新
Hippocratic AI近日获得其首项美国专利，标志着其在医疗人工智能领域的创新地位。专利涵盖公司以“北极星”（Polaris）命名的星座架构，融合了多个注重安全的大型语言模型（LLMs），用于非诊断医疗任务，例如药物注册、医院政策咨询和电子健康记录（EHR）辅助。
北极星系统包括核心对话模型和支持模型。核心模型为定制化训练的LLM，通过临床技术确保患者依从性；支持模型则分析患者反应，防止药物超量等潜在风险。其具体应用涵盖从入院到出院的流程，如预防筛查、排程、术前准备和慢性病管理。
联合创始人兼首席执行官Munjal Shah表示，这一专利体现了团队的创造力和技术领先地位，并强调系统的安全核心在于强化型LLMs的协作。
Hippocratic AI自2023年成立以来，融资总额已达1.37亿美元，估值5亿美元。今年，公司与Adtalem Global Education旗下大学合作，开发面向临床医生和护士的AI使用培训课程，同时成立了护士和医生咨询委员会，助力医疗公平与资源可用性。
#HippocraticAI #医疗人工智能 #大型语言模型 #北极星架构 #安全技术
阅读更多：
https://www.hippocraticai.com/
AI 研发动态
大型语言模型在方式含义推理能力上的不足
由Yan Cong领衔的研究团队，探讨了大型语言模型（LLMs）在处理方式含义（manner implicature）上的表现。方式含义属于语用推理领域，通过话语的表达形式传递丰富的上下文意义。研究团队依托理论语言学和形式语义学方法，分析了多种LLMs的语用能力。
团队设计了三种指标来评估LLMs的语用推理能力：
惊讶值（Surprisal score）：通过负对数概率衡量模型预测的意外程度。结果显示，部分模型能区分中性关系和蕴涵关系，但在更细微的含义区分上表现较差。
嵌入相似度（Embedding similarity）：通过余弦相似度评估句子对的语义关联。研究发现，LLMs在蕴涵与方式含义间的区分能力仅略优于传统静态嵌入模型，如GloVe。
自然语言提示（Prompting）：通过提示直接测试模型输出。结果显示，最新的LLMs在表达方式含义时未表现出显著改进。
研究表明，当前主流的预训练模型在方式含义的处理上能力有限，需要通过更复杂的语义-语用推理框架和高质量数据集进行改进。论文发表于 Scientific Reports。
#认知科学 #语用推理 #方式含义 #大型语言模型
阅读更多：
Cong, Yan. “Manner Implicatures in Large Language Models.” Scientific Reports, vol. 14, no. 1, Nov. 2024, p. 29113. www.nature.com, https://doi.org/10.1038/s41598-024-80571-3
神经网络通过距离度量学习数据表示
这项研究由Alan Oursland领导，研究团队基于统计学和神经网络理论，试图探讨深度学习中激活值与特征表示的关系。研究者隶属于一家跨学科科研机构，通过理论推导和实验验证，重新审视神经网络的学习机制。
研究者以MNIST数据集为基础，采用系统扰动分析法（systematic perturbation analysis），独立调整神经网络内部激活值的距离和强度属性，并观察这些改变对模型性能的影响。两种激活函数（ReLU和绝对值，Absolute Value）均显示，网络对基于距离的小幅扰动表现出高度敏感，但在强度的大幅扰动下仍能保持稳健性能。这表明神经网络在处理数据时，更倾向于利用距离度量（如马哈拉诺比斯距离，Mahalanobis distance，一种考虑数据分布的统计距离），而非传统的强度表示。这一发现不仅验证了统计理论的适用性，还为优化深度学习算法提供了潜在方向。
#神经技术 #深度学习 #神经网络 #统计学 #马哈拉诺比斯距离
阅读更多：
Oursland, Alan. Neural Networks Use Distance Metrics. arXiv:2411.17932, arXiv, 26 Nov. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2411.17932
BiomedParse 推动九大生物医学成像模式的联合分析
生物医学图像分析在医学发现中扮演重要角色，但传统方法通常分别处理分割、检测和识别任务。为改变这一局面，Theodore Zhao、Yu Gu、Jianwei Yang 等研究人员开发了 BiomedParse 模型。
研究团队通过整合现有数据集中的自然语言标签和描述，构建了一个超大型数据集，包括 600 万条图像、分割掩膜和文本描述三元组（triples）。基于此数据集，团队训练了 BiomedParse，这一模型能够在九种主要的生物医学成像模式下同时完成分割、检测和识别任务，并通过联合学习显著提高单项任务的准确性。实验结果显示，与现有方法相比，BiomedParse 在不规则形状物体的分割上表现出更大优势。此外，该模型还可以基于文本描述，完成对所有相关对象的分割和标注。这一工具的诞生，为多模式生物医学图像分析开辟了高效、统一的新途径。研究发表在 Nature Methods 上。
#神经技术 #生物医学图像 #人工智能 #多模态分析
阅读更多：
Zhao, Theodore, et al. “A Foundation Model for Joint Segmentation, Detection and Recognition of Biomedical Objects across Nine Modalities.” Nature Methods, Nov. 2024, pp. 1–11. www.nature.com, https://doi.org/10.1038/s41592-024-02499-w
从反向传播到前瞻性配置：生物学习的新视角
这项研究由Yuhang Song、Beren Millidge、Tommaso Salvatori等学者共同完成，团队成员分别来自牛津大学、伦敦大学学院等顶尖研究机构。研究背景聚焦于“学分分配问题”，即如何定位信息处理管道中导致输出错误的关键部分。传统上，反向传播被认为是解决该问题的最佳工具，但其在生物学习中的适用性存在局限。
研究提出了一种新的学分分配机制——前瞻性配置（Prospective Configuration）。这种方法不同于传统的反向传播，后者通过权重调整来驱动神经活动的变化；而前瞻性配置则先预测学习后的神经活动模式，再调整突触权重以巩固预测效果。
研究基于能量网络（Energy-based Networks），包括Hopfield网络（描述记忆存储的模型）和预测编码网络（模拟大脑信息处理的模型），验证了该机制在深度结构学习、在线学习和多任务持续学习中的高效性。此外，研究还通过实验重现了人类和动物学习中的神经活动和行为模式，例如感觉运动学习、恐惧条件反射和强化学习。结果表明，前瞻性配置不仅在效率上显著优于反向传播，还能自然解释各种复杂的神经和行为现象。研究发表于 Nature Neuroscience。
#神经科学 #学分分配 #前瞻性配置 #能量网络 #反向传播
阅读更多：
Song, Yuhang, et al. “Inferring Neural Activity before Plasticity as a Foundation for Learning beyond Backpropagation.” Nature Neuroscience, vol. 27, no. 2, Feb. 2024, pp. 348–58. www.nature.com, https://doi.org/10.1038/s41593-023-01514-1
大脑表征的无监督转移方法实现跨个体的神经信息解码
神经科学领域长期以来面临着个体间神经表征差异导致数据解码困难的问题。为了解决这一挑战，由日本产业技术综合研究所的Daiki Nakamura和Ryusuke Hayashi领导的团队，与九州大学的Shizuo Kaji及Araya公司的Ryota Kanai合作，提出了一种突破性的无监督方法，用于实现跨个体的大脑表征转移。
研究采用机器学习中降维（dimensionality reduction）与无监督对象匹配技术，将神经数据嵌入低维超球体（hyperspheres），通过旋转和反射变换实现个体间表征的转化。方法首先利用人工神经网络数据测试，并考虑了多种实验变量。随后，研究使用人类参与者的功能性磁共振成像数据进一步验证方法的实际效果。
结果显示，无监督方法成功实现了个体间的表征转移，并在某些实验中表现出接近有标签信息情况下的解码精度。此外，研究无需训练个性化解码器，便完成了图像的重建。这一成果证明了无监督方法在重用现有个性化模型和灵活适应不同数据集方面的应用潜力。研究发表在 Frontiers 上。
#神经技术 #无监督学习 #脑对脑通信 #大脑表征转移 #机器学习
阅读更多：
Nakamura, Daiki, et al. “Unsupervised Method for Representation Transfer from One Brain to Another.” Frontiers in Neuroinformatics, vol. 18, Nov. 2024. Frontiers, https://doi.org/10.3389/fninf.2024.1470845
生成式人工智能如何突破人类行为模拟的边界
斯坦福大学和北西大学等机构的研究团队提出了一种突破性技术，通过生成式人工智能模拟真实人类的行为和态度。研究由Joon Sung Park领衔，团队成员还包括来自DeepMind和华盛顿大学的专家。
该研究结合1000多人的深度访谈数据和生成式人工智能，设计了一种新型生成式代理架构。团队通过社会科学的经典测量工具验证模型，包括一般社会调查、大五人格测验，以及经济行为实验。研究发现，该模型在社会调查中的准确度达到85%，与实际参与者两周后重复答题的准确率相当。此外，这种架构在减少种族和意识形态偏差方面表现优异。研究结果为政策研究和社会科学提供了新工具。
#认知科学 #生成式人工智能 #社会科学 #行为模拟 #数据隐私
阅读更多：
Park, Joon Sung, et al. Generative Agent Simulations of 1,000 People. arXiv:2411.10109, arXiv, 15 Nov. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2411.10109
大型语言模型的记忆与泛化：从预训练数据中解码性能来源
大型语言模型如GPT-4近年来表现出卓越的任务能力，但其性能来源一直存在争议。来自康奈尔大学和EleutherAI的研究团队在这一背景下，提出了一种新的分析框架，试图解开LLMs性能背后的记忆与泛化机制。
研究提出了“分布式记忆”（distributional memorization）的概念，通过计算LLM输出概率与预训练数据分布的相关性来衡量记忆效应。同时，研究开发了一种基于任务输入输出短语对（n-gram pairs）的“任务语法语言模型”（，用于分析与任务相关的数据分布。实验选取了翻译（WMT）、事实问答（TriviaQA）、世界知识理解（MMLU）和数学推理（GSM8K）四项任务，结果显示TriviaQA任务的记忆效应最强，而MMLU和GSM8K更依赖泛化能力。此外，研究表明模型规模越大，其性能提升的来源因任务而异：TriviaQA主要通过增强记忆实现，而数学推理和翻译任务更多依赖泛化能力。
研究还开发了一种提示优化算法，通过调整提示设计优化记忆或泛化效果。该方法在知识问答和数学推理任务中的应用验证了其实用性。研究的结果为进一步理解和优化LLMs性能提供了重要参考。
#认知科学 #记忆效应 #泛化能力 #提示优化
阅读更多：
Wang, Xinyi, et al. Generalization v.s. Memorization: Tracing Language Models’ Capabilities Back to Pretraining Data. arXiv:2407.14985, arXiv, 27 Nov. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2407.14985
整理｜ChatGPT
编辑｜丹雀、存源
关于追问nextquestion
天桥脑科学研究院旗下科学媒体，旨在以科学追问为纽带，深入探究人工智能与人类智能相互融合与促进，不断探索科学的边界。如果您有进一步想要讨论的内容，欢迎评论区留言，或添加小助手微信questionlab，加入社群与我们互动。
关于天桥脑科学研究院
天桥脑科学研究院（Tianqiao and Chrissy Chen Institute）是由陈天桥、雒芊芊夫妇出资10亿美元创建的世界最大私人脑科学研究机构之一，围绕全球化、跨学科和青年科学家三大重点，支持脑科学研究，造福人类。
Chen Institute与华山医院、上海市精神卫生中心设立了应用神经技术前沿实验室、人工智能与精神健康前沿实验室；与加州理工学院合作成立了加州理工天桥神经科学研究院。
Chen Institute建成了支持脑科学和人工智能领域研究的生态系统，项目遍布欧美、亚洲和大洋洲，包括、、、科研型临床医生奖励计划、、中文媒体追问等。