█ 脑科学动态
人脑中气味的单神经元表征
人类大脑发育过程中的第一张DNA修饰图
延长时间：神经元如何在与学习相匹配的时间尺度上编码信息
大脑不同区域的结构与功能连接关系随功能类型变化
少突胶质前体细胞如何修剪多余突触
磁控基因疗法精准调控脑回路，无需植入设备
计算机模拟揭示大脑神经元生长过程
内感受与情绪调节的关联：抑郁和焦虑的独特机制
光流解析揭示大脑如何感知自我运动中的物体运动
█ AI行业动态
Anthropic推出Message Batches API
AI眼镜“扒光”隐私，哈佛学生项目引发安全担忧
互动游戏PainWaive将开展神经性疼痛的临床试验
█ AI研发动态
神经现象学的数学视角
量子计算与机器学习融合：突破多体物理学难题
WorldScribe：实现盲人实时环境理解的新一代辅助工具
新型数据增强算法RoVi-Aug助力跨机器人技能迁移
新算法助力神经网络克服“灾难性遗忘”
脑科学动态
人脑中气味的单神经元表征
嗅觉是日常生活中不可或缺的感官之一，其缺失会导致食物失去美味，甚至无法感知危险。为了探究人类嗅觉感知的神经机制，波恩大学医院、波恩大学和亚琛大学的研究人员首次在人体中研究了单个神经元的反应，弥合了动物和人类嗅觉研究之间的差距，增强了我们对如何感知气味的理解。
研究团队通过在波恩大学医院接受癫痫诊断的患者的大脑中植入电极，记录他们在闻到各种气味（如新鲜水果、腐坏的鱼）时的神经元活动。研究显示，大脑中的单个神经细胞可以预测特定的气味及其情绪关联。其中初级嗅觉皮层不仅能够精确辨别气味，还可以对视觉信息做出反应。同时，杏仁核对气味的情绪反应有所差异，海马体与气味的识别表现有关。此外，研究发现神经元会对气味、图像以及相关的文字信息产生反应，这表明嗅觉处理中涉及多模态整合以及概念编码机制。这些发现不仅验证了动物研究的结果，还为未来开发嗅觉辅助设备铺平了道路。研究发表在 Nature 上。
#神经科学 #嗅觉 #多模态感知 #癫痫
阅读论文：
Kehl, Marcel S., et al. “Single-Neuron Representations of Odours in the Human Brain.” Nature, Oct. 2024, pp. 1–9. www.nature.com, https://doi.org/10.1038/s41586-024-08016-5.
人类大脑发育过程中的第一张DNA修饰图
本研究由加州大学洛杉矶分校的Chongyuan Luo和加州大学旧金山分校的Mercedes Paredes共同领导，研究团队还包括索尔克研究所、加州大学圣地亚哥分校及首尔国立大学的科学家。研究首次绘制出人类海马体和前额皮质发育过程中DNA修饰的详细图谱，这些大脑区域在学习、记忆和情感调节中起到关键作用，并与孤独症和精神分裂症等神经疾病密切相关。
研究采用了新型单细胞测序技术snm3C-seq（单细胞核甲基化和染色质结构捕获联合测序），对超过53,000个大脑细胞进行分析，揭示了从中期妊娠到成年期间的基因调控变化。研究发现，DNA甲基化和染色质三维结构的动态重组在时间上是相互独立的。短程染色质相互作用主要出现在神经元中，而长程相互作用则更多见于胶质细胞和其他非脑组织。进一步分析显示，精神分裂症相关的基因变异体集中于特定细胞类型的染色质环连接调控区域，这表明这些区域可能是神经精神疾病的潜在发病点。
▷发育中的海马体荧光成像。来源：Oier Pastor-Alonso/UCSF
研究的成果不仅为理解大脑发育中的基因调控提供了基础数据，也为干细胞模型（如大脑类器官）的改进提供了参考标准，使这些模型更接近于实际的人类大脑发育过程。研究发表于 Nature 上。
#大脑健康 #神经科学 #基因调控 #孤独症 #精神分裂症
阅读论文：
Heffel, Matthew G., et al. “Temporally Distinct 3D Multi-Omic Dynamics in the Developing Human Brain.” Nature, Oct. 2024, pp. 1–9. www.nature.com, https://doi.org/10.1038/s41586-024-08030-7.
延长时间：神经元如何在与学习相匹配的时间尺度上编码信息
来自马普研究所佛罗里达神经科学分部的研究团队发表了一项研究，揭示了行为时间尺度突触可塑性（BTSP）的分子机制。该研究由 Anant Jain、Dr. Yoshihisa Nakahata 和科学主任 Ryohei Yasuda 领导，旨在探究神经元如何在学习过程中整合以秒为单位的时间尺度信息。此前的研究主要聚焦于毫秒级的传统突触可塑性模型，忽视了与实际行为时间尺度相一致的分子机制。
研究团队在分离的脑组织中，通过双光子谷氨酸解锁技术结合突触后电流注入，诱导了 BTSP 发生，确认其在行为相关的时间尺度上整合信息的能力。进一步使用改进的 CaMKII（钙调蛋白激酶 II）传感器发现，BTSP 诱导期间 CaMKII 并未立即激活，而是在数十秒后以树突内延迟且随机的方式激活，这种现象称为树突延迟随机激活（DDSC）。
DDSC 的发生依赖于突触前和突触后的共同活动，显示出 CaMKII 在整合这些信号中的关键作用。此外，实验还揭示了 IP3 依赖的细胞内 Ca2+ 释放在促进 DDSC 和 BTSP 过程中具有重要作用。这项研究改变了对 CaMKII 在突触可塑性中作用的传统看法，为理解神经元如何在行为相关的时间尺度上编码信息提供了新的视角。研究发表在 Nature 上。
#神经科学 #突触可塑性 #CaMKII #信息编码 #行为时间尺度
阅读论文：
Jain, Anant, et al. “Dendritic, Delayed, Stochastic CaMKII Activation in Behavioural Time Scale Plasticity.” Nature, Oct. 2024, pp. 1–9. www.nature.com, https://doi.org/10.1038/s41586-024-08021-8.
大脑不同区域的结构与功能连接关系随功能类型变化
耶鲁大学的研究人员近期发表了一项研究，探讨了大脑不同区域的神经元连接（结构）和功能共激活之间的关系。研究由耶鲁大学神经科学系的Neuroanalytics研究小组执行，研究团队成员包括Evan Collins和耶鲁医学院神经学副教授Hitten Zaveri。
研究团队利用大规模数据库中的脑结构和功能数据，对超过300种大脑功能和多个脑区的结构-功能关系进行了计算和分析。他们发现，结构-功能的对应性在不同脑区表现出显著差异。在初级感觉和运动皮层，结构与功能的耦合关系较为紧密，尤其是在处理感知和运动功能时；而在联合皮层，该对应性较弱，反映出复杂认知功能对直接神经连接的依赖性较低。
此外，研究结合自然语言处理技术发现，人类的语言系统与大脑的神经结构有一定的对应性，这种联系可能反映了大脑在感知与认知功能上的组织方式。研究推测，人脑在进化过程中通过建立更多间接连接以实现更高级的认知能力，从而逐渐摆脱对直接连接的依赖。研究发表在 Nature Communications 上。
#神经科学 #大脑进化 #结构功能对应 #认知功能
阅读论文：
Collins, Evan, et al. “Mapping the Structure-Function Relationship along Macroscale Gradients in the Human Brain.” Nature Communications, vol. 15, no. 1, Aug. 2024, p. 7063. www.nature.com, https://doi.org/10.1038/s41467-024-51395-6.
新技术揭示大脑中OPCs如何修剪多余突触
大脑的视觉皮层负责处理视觉信息，而神经回路的优化需要通过修剪多余的突触来实现。这种修剪过程由少突胶质前体细胞（OPCs）完成。冷泉港实验室的Lucas Cheadle及其团队长期研究这些神秘的细胞，他们在2022年首次发现OPCs不仅仅是用来生成少突胶质细胞，还承担着修剪突触的任务。本次研究中，研究团队开发了新技术来深入了解OPCs在大脑健康及神经疾病中的作用。
研究团队采用了一种双管齐下的方法来量化OPCs对突触的修剪。第一种方法利用腺相关病毒（AAV）标记神经元突触，通过荧光信号区分突触位于吞噬溶酶体内外的状态，结合对OPCs的免疫染色，精确分析30-50个OPCs的突触吞噬情况。第二种方法则从解离的脑组织中分离出OPCs，使用荧光抗体标记突触前蛋白，并通过流式细胞术对数万个OPCs进行分析。这两种方法大大提高了突触修剪的检测精度，并可应用于其他胶质细胞的研究。研究结果显示，OPCs在修剪突触时不仅是被动的，而是有选择地吞噬特定的突触。研究团队还发现，这些细胞可能在脑癌和阿尔茨海默病等疾病中起到重要作用。本次研究发表在 Nature Protocols 上。
#神经技术 #突触修剪 #胶质细胞 #阿尔茨海默病 #大脑健康
阅读论文：
Kahng, Jessica A., et al. “High-Confidence and High-Throughput Quantification of Synapse Engulfment by Oligodendrocyte Precursor Cells.” Nature Protocols, Oct. 2024, pp. 1–33. www.nature.com, https://doi.org/10.1038/s41596-024-01048-1.
磁控基因疗法精准调控脑回路，无需植入设备
威尔康奈尔医学院、洛克菲勒大学和西奈山伊坎医学院的研究人员开发了一种新型磁控基因疗法，能够在不植入设备的情况下，通过磁场精准调控特定脑回路。这项技术有望在神经和精神疾病的治疗中发挥重要作用。
研究团队采用一种基因治疗技术，将工程化的离子通道蛋白导入目标神经元。这种蛋白与铁蛋白结合，对磁场敏感，当磁场施加在这些区域时，能够开启或关闭神经元的活动。实验在小鼠的纹状体中注入这种基因治疗，利用磁共振成像（MRI）设备成功控制了小鼠的运动行为，使其动作明显减慢甚至冻结。同时，在帕金森病模型小鼠的丘脑底核中引入氯离子通道，成功降低了c-fos表达，改善了异常运动表现。
此外，研究还验证了经颅磁刺激（TMS）设备的效果。研究过程中未发现安全问题，并确认环境中的普通磁场不足以意外激活该系统。该技术有望用于治疗抑郁症、慢性疼痛等多种神经和精神疾病，并为探索脑回路调控的基础原理提供新工具。研究发表在 Science Advances 上。
#神经技术 #帕金森病 #基因治疗 #磁控
阅读论文：
Unda, Santiago R., et al. “Bidirectional Regulation of Motor Circuits Using Magnetogenetic Gene Therapy.” Science Advances, vol. 10, no. 41, Oct. 2024, p. eadp9150. science.org (Atypon), https://doi.org/10.1126/sciadv.adp9150.
计算机模拟揭示大脑神经元生长过程
英国萨里大学的Dr. Roman Bauer团队开发了一种新型的计算机模拟技术，模拟大脑如何生长神经元。这项研究有助于深入了解大脑的工作机制，并可能为神经退行性疾病如阿尔茨海默病和帕金森病的治疗提供新思路。研究基于BioDynaMo软件开发，该软件支持多维度的基于代理的模拟。
团队采用了近似贝叶斯计算技术，对基于代理的模型（ABMs）进行校准，使模型能够准确反映真实神经元的生长和连接过程。通过对海马体中的锥体细胞的模拟，该方法展示了其在细节上模拟神经元发育的潜力。研究过程中使用了Sequential Monte Carlo采样法和Wasserstein距离来评估模型的参数精度。这些模型不仅在模拟真实数据时表现出色，还能捕捉到海马体CA1区锥体细胞的特定特征。
研究结果表明，随着人工智能技术的快速发展，利用该模拟系统或将为大脑疾病的治疗提供更多可能的干预手段。然而，模拟的准确性仍然依赖于输入数据的质量，对于不同类型的神经元或大脑区域，模型可能需要进一步调整。研究发表在 Journal of Mathematical Biology 上。
#神经技术 #神经元生长 #海马体 #阿尔茨海默病
阅读论文：
Duswald, Tobias, et al. “Calibration of Stochastic, Agent-Based Neuron Growth Models with Approximate Bayesian Computation.” Journal of Mathematical Biology, vol. 89, no. 5, Oct. 2024, p. 50. Springer Link, https://doi.org/10.1007/s00285-024-02144-2.
内感受与情绪调节的关联：抑郁和焦虑的独特机制
内感受和情绪调节障碍在情绪失调中扮演重要角色。孤独症也与这些障碍相关联。本研究由大脑研究院的研究人员进行，通过两组非临床样本的测试，探讨情绪调节是否在内感受/孤独症与共病抑郁/焦虑症状之间起到中介作用。
研究人员在两个独立的样本中测量了参与者的内感受（MAIA）、孤独症（TAS-20）、情绪调节障碍（DERS）、抑郁（BDI-II）和焦虑（STAI）情况。结果显示，情绪调节障碍在内感受与抑郁症状之间起到了中介作用，并且对焦虑症状也有类似影响。然而，在控制共病影响后，焦虑症状更能解释内在感知的问题，而抑郁症状则更能解释孤独症与情绪调节的关系。
这些发现对理解抑郁和焦虑症状的高共病性具有重要意义，同时为每种情绪失调提供了独特的治疗目标。未来研究应在临床样本中进行，并使用纵向数据进一步探讨这些关系的方向性。研究发表在 Current Psychology 上。
#大脑健康 #内感受 #情绪调节 #抑郁 #焦虑 #孤独症
阅读论文：
Li, Ning, et al. “Does Emotion Regulation Mediate the Relationship between Interoception/Alexithymia and Co-Morbid Depression/Anxiety? Evidence from Two Independent Samples.” Current Psychology, Sept. 2024. Springer Link, https://doi.org/10.1007/s12144-024-06612-2.
光流解析揭示大脑如何感知自我运动中的物体运动
当我们在日常生活中移动时，大脑需要忽略由自我运动引起的视觉图像流动（光流），从而正确判断物体的运动方向。这种光流解析机制的存在已在人类和猕猴的行为研究中得到验证，但其神经基础仍不明确。本研究由斯坦福大学和罗切斯特大学的研究人员共同开展。
研究通过对两只猕猴（分别为M和P）的中部颞区（MT区）进行神经记录，观察光流对其运动方向判断任务的影响。实验中，猕猴需要判断目标物体在模拟向前或向后的自我运动背景下的运动方向，分别进行39次记录，涉及727个MT区的神经单元。研究显示，在存在光流背景时，猕猴的感知方向会发生系统性的偏差，偏差程度随着光流强度和物体在视觉场位置的不同而变化。这种偏差符合光流解析的预期，即感知上的偏离方向与光流方向相反。
研究发现，MT区神经元的响应模式与光流解析一致，特别是神经元对左向或右向运动的偏好会影响光流对其响应的调节。通过解码分析，MT区的神经群体响应可以部分解释猕猴在实验中的行为偏差，表明MT区参与了场景相对物体运动的计算。此外，光流对MT区的调节作用并不能简单地用周围抑制或选择性相关活动解释，表明可能存在来自高层次区域的反馈信号，如MSTd或VIP区。研究发表在 Current Biology 上。
#神经科学 #光流解析 #视觉感知 #中部颞区 #猕猴实验
阅读论文：
Peltier, Nicole E., et al. “A Neural Mechanism for Optic Flow Parsing in Macaque Visual Cortex.” Current Biology, vol. 0, no. 0, Oct. 2024. www.cell.com, https://doi.org/10.1016/j.cub.2024.09.030.
AI 行业动态
Anthropic推出Message Batches API，提升大规模数据处理效率
Anthropic公司近日推出Message Batches API，旨在为开发者提供一种高效、低成本的批量查询处理方式。该API支持一次性提交多达10,000个查询，处理时间不超过24小时，相比标准API调用可节省50%的费用。这使得处理非实时性任务变得更为高效和经济。
目前，该API已在公测阶段提供，支持Claude 3.5 Sonnet、Claude 3 Opus和Claude 3 Haiku三款模型，并可通过Anthropic API使用。Amazon Bedrock用户可以利用批量推理功能，Google Cloud的Vertex AI也即将支持批处理功能。
对于开发者来说，Message Batches API能够大幅提高数据处理的吞吐量，避免因速率限制导致的性能瓶颈，尤其适用于需要处理大规模数据的任务，如客户反馈分析、语言翻译、大型数据集分类或模型评估等。此外，这项新功能使得以前不太经济的大规模数据处理场景，如公司文档库分析，变得更为可行。
该API的定价结构提供了输入和输出标记费用的50%折扣，其中Claude 3.5 Sonnet、Claude 3 Opus和Claude 3 Haiku的价格分别为每百万标记$1.50/$7.50、$7.50/$37.50和$0.125/$0.625。著名的问答平台Quora已经应用该API进行文本摘要和高亮提取，以开发新功能，并简化大规模查询的处理流程。
#MessageBatchesAPI #批量处理 #Anthropic #Claude #大规模数据
阅读更多：
https://www.anthropic.com/news/message-batches-api
AI眼镜“扒光”隐私
两位来自哈佛大学的学生AnhPhu Nguyen和Caine Ardayfio开发了一个名为I-XRAY的项目，利用智能眼镜和面部识别技术实时分析并获取个人信息。该系统结合了Ray-Ban Meta智能眼镜和大语言模型，通过面部识别和公共数据库的联动，实现个人信息的自动化提取，包括姓名、职业、家庭住址等敏感数据。
I-XRAY的工作原理是将Meta智能眼镜采集的实时视频上传到Instagram，随后大语言模型对视频流进行分析，通过面部识别技术识别个人信息，并从多个数据源交叉匹配和整合。例如，它可以通过PimEyes（面部搜索引擎）识别身份，再通过FastPeopleSearch检索家庭地址和联系方式。这种技术使得在公共场所轻易获取陌生人的详细信息成为可能。
尽管项目的初衷是提升公众对隐私保护的认识，但也暴露了当前技术对个人隐私构成的潜在威胁。主创团队强调，I-XRAY不会对外公开发布，但他们的演示展示了面部识别技术可能被滥用的风险，如非法跟踪和身份冒充。此外，团队建议通过删除PimEyes等工具中的个人信息来减少暴露风险。
#人工智能 #隐私保护 #面部识别 #智能眼镜 #哈佛大学
阅读更多：
http://tinyurl.com/meet-ixray
互动游戏PainWaive将开展神经性疼痛的临床试验
脊髓损伤（SCI）不仅会引起行动障碍，还会导致严重的神经性疼痛。现有的药物和非药物治疗方法效果有限，因此有必要探索新的治疗手段。新南威尔士大学（UNSW）科学学院和澳大利亚神经科学研究所（NeuRA）的Sylvia Gustin教授和Negin Hesam-Shariati博士领导的研究团队开发了PainWaive系统，该系统包含脑电图（EEG）头戴设备和互动游戏，用于测量和调节异常的大脑活动。
PainWaive系统利用脑电图（EEG）神经反馈技术帮助患者管理疼痛。系统通过轻便的EEG头戴设备记录大脑电活动，并在平板电脑应用中为用户提供实时反馈，用户可以通过互动游戏调节大脑状态，从而减轻神经性疼痛。研究团队设计了四种互动游戏，例如一个火箭游戏，当用户的脑电波达到理想状态时，火箭就会升空。这一过程帮助大脑通过神经反馈重新组织神经通路，逐渐学会在日常生活中调节疼痛。PainWaive的试点研究已完成，StoPain随机对照试验将于2025年启动，参与者将在四周内完成20次疗程。研究旨在进一步验证EEG神经反馈的镇痛效果，并为神经性疼痛患者提供一种非侵入性、家庭可实施的治疗选择。研究发表在 Spinal Cord 上。
#神经技术 #脊髓损伤 #神经性疼痛 #脑电图 #家庭干预
阅读更多：
Hesam-Shariati, Negin, et al. “A Home-Based Self-Directed EEG Neurofeedback Intervention for People with Chronic Neuropathic Pain Following Spinal Cord Injury (the StoPain Trial): Description of the Intervention.” Spinal Cord, Sept. 2024, pp. 1–9. www.nature.com, https://doi.org/10.1038/s41393-024-01031-3.
AI 研发动态
神经现象学的数学视角
最新研究由来自神经科学与现象学交叉领域的学者共同完成，他们结合数学方法，探索如何将主观的第一人称经验与大脑的客观神经活动联系起来。研究基于神经现象学的概念，最初由 Varela 提出，旨在通过整合质性与量化的数据来研究意识体验的本质。
论文采用贝叶斯推理框架，将主观经验的内容形式化为一种概率分布，代表对外部环境和自身状态的最佳猜测（belief）。这一信念会依据感觉数据动态更新，从而刻画主观体验的变化过程。研究运用了自由能原理和主动推理的理论工具，提出了多个可以在未来验证的研究假设，如量化不同人群之间的现象学差异以及主观时间体验的代谢成本。
论文还引入了“生成通道”的概念，即主观体验与大脑活动之间的互相约束关系，认为这些通道通过数学语言可以搭建，进一步为现象学的量化研究提供了新的思路。这种方法不仅有助于理解主观体验的动态变化，还为意识研究提供了一个定量的框架。
#认知科学 #现象学 #神经现象学 #贝叶斯推理 #自由能原理
阅读更多：
Costa, Lancelot Da, et al. A Mathematical Perspective on Neurophenomenology. arXiv:2409.20318, arXiv, 30 Sept. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2409.20318.
量子计算与机器学习融合：突破多体物理学难题
韩国首尔大学的研究人员发表了一项研究，探索了利用量子实验数据结合经典机器学习算法来解决量子多体物理问题的潜力。该研究通过在127个量子比特的超导量子硬件上进行实验，成功获取了高精度的数据，并验证了经典ML算法在处理量子数据中的有效性，特别是在多达44个量子比特的系统中。
研究人员采用了一种混合计算方法，结合经典计算机和量子计算机的优势，克服了传统算法在处理强相互作用系统时的局限性。为了应对量子计算误差，他们引入经典阴影技术（Classical Shadow），通过多种误差减少技术，提升了量子态数据处理的精度。这种方法不仅适用于一维问题，还扩展到二维多体物理系统。
在实验中，研究人员利用支持向量机（SVM）对量子相位进行了分类，并证明了该模型可以有效区分拓扑有序相和平凡相。通过数据增强技术和测量误差缓解（MEM），团队进一步提高了模型的性能。这一研究成果展示了将量子实验数据应用于ML的广泛潜力，尤其是在未来非平衡量子系统的动态模拟中。研究发表在Nature Communications上。
#量子计算 #机器学习 #多体物理 #经典阴影 #误差减少
阅读更多：
Cho, Gyungmin, and Dohun Kim. “Machine Learning on Quantum Experimental Data toward Solving Quantum Many-Body Problems.” Nature Communications, vol. 15, no. 1, Aug. 2024, p. 7552. www.nature.com, https://doi.org/10.1038/s41467-024-51932-3.
WorldScribe：实现盲人实时环境理解的新一代辅助工具
为了提高盲人和视力障碍者的生活质量，密歇根大学的研究团队开发了一款名为WorldScribe的软件，能够实时提供环境的视觉描述。这项研究的负责人包括计算机科学和工程系的Anhong Guo教授，并得到了密歇根大学创新合作伙伴的支持，目前正在申请专利保护。
WorldScribe通过结合视觉、语言和声音识别技术，构建了一个实时描述生成流程。工具能够根据用户的需求和环境状况进行自适应调整，包括在噪音环境中自动调节音量、针对稳定或动态的视觉场景生成不同级别的描述等。描述生成流程基于三种AI模型的配合：YOLO World用于快速生成简短描述，Moondream提供中等详尽程度的描述，GPT-4负责生成复杂的细节说明。实验中，研究人员让盲人参与者佩戴连接智能手机的头戴设备，测试表明WorldScribe能够实时生成准确的物体描述，帮助用户更好地理解环境。用户研究还揭示了一些限制，如某些小物体检测的困难。此外，参与者建议未来可以将该工具集成到智能眼镜或其他可穿戴设备中，以提升日常使用的便利性。
#神经技术 #辅助技术 #视觉描述 #生成式人工智能 #盲人辅助工具
阅读更多：
Chang, Ruei-Che, et al. WorldScribe: Towards Context-Aware Live Visual Descriptions. arXiv:2408.06627, arXiv, 13 Aug. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2408.06627.
新型数据增强算法RoVi-Aug助力跨机器人技能迁移
近年来，机器人技术在执行家务、快递包裹、目标搜索等实际任务方面取得了显著进展。为了推动不同机器人之间的技能快速转移，加州大学伯克利分校的研究团队提出了一种名为RoVi-Aug的新型计算框架。研究团队包括伯克利人工智能研究院（BAIR）的 Lawrence Chen 和 Chenfeng Xu，他们专注于解决机器人学习中的泛化问题。
RoVi-Aug算法旨在解决现有机器人数据集中的不平衡问题，这些数据集中某些机器人的演示数据和视角占据主导地位，导致模型泛化能力不足。该算法使用先进的扩散模型对图像数据进行增强，通过生成不同机器人的合成任务演示图像，从而扩展数据集的多样性。RoVi-Aug框架包含两个主要模块：机器人增强模块（Ro-Aug）和视角增强模块（Vi-Aug）。Ro-Aug通过对机器人进行分割和替换，生成新的机器人演示数据；Vi-Aug则利用最新的视角合成模型ZeroNVS，生成场景的不同视角，从而提高模型对多种相机视角的适应能力。
实验结果显示，通过对增强后的数据进行训练，RoVi-Aug能够实现新机器人在完全不同视角下的零样本部署，并且与此前的Mirage算法相比无需在测试时进行额外处理，也不需要预设的相机参数。此外，RoVi-Aug还能支持策略的微调，与原始数据集联合训练，成功率提高了30%。研究团队目前正与丰田研究院（Toyota Research Labs）等机构合作，计划将该算法应用到现有的机器人数据集上，以进一步提高多任务策略的灵活性和鲁棒性。
#神经技术 #数据增强 #机器人学习 #零样本迁移 #生成模型
阅读更多：
Chen, Lawrence Yunliang, et al. RoVi-Aug: Robot and Viewpoint Augmentation for Cross-Embodiment Robot Learning. arXiv:2409.03403, arXiv, 9 Sept. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2409.03403.
新算法助力神经网络克服“灾难性遗忘”
神经网络在学习新任务时，常常会出现“灾难性遗忘”，即学习新任务时丢失旧任务的知识。相比之下，生物大脑具有更强的灵活性。为了解决这一问题，加州理工学院的Matt Thomson教授和他的团队开发了一种名为功能不变路径（Functionally Invariant Path, FIP）的新算法。
研究团队采用微分几何框架，将神经网络的权重空间视为具有度量张量的曲率黎曼流形，能够实现灵活的网络更新和知识保持。FIP算法通过在权重空间内寻找满足不同目标的路径，实现了多种机器学习任务的兼容性，如提高对抗鲁棒性、持续学习和稀疏化能力。实验表明，FIP算法在对大型语言模型、视觉转换器、卷积神经网络等应用中的性能达到了最先进水平。此外，该算法还能在较低的计算成本下，实现对神经网络的灵活适应，具有广泛的应用潜力。研究发表在 Nature Machine Intelligence 上。
#神经技术 #灾难性遗忘 #持续学习 #微分几何 #机器学习
阅读更多：
Raghavan, Guruprasad, et al. “Engineering Flexible Machine Learning Systems by Traversing Functionally Invariant Paths.” Nature Machine Intelligence, Oct. 2024, pp. 1–18. www.nature.com, https://doi.org/10.1038/s42256-024-00902-x.
整理｜ChatGPT
编辑｜丹雀、1900、存源
关于追问nextquestion
天桥脑科学研究院旗下科学媒体，旨在以科学追问为纽带，深入探究人工智能与人类智能相互融合与促进，不断探索科学的边界。如果您有进一步想要讨论的内容，欢迎评论区留言，或添加小助手微信questionlab，加入社群与我们互动。
关于天桥脑科学研究院
天桥脑科学研究院（Tianqiao and Chrissy Chen Institute, TCCl）是由陈天桥、雒芊芊夫妇出资10亿美元创建的世界最大私人脑科学研究机构之一，围绕全球化、跨学科和青年科学家三大重点，支持脑科学研究，造福人类。
TCCI与华山医院、上海市精神卫生中心设立了应用神经技术前沿实验室、人工智能与精神健康前沿实验室；与加州理工学院合作成立了TCCI加州理工神经科学研究院。
TCCI建成了支持脑科学和人工智能领域研究的生态系统，项目遍布欧美、亚洲和大洋洲，包括、、、科研型临床医生奖励计划、、中文媒体追问等。