一年来,我们在实现这一目标的道路上进展顺利,全球社区充满活力,快速发展。我们共同推动开放和可信数据方面的进步;为对世界经济和人类健康与繁荣至关重要的行业和科学应用提供新的人工智能基础模型;提供开放的技术工具,以评估和启用安全可信的人工智能模型和部署中的系统;在全球范围内对学生和政府进行教育和宣传;以及更多。
一年前,IBM、Meta 和50 多个人工智能领域的领先组织宣布成立人工智能联盟(AI Alliance),这是一个全球性的合作组织,致力于在技术和社会领域建立、支持和倡导人工智能的开放式创新,以确保人工智能技术对每个人都是可用的、可信的和有益的。
今天的人工智能联盟:
让我们从一些关键成就开始谈。从零开始,我们创建了一个具有以下特点的社区:
·来自23 个国家的140 多个组织成员组成了一个指导委员会和12 个主要工作组,致力于应对当今人工智能领域的最大挑战,从数据来源和质量,到确保人工智能系统的信任和安全,再到将人工智能应用于新问题和新机遇。
·开展了 93 个核心和附属项目,拥有 1200 多个工作组协作者。
·在 10 个国家参与或领导了 30 项全球活动,参与人数超过 20,000 人。
·就影响人工智能开放式创新的重要议题,与政府政策制定者进行接触,并对其进行教育。
·出版了五份涉及人工智能的基本议题的《人工智能联盟指南》,代表了联盟成员的经验,编录了最有能力的开放工具,并指导研究人员、开发人员和组织决策者如何构建和应用人工智能。
这些共同努力使我们在第一年取得了重要而具有影响力的进展,我们才刚刚起步,更多的进展还在后面。我们计划扩大由个人、组织、项目、活动和参与组成的全球社区,使人工智能对每个人都是开放的、有益的、可信和可及的。在此,我们承诺在2025 年将我们的覆盖范围和影响力扩大10 倍。
作为实现这一目标的下一步,我们很高兴地宣布人工智能联盟将在2025 年推出两项新的重大举措:开放可信数据计划(OTDI)和信任与安全评估计划(TSEI)。这些新倡议是人工智能联盟及其成员的主要优先事项,旨在解决当今人工智能领域的一些最大挑战:我们在人工智能模型和系统中使用的数据的来源、透明度和质量,以及如何构建和部署人们和组织可以信任的人工智能系统的工具、方法和指导。
此外,我们刚刚发布了最新的《人工智能联盟的AI基本能力指南》,该指南是人工智能联盟多年努力的一个项目,旨在让学术界、工业界和民间社会的利益相关者参与其中,并就人工智能教育的未来课程达成共识。在此,我们还宣布启动一个新的气候与可持续发展工作组,该工作组将开发和应用多模式基础模型和开源软件工具,以应对气候变化理解和减缓方面的重大挑战。
以下是有关这些公告和2024 年其他成就的更多信息:
确保AI 的安全性和信任
GenAI 革命所面临的最大挑战之一就是确保人工智能系统的行为和产出是有益、准确和可预测的,这样它们才能与人类和支撑世界的信息技术系统合作,成为值得信赖的能力。这是我们人工智能联盟工作的始因。
我们的“安全与信任”工作组于今年早些时候启动,目前已有来自IBM、Meta、英特尔、红帽、HydroX AI、ServiceNow、索尼、哥伦比亚大学、Eleuther AI、斯坦福大学、ML Commons、圣母大学、帝国理工学院、多伦多大学等40 多个组织的230 多名个人参与者。
该小组的首批成果之一是《人工智能联盟信任与安全求生指南》:关于如何评估人工智能系统的工具、能力和指南的目录不断增加,其中包括我们成员的许多人工智能联盟附属项目,如MLCommons 的AILuminate、Meta 的Llama Guard、IBM 的unitxt、AI Risk Atlas 和Granite Guardian、NIST 人工智能风险管理框架等。
为了扩展我们在人工智能信任与安全方面的工作,我们这次宣布了人工智能联盟信任与安全评估倡议,通过三管齐下的人工智能系统评估方法,让全球社区参与进来,而不仅仅局限于我们的联盟成员:
·人工智能评估分类标准和特定领域风险评估:我们发布了评估关注点的综合分类标准,从风险、一致性到性能,包括通用标准和特定领域(如金融、医疗保健、零售、科学发现等)标准。作为其中的一部分,我们启动了一个项目,让开放的主题专家社区参与进来,以确定现有和新的评估人员必须应对的特定领域风险。
·分类标准的新评价工具和基准排行榜:该计划的一个主要目标是确保每个评价分类“节点”都有适合任何部署情况的实施方案,并支持建立新的评价工具和基准。安全BAT就是实现这一目标的一个工具,它是部署在Hugging Face 上的一个交互式仪表盘基准排行榜,用户可以通过比较基准来决定哪些基准的覆盖面最广、重复最少,因此开销也最小。这是正在开发的几个排行榜中的第一个,用户可以根据自己的具体安全或使用案例兴趣筛选基准,并下载配置进行直接部署。例如,如果您正在为医疗健康业构建一个聊天助手,该助手必须满足一般和特定领域的标准,那么最好使用哪些基准和单个评估者来确保您的安全性和一致性目标呢?
·人工智能信任与安全参考堆栈:我们发布了第一个版本的开放式软件平台,用于全面评估人工智能模型和系统,使开发人员能够为其用例选择正确的系统组件和架构。这个新的参考堆栈此次发布了V0.1,供早期社区使用和反馈。它包括生态系统中几个最受欢迎的、事实上的标准库和工具。
2025 年,我们将整合并扩展这些项目与合作,创建一个行业标准社区中心,用于测试、开发和选择来自不断增长的生态系统的基准和评估工具,并将其应用于人工智能模型和系统;建立信任与安全参考堆栈,以及使用、集成和部署的秘诀;创建新的基准和评估技术,以满足教育、金融、健康、零售、制造、气候、材料和药物发现等特定领域的安全、风险和质量要求。
开放可信数据:为人工智能奠定更好的基础
数据是人工智能模型和系统最重要的组成部分,然而,如今的人工智能数据往往来源不明、授权不清,在质量和所代表的语言、模式和专家领域的多样性方面存在巨大差距。
这就是为什么我们此次要宣布人工智能联盟的开放可信数据计划(OTDI),其目标是在人工智能所必需的所有领域和模式中发布具有明确出处和脉络的大规模开放许可数据集。
新成立的开放可信数据计划汇集了来自20多个组织的150多名个人参与者,包括Pleias、BrightQuery、Common Crawl、ServiceNow、Hugging Face、IBM、艾伦人工智能研究所、康奈尔大学、Aitomatic、东京电子、EPFL等,大家都在努力开发更好的出处和管理预期,以及更好的工具和流程,以整理出更加透明、可信、准确和广泛适用的数据集。
此次我们公布了一个包含三部分的OTDI起点工作:
·出处和治理:我们将发布第一份提案,即针对将成为该计划一部分的数据的基准出处和管理规范v0.1。我们还将宣布成立一个指导委员会,以指导该规范的开发及其在OTDI 数据接收、整理和管理方面的实施。
·数据准备和溯源工具:人工智能联盟一直在从联盟成员那里收集一套用于准备和处理数据的工具,包括Data Prep Kit, Docling, Ray Data, Arize Phoenix和其他工具。人工智能数据管道的特殊性和需求,包括多模态数据和大规模可扩展性要求,要求并推动着数据处理技术的创新。人工智能联盟正在通过OTDI 支持和引导这一创新。
·人工智能联盟开放可信数据目录:我们宣布了人工智能联盟开放可信数据目录中的首批数据集。这些数据集来自人工智能联盟的成员,他们都是数据工程、模型开发和各领域人工智能应用的专家。我们希望这些数据集能够发展成为全球人工智能社区的大型资源。
以上仅仅是一个开始。2025 年,我们计划完善我们的数据出处和治理预期,以及开放可信数据的验收和验证流程。我们还计划为可信数据处理开发工具和发布配方(管道),包括端到端的源流跟踪功能。我们计划大幅扩展数据目录,旨在纳入世界上大多数语言的数据,以及包括图像、音频和视频在内的高质量多模态数据的大型存储库,以及时间序列和科学模态。我们还计划对与教育、金融、健康、零售、制造、气候和地理空间、材料和化学、健康以及生物医学科学相关的特定领域的专家数据进行编目。作为这项工作的一部分,我们将发起一系列全球研讨会和活动,以促进开放可信数据的收集,并改进实现这项工作所需的工具。
让人工智能为每个人所用
生成式人工智能已经产生了许多令人印象深刻的示范和应用,但要使其在与个人、企业、政府和教育机构相关的众多领域和用例中真正发挥作用,仍存在很大差距。从值得信赖的个人助理到协助医生诊断,再到帮助气候科学家了解天气和土地使用的大规模趋势等等,只有科学家、工程师、相关议题专家和组织的领导者等广泛的群体通力合作,才能实现当今人工智能的诸多承诺。
因此,人工智能联盟成立了一系列工作组,旨在为开发人员提供更好的工具、模型、应用架构和指导,帮助他们在多个领域构建应用。为此,我们召集了来自50 多个组织的500 多名个人参与者,包括IBM、Meta、Neo4j、英特尔、AMD、ML Commons、Aitomatic、Red Hat、Citadel、康奈尔大学、Senzing、EPFL 等。我们在2024 年的其他工作亮点包括:
·人工智能联盟的AI应用指南:根据人工智能联盟成员的工作和收集的经验,为构建人工智能应用提供最有能力的工具、库和框架的目录和指南。
·人工智能联盟的AI加速器软件生态系统指南:关于将人工智能模型和系统部署到各种GPU 和人工智能专用加速器硬件所需的软件的综合目录和指南。
·人工智能“烹饪料理”:一个开放的“试验厨房”,用于试验和开发使用各种模型系列(如IBM 的Granite 模型和Meta 的Llama 模型)来应用人工智能的新方法,利用最有能力的开放式库和模型为流行的应用模式(包括RAG、RAFT、图形、神经符号和代理规划与推理架构)编制越来越多的“菜谱”。
·行业基础模型:包括半导体、机器人、地理空间、法律、健康、金融、材料与化学、智能体交互与推理以及时间序列等领域的基础模型开发项目。其中包括我们发布的首个特定领域开放模型,名为SemiKong,这是一个利用半导体加工行业专家数据训练的模型。
·气候与可持续发展:我们此次启动了一个新的气候与可持续发展工作组,旨在开发数据、模型和工具,利用人工智能更好地理解和缓解气候挑战。该工作组将由人工智能联盟的主要成员牵头,包括帝国理工学院、MBZUAI、ServiceNow、IBM 和美国国家航空航天局(NASA)。它的前两个主要项目是用于地理空间基础模型基准测试的Geobench 和Geochat,后者是通过IBM 的Granite 开放基础模型支持的自然语言界面来处理和理解地理空间数据和现象的应用程序。
支持人工智能开放式创新的政策与宣传
人工智能联盟开启了一项充满活力的全球运动,重点是去教育利益相关者,倡导人工智能的政策和治理,其中包括开放性、开放式人工智能模型和支持人工智能开放式创新的生态系统的重要性。世界各国政府正在努力确保人工智能用于造福人类,并最大限度地减少与特定挑战相关的潜在危害,如训练数据的质量和来源(如敏感数据、隐私等),以及对人工智能模型输出的安全性和可信度的担忧(如偏差、幻觉、缺乏稳健性等)。这些危害可能来自人工智能技术本身的细微差别,也可能来自利用特定人工智能漏洞的敌对行为者。人工智能联盟不仅致力于倡导开放技术,还致力于制定有助于应对这些挑战的政策。2024 年政策和宣传重点领域的亮点包括对以下问题的回应:
·美国商务部NTIA 的《具有广泛可用模型权重的两用基础人工智能模型》。
·《管理滥用两用的基础模型》,摘自NIST。
·《反对加利福尼亚州SB 1047 的声明》。
·日本公平贸易委员会《关于生成式人工智能和竞争的讨论文件》。
以上这些都代表了人工智能联盟成员组织领导者的广泛共识。基于这些参与,我们得出了一些关于政策和宣传的关键意见:
·由于利益、基本激励和风险管理角色的不同,关注大型专有模型的立法需要明确考虑开源人工智能模型。
·相关立法者需要充分熟悉人工智能开发实践(尤其是开源),以制定有效、适当的立法。
·让基础模型开发者承担过多责任以管理已部署应用风险的立法,完全忽视了定义具体应用/用例和实际风险的下游活动。
展望2025年,人工智能联盟将继续在全球范围内开展工作,向政策制定者宣传人工智能和开放式创新生态系统的优势。例如,苏黎世联邦理工学院将牵头召开一次人工智能联盟政策圆桌会议,讨论阻碍全球人工智能民主化的障碍,并将研究与实施欧盟人工智能法案相关的具体工作。此外,我们最近扩大了成员范围,这将对印度不断演变的政策产生重大影响,促进负责任的人工智能发展,从而推动经济增长。
教育和赋能全球社区
随着人工智能能力以迅雷不及掩耳之势发展,学生和现有劳动者必须掌握能够利用AI能力的技能。人工智能联盟技能与教育工作组正在努力应对这一巨大挑战,他们来自康奈尔大学、IBM、Abdus Salam 国际理论物理中心、英特尔、闪电人工智能、Meta、蒙特利尔人工智能伦理研究所、Neo4j、纽约大学、红帽公司、伦斯勒理工学院、Scuola Internazionale Superiore di Studi Avanzati、慕尼黑工业大学、圣母大学、SEE Change Initiative、约翰霍普金斯大学、Jobs for the Future、Senzing 等。
该工作小组与阿斯彭研究所合作,刚刚发布了《人工智能基本能力指南》,这是一份关于人工智能教育未来的综合资源,代表了学术界、工业界、政府和非营利部门众多利益相关者的意见和一致看法。该指南包括:
·促进对人工智能的理解:定义基本能力,帮助个人和组织掌握必要的知识和技能。
·支持课程开发:为围绕人工智能核心能力调整教育和培训计划提供框架。
·促进职场劳动者的技能发展:协助组织提升员工技能,制定以人工智能为重点的培训计划。
·消除人工智能鸿沟:促进边缘化社区公平获得人工智能教育和学习机会。
人工智能联盟还致力于更好地支持和促进学术研究。我们与IBM、Red Hat、Mass Open Cloud Consortium 和美国国家科学基金会合作,创建了一个开放的人工智能云环境,为研究界提供数据准备、模型增强和应用实验室等方面的支持,以尝试和改进将人工智能应用于科学和社会挑战的方式。我们计划在2025 年对此进行大幅扩展,包括创建一个学术研究人员中心,以促进联盟项目之间的匹配,并利用各种资金和支持来源,使学术界能够更广泛地参与前沿人工智能研究。
向2025 年迈进!
2024 年对于人工智能联盟来说是锐意进取硕果累累的第一年,我们很高兴能借此机会向所有促成这一切的人表示感谢。
然而,随着140 多个全球领先的人工智能组织走到一起,每个月都有更多的组织加入,我们希望做得更多。为了将我们的影响力扩大10 倍,发展我们在开放可信数据和安全与信任方面的主要计划,并确保我们的许多其他项目取得成功,我们必须大幅扩展我们的成员范围,让开发人员、研究人员、企业和政府领导人以及民间社会成为我们的贡献者和合作者。这种规模的全球合作是2025 年的首要任务。
敬请期待!