Anthropic早期员工与前METR COO创立AIUC以遏制企业AI失控风险

Anthropic早期员工Rune Kvist与前METR首席运营官Rajiv Dattani共同创立了名为Artificial Intelligence Underwriting Company（AIUC）的初创公司，旨在为企业及AI模型/代理构建方提供AI安全解决方案。该公司于周二宣布完成4000万美元A轮融资，由Ribbit Capital领投，First Harmonic参投，此前其种子轮融资1500万美元，投资方包括Nat Friedman的NFDG基金、Emergence、Terrain以及Anthropic联合创始人Ben Mann等，总融资额达5500万美元。AIUC借鉴网络安全领域的SOC 2标准，开发了名为AIUC-1的标准及测试服务，通过约5000项测试对AI代理在越狱、幻觉及数据泄露等场景下的行为进行验证，并生成约100页的报告，详细说明其安全可靠表现及存在的问题。测试过程中，AIUC使用AI代理执行测试并分析数据，最终审计结果由人工验证。该标准的制定基于由约250名安全与风险负责人组成的联盟的反馈，这些负责人作为AI代理的采购方，每月参与讨论采购时关注的问题及需解决的事项。AIUC的客户包括Cursor、Lovable、Harvey和ElevenLabs。值得注意的是，Dattani曾任职COO的METR（其目前仍为董事会成员）也为前沿实验室提供类似测试，但此前主要关注代理完成任务的性能，METR曾是OpenAI用于调查其Hugging Face事件的独立研究机构之一。Anthropic CEO Dario Amodei近期呼吁AI行业控制前沿技术发展，提及需前沿实验室使用嵌入式第三方评估机构观察和验证安全性，并将METR列为可能选项，而AIUC虽不提议嵌入客户现场，但其核心目标与Amodei的呼吁一致，即为企业提供AI代理安全性的独立评估，帮助企业在采购前了解代理的安全可靠区域及潜在风险。