继其他国家采取类似行动后，加拿大联邦政府成立了加拿大人工智能安全研究所，研究先进人工智能模型带来的风险。
创新部长弗朗索瓦-菲利普·香槟周二在蒙特利尔Mila人工智能研究所宣布了这一消息。“如果没有信任，就不会有采用，”他谈到人工智能时说。“如果不被采用，我们将浪费许多新技术的巨大潜力。”
人工智能安全的目标是研究和测试强大的模型可能造成伤害或被用于邪恶目的的方式，并确保技术的发展有利于社会。随着人工智能模型变得越来越复杂，并得到更广泛的部署，安全问题日益受到关注。
人工智能的风险包括有偏见的决策和错误信息，以及不良行为者利用该技术开发生物武器和进行更复杂的黑客行动。包括诺贝尔奖得主杰弗里·辛顿在内的一些人工智能专家担心，人类未来可能会失去对超级智能人工智能系统的控制。
前情提要：对于人工智能教父杰弗里·辛顿来说，机器比我们想象的更接近人类
在2024年的预算中，联邦自由党政府在五年内拨款5000万加元，用于创建加拿大人工智能安全研究所（CAISI），这是更广泛的24亿加元人工智能一揽子计划的一部分。
新研究所将设在加拿大创新、科学和经济发展部。加拿大政府已拨款2700万美元给加拿大高级研究所（CIFAR），以管理CAISI的研究流程。这项工作将与该国三家人工智能研究机构合作完成。
与此同时，加拿大国家研究委员会（National Research Council of Canada）将专注于政府优先考虑的人工智能问题，比如网络安全。
加拿大已经不缺乏公共资助的人工智能研究。除了三个国家人工智能中心外，多伦多大学的施瓦茨赖斯曼技术与社会研究所也致力于人工智能安全。
“它让我们可以做一些以前做不到的新事情，”CIFAR的泛加拿大人工智能战略执行主任埃莉莎·斯特罗姆（Elissa Strome）说。“这是我们研究界关注的一个新领域。”
去年，英国和美国都建立了人工智能安全中心，而欧盟也成立了人工智能办公室，其中包括一个安全部门。
人工智能的安全需要业界的支持，尤其是在评估强大的模型时，如果公司在公开发布之前不被迫接受外部测试的话。
Mila的科学主管、联邦政府人工智能咨询委员会联合主席约书亚·本吉奥（Yoshua Bengio）在接受采访时说：“这种途径并不容易获得。”
国际合作是CAISI的优先事项。今年5月，包括加拿大在内的11个政府同意在安全研究等领域开展合作。包括加拿大代表团在内的一批人工智能安全中心定于下周在旧金山举行首次会议。
人工智能公司通常也支持国际合作伙伴关系，以减轻遵守多个司法管辖区的任何法规或要求的负担。
2023年11月，一些大型人工智能开发商和包括加拿大在内的一些国家同意了一项计划，在向公众发布之前对强大的模型进行测试。“我们不仅可以通过重复我们的合作伙伴在其他国家所做的事情来提供帮助，还可以贡献我们自己惊人的专业知识，”本吉奥教授说。
但这种自愿的方式并非一帆风顺。meta Platform全球事务总裁尼克·克莱格（Nick Clegg）今年早些时候对《政治》（Politico）表示：“我认为，硅谷的每个人都非常希望看到，在我们确定如何与美国和英国的研究机构合作之前，美国和英国的研究机构是否能找到合作的方式。”
对人工智能安全的关注是在监管推动之后出现的。联邦自由党于2022年提出了C-27法案，其中包括一个监管人工智能的框架。该法案仍在接受英国下议院工业和技术委员会的审查。
