Time:2023-08-16 Click:106
原视频:Web3 with a16z, AI & Crypto
原文作者:Dan Boneh(斯坦福大学教授、a16z crypto 高级研究顾问),专注研究密码学、计算机安全和机器学习; Ali Yahya(a16z crypto 普通合伙人),曾就职于 Google Brain,也是 Google 机器学习库 TensorFlow 的核心贡献者之一。
整理 & 编译:倩雯,ChainCatcher
史蒂芬金曾写过一本科幻小说叫《钻石时代》,其中有一种人工智能装置,在人们的一生中充当人他们的导师。当你出生时,你就会与一个人工智能配对,它非常了解你——了解你的喜好,跟随你一生,帮助你做出决定,引导你走向正确的方向。这听起来很不错,但你绝不希望这样的技术落到中间商巨头手中。因为这样会给这家公司带来很大的控制权,以及延伸出一系列隐私和主权问题。
我们希望这一技术能够真正为我所有,于是一种愿景应运而生,那就是你可以用区块链来实现这一点。你可以在智能合约中嵌入人工智能。借助零知识证明的力量,保持数据的私密性。在未来几十年的时间里,这一技术会越来越智能。你可以选择做任何你想做的事,或者以任何你希望的方式改变它。
那么区块链与人工智能的关系如何?人工智能将带领我们走向什么样的世界?人工智能目前的现状与挑战如何?区块链在此过程中又会扮演什么样的作用呢?
人工智能发展,包括《钻石年代》中描述的这种景象其实一直存在,只是最近又经历了飞跃性的发展。
首先,人工智能在很大程度上是一种自上而下、集中控制的技术。而加密技术则是一种自下而上、去中心化合作的技术。从很多方面来说,加密货币是一门研究如何构建去中心化的系统的学问,这种系统可以实现人类的大规模合作,而不存在真正意义上的中心控制人。从这方面看,这就是这两种技术可以合二为一的一种自然方式。
人工智能是一种可持续的创新,它能强化现有技术公司的商业模式,帮助它们做出自上而下的决策。这方面最好的例子就是谷歌,它能够决定在数十亿用户、数十亿页面浏览量中为用户呈现的内容。而加密货币则本质上是一种颠覆性创新,它的商业模式与大型科技公司的商业模式根本相悖。因此,这是一场由边缘叛逆者带头的运动,而非当权者带领的运动。
因此,人工智能可能会与隐私保护各方面息息相关,两者相互促进、相互作用。人工智能作为一种技术,已经建立了各种激励机制,导致用户所有的隐私越来越少,因为公司想要获取我们的所有数据。而根据越来越多数据训练出来的人工智能模型也将变得愈加有效。另一方面,人工智能并非完美,模型可能有偏差,偏差可能导致不公平的结果。因此现阶段也很多关于算法公平性的论文。
我认为,我们会通往一条人工智能的道路,在这条道路上,每个人的数据都会被汇总到这些庞大的模型训练中,以优化模型。而加密货币则朝着相反的方向发展,即增加个人隐私,赋权用户掌控数据主权。可以说,加密技术是与一种人工智能相抗衡的技术,因为它能帮助我们从丰富的内容中分辨出人类或人工智能创造的内容,在一个人工智能创造的内容泛滥的世界,加密技术将成为维护和保存人类内容的重要工具。
加密货币就是狂野西部,因为它完全没有权限,因为任何人都可以参与。你不得不假定,其中有些参与方是恶意的。因此现在更需要一些工具来帮助你从不诚实的参与者中筛选出诚实的参与者,而机器学习和人工智能作为一种智能工具,实际上在这方面大有裨益。
例如,就有项目利用机器学习来识别提交给钱包的可疑交易。这样用户的这些交易就会被标记,并被提交到区块链上。这可以很好地防止用户不小心把所有的资金都提交给攻击者,或者做了一些事后会后悔的事。机器学习也可以作为一种工具,帮助你提前判断同样哪些交易可能存在 mev。
正如 LLM 模型可以用来检测虚假数据或恶意活动一样,反过来,这些模型也可以用来生成虚假数据。最典型的例子就是深度伪造。你可以创建一段视频,让某人说一些他从未说过的话。但是区块链实际上可以帮助缓解这一问题。
比如,区块链上有时间戳,显示在这个日期你说了这样那样的话。如果有人伪造视频,那么你就可以利用时间戳进行否认。所有这些数据,真正真实的数据都记录在区块链上,可以用来证明这个深度伪造的视频真的是假的。所以我认为,区块链可能有助于打击伪造。
我们还可以依靠可信的硬件来实现这一点。摄像头和我们的手机等设备会对拍摄的图像和视频进行签名,以此作为标准。它被称为 C 2 PA,规定了相机如何签署数据。事实上,现在索尼的一款相机就可以拍摄照片和视频,然后在视频上生成 C 2 PA 签名。这是一个很复杂的话题,在此我们不再赘述。
通常情况下,报纸在刊登图片时,不会原封不动地刊登相机拍摄的图片。他们会进行裁剪,对照片进行一些授权处理。一旦你开始编辑图片,就意味着收件人、最终读者、浏览器上的用户看到的不是原始图片,就无法进行 C 2 PA 签名验证。
问题是,如何让用户确认他们看到的图像确实是由 C 2 PA 相机正确签名的?这正是 ZK 技术的用武之地,你可以证明编辑后的图像实际上是对正确签名的图像进行向下采样和灰度缩放的结果。这样,我们就可以用简单的 zk 证明来代替 C 2 PA 签名,并与这些图像一一对应。现在,读者仍然可以确认他们看到的是真实的图像。因此,zk 技术可以用来对抗这些信息。
人工智能本质来说是中心化的技术。它在很大程度上得益于规模效应,因为依靠单一数据中心运行会让事情变得更有效率。此外,数据、机器学习模型、机器学习人才等通常由少数科技公司控制,
那么该如何破局?加密货币可以通过使用 ZKML 等技术来帮助我们实现人工智能的去中心化,可以应用在数据中心、数据库、机器学习模型本身。比如,在计算方面,使用零知识证明,用户就可以证明实际进行推理或训练模型的过程是正确的。
这样,你就可以将这一过程外包给一个大型社区。这种分布式流程下,任何拥有 GPU 的人都可以为网络贡献算力,并以这种方式训练模型,而不必依赖一个集中所有 GPU 的大型数据中心。
从经济学角度看,这是否有意义并不确定。但至少通过正确的激励措施,可以实现长尾效应。你可以利用所有可能存在的 GPU 能力。让所有这些人都为模型训练或推理运行贡献计算能力,这将可以代替控制一切的大型科技公司。要实现这一点,必须解决各种重要的技术问题。实际上,有一家公司叫英伟达正在建立一个去中心化的 GPU 计算市场,主要用于训练机器学习模型。在这个市场上,任何人都可以贡献自己的 GPU 计算能力。另一方面,任何人都可以利用网络中存在的任何计算来训练他们的大型机器学习模型。这将成为 openai、谷歌、元数据等集中式大科技公司的替代选择。
可以设想这样一种情况:Alice 有一个想要保护的模型。她想把模型以加密的形式发送给 Bob ,Bob 现在收到加密模型,需要在这个加密模型上运行自己的数据。如何做到这一点呢?那就要利用所谓的全同态加密计算加密数据。如果用户拥有加密模型和明文数据,那么就可以在明文数据上运行加密模型,接收并获得加密结果。你将加密结果发回给 Alice,她就能解密并看到明文结果。
这实际上是已经存在的技术。问题是,目前的技术对中型模型很有效,我们能否将其扩展到更大的模型?这是一个相当大的挑战,需要更多公司的努力。
我认为要实现计算方面的去中心化。第一个是验证问题,你可以使用 ZK 解决这个问题,但是目前这些技术只能处理较小的模型。我们面临的挑战是,这些加密原语的性能远远无法满足对超大型模型进行训练或推理的需要。因此有很多工作正在进行,以提高证明过程的性能,从而可以高效地证明越来越大的工作量。
与此同时,一些公司也在使用其他技术,这些技术不仅仅是加密技术。而是采用博弈论性质的技术,他们让更多相互独立的人进行工作。这是一种不依赖于密码学的博弈论式的乐观方法,但它仍然与去中心化人工智能或帮助创建人工智能生态系统这一更大的目标相一致。这是 openai 等公司提出的目标。
第二个大问题是分布式系统问题。比如,你该如何协调一个庞大的社区,让他们为一个网络贡献 gp,从而让人感觉它是一个集成的、统一的计算底层?这其中会有很多有挑战,比如如何以一种合理的方式分解机器学习的工作量,并将不同的工作量分配给网络的不同节点,以及如何高效地完成所有这些工作。
目前的技术基本上可以应用到中型模型 ,但是无法应用于 gpt 3 或 gpt 4 那样大的模型。当然,我们还有其他方法。例如,我们可以让多人进行培训,然后比较结果,这样就有了博弈论上的激励机制。激励人们不要作弊。如果有人作弊,其他人可能会抱怨他们计算的训练结果不正确。这样一来,作弊的人就得不到报酬了。
我们也可以在社区中分散数据来源,以训练大型机器学习模型。同样,我们也可以收集所有数据,然后自己训练模型,而不是由一个中心化的机构负责。这可以通过创建一种市场来实现。这与我们刚才描述的计算市场类似。
我们也可以用激励的眼光来看待,鼓励人们向某个大数据集贡献新数据,然后用来训练模型。这其中的困难与验证挑战类似。你必须以某种方式验证人们贡献的数据确实是好数据。这些数据既不是重复数据,也不是随机生成的垃圾数据,更不是以某种方式生成的不真实数据。
此外,还要确保数据不会以某种方式颠覆模型,否则模型性能实际只会越来越差。也许我们必须依靠技术解决方案与社会解决方案的结合,在这种情况下,你还可以通过某种社区成员能够获得的站点指标来建立可信度,这样当他们贡献数据时,数据就会比原来更可信一些。
否则真正实现覆盖数据分布是需要非常久的时间的。机器学习的一大挑战就是模型实际上只能覆盖训练数据集所能达到的分布范围。如果有一些输入远远超出了训练数据的分布范围,那么你的模型实际上可能会表现得完全不可预测。为了让模型在边缘情况、黑天鹅数据点或现实世界中可能遇到的数据输入中表现出色,我们需要一个尽可能全面的数据集。
因此,如果你有这样一个开放的、去中心化的市场,为数据集提供数据,你就可以让世界上任何拥有独特数据的人向网络提供这些数据,这是一种更好的方式。因为如果你试图以一家中心公司的身份来做这件事,你根本无法知道谁拥有这些数据。因此,如果可以创造一种激励机制,让这些人主动站出来提供这些数据,那么我认为,你实际上可以获得明显更好的长尾数据覆盖率。
所以我们必须有某种机制来确保你提供的数据是真实的。一种方法是依靠可信硬件,让传感器本身嵌入一些可信硬件,我们只信任硬件正确签名的数据。否则,我们就必须有其他机制来辨别数据的真伪。
机器学习目前有两个重要趋势。首先,机器学习模型的性能测量方法正在不断改进,但仍处于早期阶段,实际上很判断知道另一个模型的性能。另一个趋势是,我们越来越善于解释模型的工作原理。
因此,基于这两点,在某些时候,我也许可以理解数据集对机器学习模型性能的影响。如果我们能理解第三方贡献的数据集是否有助于机器学习模型的性能,那么我们就可以奖励这种贡献,并为该市场的存在创造动力。
试想一下,如果你能创建一个开放市场,让人们贡献经过训练的模型,从而解决特定类型的问题,或者如果创建了一个智能合约,其中嵌入了某种测试,如果有人能使用 zkml 提供一个模型,并证明该模型能解决该测试,这就是一种结局方案。你现在拥有了创建一个市场所需的工具,当人们贡献出能解决某些问题的机器学习模型时,市场就会受到激励。
我认为加密货币与人工智能交叉背后的愿景是,你可以创建一套协议,将人工智能这项新技术获取的价值分配给更多的人,所有人都可以做出贡献,所有人都可以分享这项新技术带来的好处。
因此,能够获利的人将是贡献计算能力的人、贡献数据的人、或者是为网络贡献新的机器学习模型的人,这样就能训练出更好的机器学习模型,解决更重要的问题。
网络需求方也可以获利。他们把这个网络作为训练自己的机器学习模型的基础设施。也许他们的模型能贡献一些有趣的事情,比如下一代聊天工具。在这些模式中,由于这些公司将拥有自己的商业模式,因此它们本身就能推动价值的获取。
建立这个网络的人也同样会获利。比如,为网络创建一个代币,代币将分发给社区。所有这些人都将拥有这个去中心化网络的集体所有权,用于计算数据和模型,也可以获取通过这个网络进行的所有经济活动的某些价值。
你可以想象,通过这个网络进行的每一笔交易,每一种支付计算费用、数据费用或模型费用的支付方式,都可能会被收取一定的费用,这些费用会进入由整个网络控制的金库。而代币持有者则共同拥有这个网络。这本质上就是网络本身的商业模式。
很多听众可能都听说过协同飞行员(co pilot),这是一种用来生成代码的工具。你可以尝试使用这些协同生成工具来编写 solidity 合约或密码学代码。我想强调的是,这样做其实是非常危险的。因为很多时候,当你尝试运行时,这些系统实际上会生成可以运行但并不安全的代码。
实际上,我们最近写了一篇关于这个问题的论文,其中指出,如果你试图让一名协同飞行员编写一个简单的加密函数,它所提供的加密功能是正确的。但它使用了一种不正确的操作模式,因此你最终会得到一种不安全的加密模式。
你可能会问,为什么会出现这种情况?其中一个原因是,这些模型基本上都是根据现有的代码训练出来的,它们是在 github 仓库中训练出来的。很多 github 仓库实际上都容易受到各种攻击。因此,这些模型学习到的代码都能正常工作,但并不安全。这就像是质量不高的垃圾产出垃圾。因此,我希望人们在使用这些生成模型生成代码时一定要小心谨慎,仔细检查代码是否真的完成了它应该做的事情,而且做得很安全。
你可以使用人工智能模型,结合其他工具生成代码,确保整个过程不会出错。例如,一个想法是使用 llm 模型为形式验证系统生成规范,要求 llm 为形式验证工具生成一个规范。然后,要求同一个 llm 实例生成符合规范的程序,然后使用形式化验证工具查看程序是否真的符合规范。如果有漏洞出现,工具也会捕捉到。这些错误可以作为反馈反馈给 llm,然后理想的情况是,希望 llm 可以修改其工作,然后生成另一个正确的代码版本。
最后,如果你重复操作,你最终就会得到一段代码,在理想情况下,它能完全满足这个返回值,并且经过正式验证,也能满足这个返回值。而且,由于人类可以读取这个回溯,因此你可以通过这个回溯,看到这就是我想要写的程序。实际上,已经有很多人在尝试评估 LLM 在查找软件漏洞方面的能力,比如团结智能合约、C 和 C plus。
那么,我们是否会达到一个高度:LLM 生成的代码比人类生成的代码更不容易包含 bug?比如,当我们讨论自动驾驶时,我们在意的是,它比人类驾驶员更不容易撞车吗?我认为这种趋势只会变得越来越强大,把人工智能技术集成到现有工具链中的程度也会越来越高。
你可以将其集成到形式验证工具链中,你还可以把它集成到其他工具中,比如前面提到的检查内存管理问题的工具。你还可以把它集成到单元测试和集成测试工具链中,这样 llm 就不只是在真空中行动。它可以从其他工具获得实时反馈,这些工具将它与地面实况连接起来。
我认为,通过结合使用世界上所有数据训练出来的超大型机器学习模型,再加上这些其他工具,可能会让计算程序比人类程序员更优秀。即使他们仍然会犯错,但他们可能就是超人。这将是软件工程的一个重要时刻。
但这一切都建立在同样的社交图谱之上,没有人拥有它,也没有一家价值数十亿美元的科技公司在中间完全控制它。
这是一个令人兴奋的世界,因为这意味着它可以更加充满活力,可以有一个由人们共同打造的生态系统。每个用户都可以对他们在平台上看到的东西和做的事情进行更多的掌控。
但同时用户也需要从噪音中过滤信号。例如,需要制定合理的推荐算法,过滤所有内容,向你展示你真正想看的新闻源。这将为整个市场打开一扇门,一个由提供服务的参与者组成的竞争环境。你可以使用算法,使用基于人工智能的算法为你策划内容。作为用户,你可以决定是否使用一种特定的算法,也许是 twitter 建立的算法,或者是其他算法。但同样,你也需要像“机器学习 ”这样的工具来帮助你筛选噪音,帮助你解析所有的垃圾信息,在这个世界上,生成模型可以创造出世界上所有的垃圾信息。
一个非常相关的问题是,在人工智能伪造的内容泛滥的世界里,如何证明你确实是人类?
生物识别技术是一个可能的方向,其中一个项目叫世界代币(World Coin), 使用视网膜扫描作为生物识别信息来验证你是否是真人,以确保你确实是个活人,而不只是一张眼睛的照片。这个系统拥有安全的硬件,很难被篡改,因此另一端出现的证明,也就是掩盖你实际生物识别信息的零知识证明,很难通过这种方式伪造。
在互联网上,没人知道你是机器人。因此,我想这正是人性证明项目变得非常重要的地方,因为知道你是在与机器人还是在与人类互动将变得非常重要。如果你没有人类的证据,那么你就无法判断一个地址是属于一个人,还是属于一群人,或者一万个地址是否真的属于一个人,还是只是假装为一万个不同的人。
这在治理中至关重要。如果治理系统中的每个参与者都能证明他们实际上是人类,而且他们能以一种独特的方式证明自己是人类,因为他们只有一组眼球,那么治理系统就会更加公平,也不会那么财阀化(基于被锁定在某个智能合约中最大金额的偏好)。
由于加密货币在这里的作用,你可以围绕一首音乐创建一个社区,而如果一首音乐只是由机器学习模型创建的,没有任何人类元素,那么这个社区就不会存在。
我们将接触到的很多音乐都将完全由人工智能生成,而建立社区、围绕艺术、围绕音乐、围绕其他类型的媒体讲述故事的工具将非常重要,它会将我们真正关心、真正想要投资并花时间去接触的媒体与其他一般的媒体区分开来。
这两者之间可能会产生一些协同效应,比如很多音乐都将由人工智能增强或生成。但如果也有人类元素参与,比如说,创作者利用人工智能工具创作了一首新的音乐,他们有自己的声音特色、他们有自己的艺术家页面、自己的一个社区、以及自己的追随者。
现在,这两个世界之间产生了协同效应,大家拥有了最好的音乐,因为人工智能赋予了大家超强的能力。但同时,大家也拥有了人类元素和故事,这些元素和故事通过加密技术得以协调和实现,让你把所有这些人聚集到一个平台上。
在内容生成方面,这绝对是一个崭新的世界。那么我们该如何区分需要支持的人类生成的艺术和机器生成的艺术?
这实际上为集体艺术打开了一扇门,通过整个社区的创作过程产生的艺术,而不是单个艺术家。已经有一些项目在做这件事了,在这些项目中,社区通过一些投票程序来影响链条,根据机器学习模型的提示生成艺术作品。也许你生成的不是一件艺术品,而是一万件。然后你再使用另一个机器学习模型,这个模型也是根据社区的反馈训练出来的,它能从这 1 万幅作品中挑选出最好的一幅。