AI 的狂飙突进，背後站着「资料原罪」的幽灵。本文源自极客公园所着文章《实锤！村上春树、史蒂芬·金盗版书成训练数据，AI 巨头无一幸免》，由 ForesightNews 整理、编译及撰稿。
（前情提要： OpenAI传破产危机？报告：ChatGPT每日烧2000万、用户流失超两成）
（背景补充： AI混战！Meta结盟微软推「免费开源」语言模型Llama2！威胁OpenAI、Google）
本文目录
为了训练大型语言模型，OpenAI、Meta、Google、微软等公司未经许可，从网际网路上收割了数百万受版权保护的作品，在版权法的灰色地带中游走。
如今，OpenAI 目前正面临大量的官司，原告称该公司训练资料集中的大多数书籍来自盗版来源和非授权网站。一旦被判侵权，公司有可能将面临钜额罚款或重构演算法的局面。这也导致，如今 AI 公司越来越不愿意分享 AI 训练资料的详细资讯。
但一些公开的盗版语料库已经被盯上，近日，有人发现一个叫 Book3 的资料集，包含近 20 万本书籍，囊括村上春树、史蒂芬・金等畅销书作家的着作，这个资料集被用在了训练 AI 模型上，最近遭到反盗版组织的反覆攻击。
版权问题这把利刃，正悬在 AI 公司们的头上，有摇摇欲坠之势。
Books3，AI 公司的秘密
一直以来，对於 AI 模型的训练资料并不完全透明。今年，多名美国作家针对 OpenAI 提起了集体诉讼，指控其使用盗版书籍来训练其语言模型，侵犯版权并违反了多项法律。
这些作家主张的证据很简单，因为些他们从未同意 OpenAI 使用他们的作品，然而 ChatGPT 却能提供他们作品的准确摘要，这让他们认为这些资讯肯定是从某个地方获取的。
根据早期 GPT 版本的研究论文，其训练资料集有部分来自於「两个基於网际网路的书籍语料库」，它们被简单地称为「Books1」和「Books2」，这些资料集具体包含哪些作品比较含糊。Books1 似乎是 bookcorpus，里面有数百本书明确宣告「不得以商业或非商业目的复制和分发」。Book2 则成为一个谜团，大多人猜测它们来自於「臭名昭着的影子图书馆网站」，如 Library Genesis、Z-Library、Sci-Hub 和 Bibliotik。
其中，Z-Library 成立於 2008 年，是网际网路最大的盗版电子书库之一。2022 年 11 月，美国政府起诉两名运营该网站的俄罗斯公民，这两人在阿根廷被逮捕。
至於 GPT-4 的 45TB 训练资料，其中包含什麽内容的资讯更加有限，OpenAI 多年来逐渐减少了其训练资料的披露。
尽管目前没有直接证据表明 OpenAI 使用盗版网站来培训 ChatGPT，但一些 AI 模型此前已经明确在盗版书籍上进行了训练，包括使用「Books3」资料集的 AI 模型。
EleutherAI 的 Pythia 研究论文中提到，Pythia 是使用 Pile 资料集进行训练的，而 Pile 资料集包含多个英语文字集，其中之一就是名为「Books3」的资料集。
Books3 是用於训练 AI 的最着名的盗版书籍库之一，最初是由 AI 开发人员和知名开源 AI 支援者 Shawn Presser 於 2020 年上传。它包含 37 GB 的文字，包括 196640 本纯文字格式的书籍，并在盗版网站 bibliotik 上托管。
「假设你想训练一个世界级的 GPT 模型，就像 OpenAI 一样。怎麽做？你没有资料。现在你可以做到，现在每个人都这样做。为你呈现「books3」，又名「all of bibliotik」。Shawn Presser 最早在社交平台上写道。
然而，反盗版组织也在采取行动，代表相关利益群体，试图限制未经授权的 AI 训练资料的使用。
这段时间，反盗版组织 Rights Alliance 向相关站点发送删除通知後，相关站点已将 Books3 资料集下线，导致尝试访问该资料集的使用者会看到 404 错误。Rights Alliance 还联络了 AI 模型托管平台 Hugging Face（该站点托管了 Books3 下载连结）以及 EleutherAI。然而，尽管一些连结被下架，该资料集的副本并未消失，仍然在其他地方出现。
遭到针对後，Shawn Presser 继续释出新的下载连结，他称，除非反对者打算让 ChatGPT 下线，或者通过诉讼将其告到灭亡，否则，他希望每个人都能够制作自己的 ChatGPT，他还称自己「很乐意入狱 10 个月（海盗湾创办人服过的最高刑期），因为我推动了科学进步并赋予了你们复制 ChatGPT 的能力。」
「复制 ChatGPT 这样的模型的唯一方法，是建立像 Books3 这样的资料集。」Shawn Presser 称：「每个营利性公司都会秘密地这样做，不会将资料集释出给公众。」「没有 Books3，我们就生活在一个只有 OpenAI 和其他亿万美元公司才能访问这些书籍的世界中，这意味着你不能制作自己的 ChatGPT。没有人能。只有亿万美元的公司才有资源做到这一点。」
包括 Meta 在内的一些公司曾经使用过 Book3，另外，Meta、Google都使用过的 C4 训练资料集也被诟病过，现在这些公司对其语言模型中的内容更为保密。
Meta 的 Llama 2 增加了 40% 的资料，但在其白皮书中，该公司对其最新的 大语言模型使用了什麽资料更为犹豫，唯一提到的是「一个新的混合的公开可用线上资料」。随着 AI 和版权之间的摩擦升温，公司越来越不愿意分享 AI 训练资料的详细资讯。
万名作家联名反对
超一万名作家敦促 AI 公司停止使用其作品。他们不希望 AI 模仿其作品并学会写作，除非科技公司为此付费。
美国的作家协会已经向巨头们发了一封公开信，包括 OpenAI、Google、Meta、Stability AI、IBM 和微软公司的各大 CEO，要求他们停止未经许可使用他们的作品，或对使用作品进行补偿。
其中包括《达文西密码》作者丹・布朗、《饥饿游戏》作者苏珊・柯林斯、《使女的故事》作者玛格丽特・阿特伍德、《自由》作者乔纳森・弗兰岑等人都签署了这封公开信，签署的作家名单长达 100 多页。
目前，该作家协会正尝试先在不提起诉讼的情况下解决争端，因为「诉讼需要大量的资金，而且需要很长时间。」
但也有一些文学界人士愿意直接在法庭上与科技公司对抗，控诉 Meta 或 OpenAI 等使用盗版来训练他们的 AI。此外，文学经纪人们正在与出版商商讨，要更新出版合约条款，禁止未经授权的 AI 训练用途，大部分出版商都愿意限制 AI 使用他们的出版物。
根据美国作家协会的调查，90% 的作家认为，作家应该获得对其作品用於训练生成式人工智慧的补偿，65% 的作家支援建立一个集体授权制度，以补偿作者的作品被用於训练生成式 AI。
此外，69% 的作家认为他们的职业受到生成式 AI 的威胁，70% 的作家认为出版商将开始使用 AI 来完全或部分生成书籍，取代人类作者。
除了发公开信、打官司、完善合约，出版业还在进一步寻求立法。
美国作家协会的人正在游说制定相关法律、法规和政策：在同意方面，要求在生成式人工智慧中使用作家作品时获得许可；在补偿方面，为那些希望允许其作品用於生成式人工智慧培训的作家提供补偿；在透明度方面，要求人工智慧开发者透明披露他们用於培训其人工智慧的作品。
他们也期望，生成式 AI 的输出使用到作家的作品时，要获得许可并建立相应的补偿机制，或者当在提示中使用作家的姓名、身份或作品标题时，也应获得许可。此外，他们要求作者、出版商、平台和市场标明 AI 生成的作品，并在作品很大一部分（例如超过 10-20%）由 AI 生成时进行标识。
「我们需要确保人类创作者得到补偿，这不仅是为了创作者本身，而是为了确保我们的书籍和艺术继续反应出我们的真实和想像的经验，开拓我们的思维方式，教导我们新的思维方式，并推动我们社会的发展，而不是重复旧观念。」该作家协会在官方宣告中称。
NYT VS OpenAI
除了作家和艺术家，其他型别的内容创作者，也纷纷加入起诉 AI 公司的行列，一些新闻机构批评科技公司未经授权或补偿就使用他们的内容。
比如，纽约时报正在考虑对 OpenAI 提起诉讼，称 OpenAI 的 ChatGPT 使用了该报的资料进行训练，而未经纽约时报许可。在过去的几个月里，OpenAI 和纽约时报一直在试图达成一项有关纽约时报内容的许可协议。但谈判还未有结果，存在破裂的可能。
在最近对其服务条款政策的更改中，纽约时报明确禁止将其庞大的媒体档案用於训练「任何软体程式，包括但不限於训练机器学习或人工智慧（AI）系统」的目的。该政策适用於纽约时报的文字内容、照片、视讯和元资料，并明确禁止网路爬虫访问这些资料来训练专有产品。
这里做一个假设，如果法院判定 OpenAI 等 AI 公司的训练行为属於侵权，OpenAI 可能会被迫停止使用受版权保护的资料，并在不使用受版权保护的资料的前提下，重新构建其演算法，这会引发多大的麻烦？
科技公司也试图与新闻媒体建立关系。Google曾试图争取像纽约时报、华盛顿邮报等新闻机构的支援，试图向他们推销 AI 工具。还有 AI 公司向新闻非营利机构提供微薄的慈善捐款。
期间，也有新闻机构不那麽强硬。美联社今年就与 OpenAI 达成了一项为期两年的许可协议，同意将美联社的内容授权给 OpenAI 使用训练。作为回报，OpenAI 提供了美联社访问「OpenAI 的技术和产品专业知识」的权利。
悬在 AI 公司头上的剑
AI 公司抓取海量网际网路资料，已经导致法律问题的出现，起诉 AI 公司的人正在变得越来越多。
今年，美国一律所相继对 OpenAI、Meta 等巨头提起诉讼，指控他们未经同意、未经授权或未经补偿地占用成千上万名作家的作品，来训练他们的大语言模型。行业预计诉讼规模将很庞大，因为其他内容创作者也有可能受此启发采取法律行动。
其他生成 AI 公司，如 AI 影象生成工具 Stable Diffusion 背後的 Stability AI，也惹上版权官司。Stable Diffusion 是在 LAION-5B 资料集上进行训练的，资料集包含 58.5 亿个影象文字对，大多数都受版权保护。Getty Images 正在起诉 Stability AI，指控其未经授权在超过 1200 万张 Getty Images 上训练 AI 影象生成模型。
许多艺术家和利益相关者也表示不满，对 Stability AI、DeviantArt 和 Midjourney 等公司提起诉讼，指控他们侵犯版权、侵犯肖像权、不正当竞争和不正当获利，寻求赔偿和禁令。
微软推出的程式设计工具 Copilot 也面临集体诉讼。Copilot 是 GitHub 与 OpenAI 合作开发的基於人工智慧的自动程式设计产品，主要利用 GitHub 上的公共程式码库，在数十亿行公开可用的程式码上进行了训练，能通过简单提示替使用者编写程式码。开源程式员和律师指控他们从事开源软体盗版，被告包括 GitHub、微软及其人工智慧技术合作夥伴 OpenAI。
如果要打官司，AI 公司可能会援引所谓的「公平使用原则」来为其辩护，该原则允许在某些情况下无需许可即可使用作品，包括教学、批评、研究和新闻报导。问题是，AI 训练是否适用「公平使用原则」。
几年前，美国作家协会也曾起诉Google，理由是Google未购买其图书馆专案中收录的书籍，当时，联邦上诉法院判决认为，Google为其图书馆专案扫描了数百万本书的数位副本是合法的「公平使用」，而非侵犯版权。关键在於，Google的数位图书馆并没有为这些书创造出「重大市场替代品」，这意味着它与原作并无竞争关系。
目前，各国政府正努力将生成式 AI 纳入立法范畴。欧盟也在制定一项 AI 法案，该法案将迫使公司将训练模型资讯透明化。上半年，美国作家协会已两次访问国会山，讨论生成式 AI 和作家保护措施的问题，涉及的问题包括集体授权和版权保护、反垄断豁免权以及 AI 标签和透明度要求。
「除非国会采取干预措施，以确保生成式人工智慧技术的开发和使用受到监管，否则驱动原创表达并丰富我们文化交流的重要版权激励将变得毫无意义。」该作家协会在官方宣告中称。
从现有舆论看，虽然一些人担心训练 AI 可能会引发版权问题，但也有人认为，OpenAI 等 AI 公司不需要特别的许可协议来训练模型，版权担忧不利於 AI 发展进步；有人则认为，取得作者的同意是至关重要的，创作者应该有拒绝的权利，或者，AI 公司至少应该购买训练资料的书籍。
技术正在做人类历史上从未发生过的事情，AI 训练资料方面的开源精神应该有底线吗？未来的法律是掣肘还是保护？如何平衡 AI 的发展与尊重人类创作权益，可能是和「通用人工智慧何时到来」同样重要的问题。
📍相关报导📍
苹果参战AI，「Apple GPT」为何能让AAPL市值爆增700亿镁？
微软AI野心不藏了，Windows Copilot 堪称全能助理、Bing重定义ChatGPT使用方法
马斯克警告：美国两年内爆发「大缺电」！将阻碍AI发展
马斯克踩着Space上天，再开新公司 xAI 探索「生命的意义」