OpenAI曾转录100万小时视频数据，训练GPT-4-程序员宅基地
技术标签： 人工智能
4月7日，纽约时报在官网发布了一篇名为《科技巨头如何挖空心思，为AI收集数据》的技术文章。
纽约时报表示，OpenAI曾在2021年几乎消耗尽了互联网有用的文本数据源。为了缓解训练数据短缺的难题，便开发了知名开源语音识别模型Whisper。
随后在OpenAI副总裁Greg Brockman的带领下，从视频平台YT、有声播客/读物等转录了超过100万小时的视频数据，然后转化成文本数据用于训练GPT-4。
虽然这一举措游走在法律的边缘处于灰色地带，但也直接反映出了大模型厂商对于训练数据的饥渴程度。
纽约时报指出，不只是OpenAI，谷歌、Meta等科技巨头因为想搜集高质量训练数据而修改隐私数据条款，来避免版权法的制裁。
例如，Meta为了追赶OpenAI、微软，使用了互联网上几乎所有公开的英语书籍、散文、诗歌和新闻文章等内容。
甚至想直接买下一家大型出版社，来获取更高质量的有版权、付费数据。不过没有人敢轻易相信Meta的数据隐私条例。
这是因为2018年的“剑桥分析丑闻”让Meta的信誉陷入低谷（那时的名字是Facebook）。
该事件是，一家英国剑桥分析公司通过一款心理测试程序，非法获取了大约8700万Facebook用户的个人隐私数据，包括未经用户明确同意的信息。
用户在参与测试时，不仅自己的数据被收集，就连Facebook好友的信息也被抓取。该丑闻爆发后，Facebook面临了前所未有的审查，该公司的数据隐私政策和管理不当受到严重处罚。
最后，以扎克伯格出面道歉、参加听证会才收场。
高质量数据，是生成式AI领域的“黄金”。
当你向ChatGPT、Gemini、Claude等提问获得文本答案时，心里是否会想过，这种内容的写法好像在哪里见过？
居然可以轻松写出古龙、金庸、莫言、莎士比亚、泰戈尔、芥川龙之介、夏目漱石等国内外知名作家风格的内容。
没错，大模型最擅长的便是抄袭然后二次创新，但整体框架、叙述方法还是以模仿为基石。
如果只用一句大白话来解释大模型的原理——通过海量预训练数据让大模型学会人类的写作技巧和习惯（视频、音频、图片架构会更复杂一些，但基本同理），然后进行排列组合、预测生成全新的内容（大模型的文本提示，相当于搜索引擎的关键字）。
所以，相比几千亿甚至上万亿的参数，在架构、算法差不多的情况下，训练数据对于大模型更重要。微软、Stability AI发布的Orca 2、Stable LM 2等模型也充分证明了——通过高质量数据训练的小参数模型，性能可以强过大参数模型。
就像上面的作家举例一样，A厂商的模型学习了夏目漱石的写作数据，而B没有，两家又都是基于Transformer架构，明显A的写作能力要大于B。
也可以把训练数据看成“内功心法”，当两位剑客的招式几乎差不多时，在关键时刻比拼的就是谁的内功高，谁便能技高一筹。
此外，为了获取高质量数据，2023年7月5日，谷歌 修改了数据隐私条款，将会抓取用户公开或来自其他公共来源的数据，用于训练Gemini（当时用名Bard）、谷歌翻译和云AI等产品。
但好景不长，在公布消息的15天后，谷歌就接到了美国克拉克森律师事务所的起诉。在这份长达90页的诉讼书中，指控谷歌从网络秘密窃取大量数据来训练其AI产品。指控其疏忽、侵犯隐私、盗窃、侵犯版权以及从非法获取的个人数据中获利。
谷歌为了获取高质量数据铤而走险，可见数据对于大模型的重要性。
合成数据正成为主流
4月2日，华尔街日报在官网发布了一篇名为《对于大量消耗数据的AI企业来说，互联网太小了》的内容。
华尔街日报指出，对于大模型厂商来说互联网那点数据，就像一口被挖干的油井根本不够用。
尤其是对于训练视频、音频、图像这些比文本更复杂的模型，就像一个“数据黑洞”可以无限吸收各种数据。
但常在河边走哪有不湿鞋的事，各家科技巨头当然也清楚，游走在灰色地带只是无奈之举。所以，他们想了一个新办法使用合成数据。
合成数据是通过算法、机器学习模型自动合成的“虚拟数据”，以模拟真实世界数据的统计特性。基本上也是以模仿为主，但在法律和应用场景等方面有很多优势。
良好的隐私保护，合成数据可以在不暴露个人或敏感信息的情况下生成数据，这对于遵守GDPR或HIPAA等隐私法规非常重要。
无限数据源，理论上，可以生成无限量的合成数据，这对于需要大量数据但现实世界数据不足以支持的场景非常有用。
控制数据分布，可以精确控制合成数据的分布，能定制数据以探索特定的情况或增强模型在特定任务上的性能。
成本低，收集和标注大量真实世界数据比较贵，而生成合成数据的成本通常较低，主要由AI自动完成。
但合成数据也并非完美无缺，最致命的缺点便是过度拟合：如果合成数据过于简化或未能捕捉到真实数据的关键特征、表示，用于训练AI模型可能会过度拟合输出的内容同质化且繁重无用。
在合成数据应用方面，OpenAI在今年2月15日重磅发布的视频模型Sora，很多技术大咖就分析，Sora能生成如此高清的视频和时长，可能使用了虚幻引擎5生成的合成数据。
事实上，根据内测用户发布Sora生成的视频，然后与虚幻引擎5的示例视频进行了多维度对比，大概率是使用了合成的视频数据来训练Sora。
所以，使用合成数据训练AI模型，将成为未来主要趋势之一。
本文素材来源纽约时报、维基百科、谷歌官网、Meta官网、theverge官网，如有侵权请联系删除
END
智能推荐
hdu 1229 还是A+B（水）-程序员宅基地
文章浏览阅读122次。还是A+BTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 24568Accepted Submission(s): 11729Problem Description读入两个小于10000的正整数A和B，计算A+B。...
http客户端Feign——日志配置_feign 日志设置-程序员宅基地
文章浏览阅读419次。HEADERS：在BASIC的基础上，额外记录了请求和响应的头信息。FULL：记录所有请求和响应的明细，包括头信息、请求体、元数据。BASIC：仅记录请求的方法，URL以及响应状态码和执行时间。NONE：不记录任何日志信息，这是默认值。配置Feign日志有两种方式；方式二：java代码实现。注解中声明则代表某服务。方式一：配置文件方式。_feign 日志设置
[转载]将容器管理的持久性 Bean 用于面向服务的体系结构-程序员宅基地
文章浏览阅读155次。将容器管理的持久性 Bean 用于面向服务的体系结构本文将介绍如何使用 IBM WebSphere Process Server 对容器管理的持久性 (CMP) Bean的连接和持久性逻辑加以控制，使其可以存储在非关系数据库..._javax.ejb.objectnotfoundexception: no such entity!
基础java练习题（递归）_java 递归例题-程序员宅基地
文章浏览阅读1.5k次。基础java练习题一、递归实现跳台阶从第一级跳到第n级，有多少种跳法一次可跳一级，也可跳两级。还能跳三级import java.math.BigDecimal;import java.util.Scanner;public class Main{ public static void main(String[]args){ Scanner reader=new Scanner(System.in); while(reader.hasNext()){ _java 递归例题
面向对象程序设计（荣誉）实验一 String_对存储在string数组内的所有以字符‘a’开始并以字符‘e’结尾的单词做加密处理。-程序员宅基地
文章浏览阅读1.5k次，点赞6次，收藏6次。目录1.串应用- 计算一个串的最长的真前后缀题目描述输入输出样例输入样例输出题解2.字符串替换(string)题目描述输入输出样例输入样例输出题解3.可重叠子串 (Ver. I)题目描述输入输出样例输入样例输出题解4.字符串操作（string）题目描述输入输出样例输入样例输出题解1.串应用- 计算一个串的最长的真前后缀题目描述给定一个串，如ABCDAB，则ABCDAB的真前缀有：{ A, AB,ABC, ABCD, ABCDA }ABCDAB的真后缀有：{ B, AB,DAB, CDAB, BCDAB_对存储在string数组内的所有以字符‘a’开始并以字符‘e’结尾的单词做加密处理。
算法设计与问题求解/西安交通大学本科课程MOOC/C_算法设计与问题求解西安交通大学-程序员宅基地
文章浏览阅读68次。西安交通大学/算法设计与问题求解/树与二叉树/MOOC_算法设计与问题求解西安交通大学
随便推点
[Vue warn]: Computed property “totalPrice“ was assigned to but it has no setter._computed property "totalprice" was assigned to but-程序员宅基地
文章浏览阅读1.6k次。问题：在Vue项目中出现如下错误提示：[Vue warn]: Computed property "totalPrice" was assigned to but it has no setter. (found in <Anonymous>)代码：<input v-model="totalPrice"/>原因：v-model命令，因Vue 的双向数据绑定原理 ， 会自动操作 totalPrice， 对其进行set 操作而 totalPrice 作为计..._computed property "totalprice" was assigned to but it has no setter.
basic1003-我要通过！13行搞定：也许是全网最奇葩解法_basic 1003 case 1-程序员宅基地
文章浏览阅读60次。十分暴力而简洁的解决方式：读取P和T的位置并自动生成唯一正确答案，将题给测点与之对比，不一样就给我爬！_basic 1003 case 1
服务器浏览war文件,详解将Web项目War包部署到Tomcat服务器基本步骤-程序员宅基地
文章浏览阅读422次。原标题：详解将Web项目War包部署到Tomcat服务器基本步骤详解将Web项目War包部署到Tomcat服务器基本步骤1 War包War包一般是在进行Web开发时，通常是一个网站Project下的所有源码的集合，里面包含前台HTML/CSS/JS的代码，也包含Java的代码。当开发人员在自己的开发机器上调试所有代码并通过后，为了交给测试人员测试和未来进行产品发布，都需要将开发人员的源码打包成Wa..._/opt/bosssoft/war/medical-web.war/web-inf/web.xml of module medical-web.war.
python组成三位无重复数字_python组合无重复三位数的实例-程序员宅基地
文章浏览阅读3k次，点赞3次，收藏13次。# -*- coding: utf-8 -*-# 简述：这里有四个数字，分别是：1、2、3、4#提问：能组成多少个互不相同且无重复数字的三位数？各是多少？def f(n):list=[]count=0for i in range(1,n+1):for j in range(1, n+1):for k in range(1, n+1):if i!=j and j!=k and i!=k:list.a..._python求从0到9任意组合成三位数数字不能重复并输出
ElementUl中的el-table怎样吧0和1改变为男和女_elementui table 性别-程序员宅基地
文章浏览阅读1k次，点赞3次，收藏2次。<el-table-column prop="studentSex" label="性别" :formatter="sex"></el-table-column>然后就在vue的methods中写方法就OK了methods: { sex(row,index){ if(row.studentSex == 1){ return '男'; }else{ return '女'; }..._elementui table 性别
java文件操作之移动文件到指定的目录_java中怎么将pro.txt移动到design_mode_code根目录下-程序员宅基地
文章浏览阅读1.1k次。java文件操作之移动文件到指定的目录_java中怎么将pro.txt移动到design_mode_code根目录下