星·空(体育中国)官方网站

OpenAI草莓o1大模型不依赖大数据 让大模型自己学会推理
发布时间:2024-09-21 09:16:14

  没有一点点防备,OpenAI发布了全新草莓(Strawberry)o1大模型,它会像人类一样“深思熟虑”。业界普遍认为,机器推理能力是AI达到人类智能水平的关键。

  据了解,“草莓”大模型的前身是Q*。此前消息称,Q*被OpenAI视为一项重大突破。一些看过Qdemo的内部人员表示,该项目能回答其他大模型所不能应对的棘手科学和数学问题。它的创新点在于不依赖大规模人工标注的数据集进行训练,通过自举的方式让大模型自己学会如何推理。

  OpenAI官方表示:“虽然草莓o1这款初期模型还没有像网上搜索信息、上传文件和图片这样的功能,但它在解决复杂推理问题上有了显著进步,这代表了人工智能技术的新水平。所以我们决定给这个系列一个新的起点,将其命名为OpenAI o1。”由此可见,o1的主要应用还是集中在通过文本交互进行问题解答和分析,而不是直接控制浏览器或操作系统。

  与早期版本不同,o1模型在作出回答之前会像人类一样“深思熟虑”,用时约10—20秒,产生一个长长的内部思路链,并能够尝试不同的策略并识别自身的错误。

  这种强大推理能力使o1在多个行业中具有广泛的应用潜力,尤其是复杂的科学、数学和编程任务。在处理物理、化学和生物问题时,o1的表现甚至和该领域的博士生水平不相上下。在国际数学奥林匹克的资格考试(AIME)中,o1的正确率为83%,成功进入了美国前500名学生的行列,而GPT-4o模型的正确率仅为13%。

OpenAI草莓o1大模型不依赖大数据 让大模型自己学会推理(图1)

  分析认为,“草莓”大模型之所以不依赖大数据,而是让大模型自己学习推理,主要得益于其采用的核心技术——自学推理器(Self-Taught Reasoner,简称STaR)方法。以下是相关解释:

  自我训练和进化:STaR方法通过迭代创建自己的训练数据,使AI模型能够自我提升。这一方法不依赖于大规模人工标注的数据集,而是通过自举(self-bootstrapping)的方式,让模型自己学会如何进行推理。这种自我训练和进化的能力,使得模型在处理复杂逻辑推理任务时能够表现出色。

  超越传统训练方式:传统的大语言模型主要依赖大规模文本数据进行训练,虽然能够生成高度逼真的自然语言文本,但在处理复杂逻辑和未知问题时可能表现出局限性。而STaR方法则通过自我生成和验证数据,使模型能够在没有大量外部数据支持的情况下不断提升其推理能力。

  强大的推理能力:草莓大模型o1在训练过程中采用了强化学习技术,特别注重长链条逻辑推理能力的培养。这使得o1在处理复杂推理任务时表现出色,如在国际数学奥林匹克资格考试中的正确率高达83%,远超GPT-4等其他模型。

  处理复杂任务的能力:o1不仅能够处理科学、编程和数学模型等复杂任务,还在编程能力测试、物理、生物和化学等基准测试中展现出超越人类博士水平的准确度。这表明o1在多个领域都具有强大的应用潜力。

  减少数据依赖:通过STaR方法,草莓大模型o1能够在不依赖大量外部数据的情况下进行自我训练和进化。这降低了对大规模数据集的需求,并减少了数据标注和清洗等繁琐工作。

  星空体育平台

  提升智能水平:通过自我生成和验证数据,模型能够不断学习和优化其推理策略,从而提升自身的智能水平。这种自我提升的能力使得模型在面对未知问题时能够表现出更强的适应性和灵活性。

  因此,“草莓”o1大模型之所以不依赖大数据而让大模型自己学会推理,主要是因为其采用了创新的自学推理器(STaR)方法。这种方法通过自我生成和验证数据,使模型能够在没有大量外部数据支持的情况下不断提升其推理能力,从而实现了智能水平的显著提升。

  另据报道,为了提升人工智能技术应用,当前OpenAI公司面临高达50亿美元的预计亏损,运营成本高达85亿美元,其中大部分为服务器租用和训练成本。为应对高昂的运营压力,OpenAI正在谋求新一轮融资,估值可能超过1000亿美元,微软、苹果和英伟达等潜在投资者表达了兴趣。公司高管正在全球范围内寻求投资以支持其快速发展的资金需求。

  为了缓解财务压力,OpenAI正在寻求新一轮的融资,据《》11日报道,OpenAI上周还希望以1000亿美元估值融资大约10亿美元。但因构建大型AI系统所需算力将导致更大开支,该公司近日决定调高融资额度到65亿美元。

  但有外媒援引知情人士以及未公开的内部财务数据分析称,OpenAI今年可能面临高达50亿美元的巨额亏损,总运营成本预计达到85亿美元。其中向微软租用服务器的费用高达40亿美元,数据训练成本则是30亿美元。由于更先进的模型如Strawberry和Orion的运行成本更高,公司的经济压力进一步加大。

OpenAI草莓o1大模型不依赖大数据 让大模型自己学会推理(图2)

  OpenAI,是一家开放人工智能研究和部署公司,其使命是确保通用人工智能造福全人类。创立于2015年12月,总部位于美国旧金山。现由营利性公司OpenAI LP及非营利性母公司OpenAI Inc组成。OpenAI最早为非营利组织,于2015年底由包括萨姆·奥尔特曼(Sam Altman)、彼得·泰尔(Peter Thiel)、里德·霍夫曼(Reid Hoffman)和埃隆·马斯克(Elon Musk)等创办。2016年,发布首个产品,一款开源强化学习工具包——OpenAI Gym和Universe。随着2018年埃隆·马斯克退出以及大模型对资金超预期需求,2019年3月,公司从非营利性转变为“封顶”的营利性;同年7月,微软与OpenAI合作,注资10亿美元共同研发新的Azure AI超算技术。2021年,设立初创企业基金支持AI初创公司。2022年11月,全新聊天机器人模型ChatGPT问世,产品上线月,文生视频大模型Sora问世,在全球内容创作行业卷起新的风暴,成为人工智能发展进程中的“里程碑”,使OpenAI估值不到10个月增加近两倍,或达800亿美元。2024年5月,推出GPT-4o,处理文本、图像、音频能力更自然、流畅。6月26日消息,OpenAI推迟发布语音助理。2023年,公司收入突破16亿美元。微软是最大的投资者,拥有OpenAI股份49%。OpenAI跻身全球TOP50网站,位列福布斯《2023云计算100强榜单》榜首。以企业估值7100亿列2024年·胡润全球独角兽榜第三。

OpenAI草莓o1大模型不依赖大数据 让大模型自己学会推理(图3)

  萨姆·奥尔特曼(Sam Altman),男,1985年4月22日出生于美国伊利诺伊州芝加哥。美国企业家、投资人、人工智能实验室OpenAI联合创始人、首席执行官;被媒体称为ChatGPT之父。萨姆·奥尔特曼8岁时学会编程,在约翰·巴勒斯学校接受高中教育,后被斯坦福大学计算机科学专业录取。2005年,辍学创业,同好友合作创办社交媒体公司Loopt。2011年,创立风险基金,投资创业孵化器Y Combinator(简称YC),成为世界上最富有的企业家和天使投资人之一。2014年,担任YC总裁,成为硅谷知名创业者。2015年,与埃隆·马斯克等人共同创立OpenAI,于2019年担任CEO,并将OpenAI从非营利组织转向混合结构型的公司。2022年11月底,聊天机器人ChatGPT上线并开启新一轮AI革命,让奥尔特曼声名鹊起,成为全球AI热潮代言人。

  全国高校人工智能与大数据创新联盟(简称:高校联盟)是由清华大学、浙江大学、中南大学、东北大学、上海工程技术大学、重庆邮电大学、东北林业大学、佛山科学技术学院、曲阜师范大学、黑龙江大学、海豚大数据科技等全国54家高校、企业共同发起,于2018年5月26日在北京中国科技会堂正式成立。迄今为止,联盟发展会员300多家, 覆盖全国20多个省市。联盟由一批积极投身于“人工智能、大数据、区块链”教育事业的高校、科研机构、企事业单位和个人自愿组成的公益性、全国性学术交流服务平台。中国工程院原常务副院长、中国工程院院士潘云鹤、中国科学院院士陈国良、中国工程院院士李伯虎担任联盟名誉理事长,中国工程院院士谭建荣担任联盟理事长。联盟工作接受工信部、国家网信办等政府部门行政管理和业务指导。联盟主要工作是推进产教融合、校企合作、协同育人。(加盟微信)

  华算人工智能研究院全称是“山西省华算人工智能研究院有限公司”,是经山西转型综合改革示范区管理委员会批准,于2023年10月在太原成立的第一批专业研究人工智能、赋能数字经济产业发展的独立法人组织。华算人工智能研究院依托全国高校人工智能与大数据创新联盟专家委员会及理事会资源,按照山西省委省政府、山西转型综合改革示范区管理委员会发展人工智能、数字经济的系列文件精神和工作计划,将研究院打造成为山西省发展人工智能、数字经济的示范应用推广平台,同时面向全国开展人工智能业务。华算人工智能研究院名誉院长由中国工程院院士李伯虎担任,院长由西安电子科技大学教授焦李成担任。研究院内设AI产业学院共建中心、实训实习就业中心、实验室建设中心、专家智库等6个职能部门。欢迎加入华算人工智能研究院专家智库,共同赋能高校AI人才培养及产教融合事业发展。

  全国高校人工智能与大数据创新联盟区块链专委会(简称:高校区块链专委会),是由北京大学、浙江大学、武汉大学、西南财经大学、北京交通大学、郑州大学、贵州大学、桂林电子科技大学、山西农业大学、佛山科学技术学院、陕西师范大学、中国网安、海豚大数据科技等全国40多家高校、企业和机构共同发起,于2019年12月7日在广东省佛山市正式成立。目前发展高校及企业会员70多家。中国工程院院士、浙江大学教授陈纯担任高校区块链专委会名誉顾问;福州大学教授蔡维德、中国计算机学会区块链专委会主任斯雪明教授、中国人民银行数字货币研究所副所长狄刚担任高校区块链专委会名誉主任;北京大学信息科学技术学院区块链中心主任陈钟教授担任高校区块链专委会主任。高校区块链专委会主要工作是促进高校区块链教育,为高校区块链专业建设及学科发展提供专家咨询服务。

  全国高校人工智能与大数据创新联盟元宇宙专业委员会(简称:高校元宇宙专委会),是由清华大学、湖南大学、浙江大学、四川大学、汕头大学、河北金融学院、保定市元宇宙协会、英伟达中国、海尔衣联网研究院、海豚大数据科技(天津)有限公司等全国20多所高校、企业和机构共同发起,于2022年11月5日在北京正式成立。中国工程院院士、计算机软件与虚拟现实领域专家赵沁平担任高校元宇宙专委会名誉顾问;中国工程院院士、北京航空航天大学电气与自动化学院名誉院长、中国航天科工集团有限公司科技委高级顾问李伯虎担任高校元宇宙专委会名誉主任;清华大学信息国研中心可信软件和大数据部常务副主任邢春晓担任高校元宇宙专委会主任委员。目前已发展高校及企业会员30多家。高校元宇宙专委会主要工作是促进高校元宇宙教育、加强校企合作、推动元宇宙专业建设及学科发展,为元宇宙教育教学提供专家咨询服务。

  全国高校人工智能与大数据创新联盟数字经济专业委员会(简称:高校数字经济专委会),是由华算人工智能研究院、清华大学、北京大学、中国人民大学、中国社会科学院信息化研究中心、四川大学、北京外国语大学、北京科技大学、北京工业大学、北京语言大学、北京化工大学、北京联合大学、北京物资学院、北京印刷学院、西族大学、河北金融学院、重庆财经学院、苏州城市学院、北京中关村软件园、百度、海豚大数据科技等全国60多家高校、企业和机构共同发起,于2024年1月12日在北京正式成立。清华大学经济管理学院教授姜旭平、北京大学信息管理系教授赖茂生、中国社会科学院信息化研究中心主任姜奇平、中国科学院大学经济与管理学院教授吕本富担任高校数字经济专委会主任委员。高校数字经济专委会主要工作是促进高校数字经济专业建设及学科发展,推动产学研合作,为高校数字经济专业教育教学提供专家咨询服务。