专访昆仑万维CEO方汉:国产大模型的差距不在算力或数据,在于工程经验
昆仑万维CEO方汉 图片来源:昆仑万维
(资料图)
界面新闻记者 | 李彪
接力OpenAI、微软的重磅产品轰炸,国产大模型在四月开启了“鸣枪冲刺”。
4月17日,昆仑万维(300418.SZ)旗下“天工3.5”类GPT大模型正式启动邀请测试。按照官方说法,天工大模型参数规模达千亿级,名字中的“3.5”源于“ ChatGPT基于GPT3.5大模型”,代表“天工大模型已经非常接近OpenAI ChatGPT的智能水平”。
事实上,从ChatGPT开年带火A股市场概念股以来,昆仑万维一直是声量最大、股价显著受影响的龙头公司之一——从1月伊始的14.39元/股涨至48.75元/股,不满三个月涨幅已高达239%。
数据来源:股价来自Wind,证监会关注函、昆仑万维年报
制图:界面新闻
除产品直接对标ChatGPT外,昆仑万维还计划将现有资金最大程度用于支持AIGC领域的研发和商业化。在上周最新发布的业绩年报中,集团董事会决议在2022年不派发现金红利、不送红股、不以资本公积金转增股本 ,未分配利润全部转入下一季度。
据此,昆仑万维提出了未来十年的战略口号——“All in AGI与AIGC”。昆仑万维CEO方汉接受界面新闻专访时表示,AIGC内部优先级的提升经过了一个动态变化过程。“我们在2020年6月开始布局AIGC时,最早作为一个实验性项目立项。直到去年年底,‘All in AIGC与AIGC’才上升为了集团战略。”
根据先前回复深交所的关注函介绍,天工大模型产品由昆仑万维与初创公司奇点智源合作自研。昆仑万维主要为奇点智源提供硬件方面的支持,已合计采购价值4400万美元的硬件设备。双方开发的中国版类ChatGPT的知识产权归奇点智源所有,昆仑万维享有未来商业化产生的净利润的50%。
凭借游戏业务起家、2015年上市的昆仑万维还将“All in AIGC”战略描述为寻找第二增长曲线。
数据来源:证监会关注函
制图:界面新闻
方汉表示,起步调研阶段,OpenAI当时的GPT-3模型未开源,且市面上的同类开源模型并不多。由于围绕底层开发上层的AIGC应用走不通,自2020年年底,昆仑万维便决定自建大模型。
方汉告诉界面新闻记者,从一片蛮荒到一拥而上,国产大模型在极速变化中发展。各家目前抢发大模型还是在追求“大力出奇迹”,首先要入场,然后追赶和竞争。
以下为采访内容,经过不改变原意的编辑:
界面新闻:天工大模型对标GPT-3.5是基于什么标准?
方汉:对于专业研发,大模型能力的量化其实都是有一系列公开的测试数据集作为统一参考标准。我们自己内部已经利用了这些公开的测试数据集对模型进行一个评测,公开数据的测试是天工对标GPT3.5的一个重要原因。
GPT-3.5、GPT-4的论文中都附了相应的大型测试数据集,目前可能有将近20类,涵盖了大模型多维度的各项能力测试。大模型厂商发布产品前都会用这些数据做评测,并得到一组分数,这是专业圈子内比较认可的公平、公正的评价标准。
界面新闻:各家大模型产品都会去测试吗?天工的分数是多少?
方汉:不仅是发布产品,做研发也要靠测试去保证下一阶段工作的推进。
现在各家宣传模型参数级别动辄千亿、万亿,其实统计口径是不一样的。谁都没有说谎,但是模型表现不能简单粗暴地靠参数量比较。用公开数据集测试后,各家对于自己处在什么梯队、竞争对手的得分都是心中有数的。
天工在17号才开始邀请测试,具体分数现在还无法对外公布。
界面新闻:去年12月,昆仑万维发布了一系列天工系列的多模态应用,包括作画、编程、作曲,其中天工巧绘是基于开源的Stable Diffusion模型,天工3.5发布后会做迁移吗?
方汉:这之间有一个上下游的区别。预训练大模型是作画、编程、作曲这样的多模态AIGC应用的底层基础。而我们的作曲应用天工乐府、编程应用天工智码都是基于自研的天工系列模型,天工巧绘的下游基于Stable Diffusion模型。这次天工3.5大模型正式推出后,我们可以用来替代它的底层模型。
天工3.5并不是突然从石头中蹦出来的大模型,我们的合作方奇点智源在2021年就已经发了130亿参数的大模型,之后不断去迭代它的中间模型。天工3.5是目前的里程碑应用,这之前还有很多中间模型,只是没有对外发布。
界面新闻:在产品公开测试后,用户喜欢提一些刁钻的问题来难倒大模型,你认为这种对话测试能真实反映大模型的能力吗?
方汉:大家现在喜欢难倒大模型的问题,像脑筋急转弯、段子和网络梗,大部分都属于语义问题。脑筋急转弯是一种语言游戏,用它来考可以,也是一个很有娱乐性的话题,我并不反对。
但从大模型落地的角度,这类问题在实践生活并不是大多数用户真正想解决的问题。用户当下的需求是写作业、做PPT开会等等,就是说我们要更多从人类的通用治理上考核大模型,考核一种普适性的能力。
界面新闻:国内已经开启测试同类型的大模型产品,你都有试用过吗,体验如何?
方汉:你现在就像训练机器模型一样,不断地变换提示词(prompt)希望我来评价友商,但人类不会犯这种错误(笑)。
市面上的大模型产品我有部分试用过,但不适合公开点评个人体验。
界面新闻:昆仑万维2020年6月开始布局AIGC之时就已经确定要自建大模型吗?
方汉:我们一开始就打算直接从底层做预训练的大模型。因为2020年底左右,当时开源模型项目也不多,唯一的GPT-3也没有开源,国内厂商唯一的路线就是自建,不存在做应用的选项。
界面新闻:在此过程中,AIGC的优先级是怎样的?部门规模如何?内部由谁带队?
方汉:现在同行互相挖人这么厉害,对外只能统一说由我带队。
优先级是一个动态变化的过程,我们不能说自己两年前就能未卜先知,最初是一个带有预言性质的探索项目,肯定不如已经产生收入的主营业务重要。直到去年年底发布“天工”系列AIGC产品时,我们已经把优先级提到一个很高的位置,现在的战略是“All in AIGC”。
人员规模的具体数字不便透露,人才资源现在应该是各个公司最机密的部分。
参考OpenAI的创业先例,几十人、百人左右的团队足以搞出来大模型。
界面新闻:公司据称已经投入数千万美元在项目上,主要的成本项在那些地方?
方汉:最大的成本肯定是采购训练卡,买或者租英伟达的A100系列GPU,然后是人力成本。
界面新闻:对于当下热议“国产大模型缺算力还是还缺数据”,你怎么看?
方汉:从现在发布一款入门级的大模型来说,我觉得两样都不缺。
从算力的角度看,现在都知道OpenAI大概拥有28000张卡,更多可能超过3万。但其实2021年时,他们大概只有4000张,2022年8月份以前有6000张,那时GPT-3.5、GPT-4都已经训练完了。
OpenAI所用到的数据主要是著名的开源数据语料库,国产厂商百分之七八十也能拿到。目前国产大模型厂商都是将英文数据、中文数据一起用做预训练的。中文语料的质量是不如英文,这是客观事实,但目前通过混用模式已经足够训练模型。
界面新闻:现在国产大模型的差距主要不在资源端?
方汉:对的,资源是一张门票,比方说没有2000张GPU,你连训练都做不了,但有资源之后,那就是拼工程上的经验。工程上的技巧和经验是大模型竞争的主要因素,比拼的是做实验的速度和人才的厚度。
界面新闻:如何理解工程经验?
方汉:以训练数据为例,其实业界最难的不是找数据,而是如何丢数据。什么样的数据不用?筛选数据的标准是什么?如何做数据的剪枝、清洗等。
通过筛选数据调整参数、改进模型设计才是最核心的机密,这也是OpenAI没有在论文中公开的核心技术。
界面新闻: 据悉GPT-3.5训练1750参数所用的3000多亿单词训练语料有60%来自于C4数据集(谷歌开源的Colossal Clean Crawled Corpus)。C4数据集含有上万亿的经过清洗的、分类规整的英文单词,而目前国内已知的最大中文语料库TUCNews(清华大学开发)只有7亿左右的中文词汇,如何看待这种落差?
方汉:公共的大型中文语料数据库的缺失是客观存在的差距,也不是一时半会能赶上的。我觉得国家层面也会意识到中文数据的重要性,未来会进行政策上的改进。
基本上各家的训练语料库也不会公开,所以我认为,短时间内大模型的涌现不会让中文语料数据库的改观特别大。
还有一个值得重视的现象,由于大模型本身的能力能够进行语言间的知识迁移,这就导致能够生成海量的中文语料。未来如何看待以及管理AI生成的中文语料库是重要问题。
界面新闻:现在大公司都在抢发产品,未来大模型是否会成为主流大厂人手一个的标配,进而使该领域进入到割据封闭的壁垒生态?
方汉:虽然行业还是非常早期的抢跑入场阶段,但未来会如同操作系统的发展历史一样,Windows与Linux:大厂会拥有质量最高的大模型,开源界也会出现相对质量还OK的模型,这样的开源大模型会成为中小型企业、用户的选择,帮助他们基于这些大模型去做自己的二次开发和工作。
未来的大模型生态主要有两类参与者,一类做底层模型,一类做上层的应用产品。我认为这个生态会相对均衡,不会一家独大。
标签:
推荐文章
- 专访昆仑万维CEO方汉:国产大模型的差距不在算力或数据,在于工程经验
- 每日资讯:《盟约》举行首映式 杰米·李·柯蒂斯亲吻吉伦哈尔
- 一季度GDP增速超预期,国统局:没有通缩,大消费板块获提振
- 广州长寿保健金发放何时到帐2023,发放条件是什么? 世界热资讯
- 最高检:全链条惩治人民群众反映强烈的网络犯罪 天天热闻
- 【世界聚看点】为什么叫朱芳雨拳王_朱芳雨组合拳事件来龙去脉是什么
- 专家说要尊重年轻人生育选择权具体是什么情况|要闻速递
- 天天热议:联想笔记本密码怎么取消_笔记本密码怎么取消
- 【天天报资讯】沧州电信自研软件为乡村治理注入数字动力
- 大乐透23043期初恋彩哥预测:前区定位 当前要闻
- 主销车型63万元 高合HiPhi Z交付量超1,000台
- 北京银保监局等三部门:加强新市民金融服务 支持京津冀协同发展-世界快播报
- 热头条丨阳新县气象台解除雷电黄色预警【III级/较重】
- 全球资讯:聚焦消博 |中国网海南自贸港18篇原创报道宣传消费新趋势
- 今日快讯:破除就业歧视,提升就业质量
- 【天眼问政】租房安全 安居才能乐业
- 人肉叉烧包案子是真的吗_人肉叉烧包真实事件
- 正荣地产:3月合约销售金额约为18.11亿元|天天看热讯
- 西部数字产业高地加快崛起-环球信息
- 天天简讯:【“三抓三促”行动进行时】实行“亮灯”管理模式 瓜州加速推进重点项目建设
- 每日视讯:韶关市农业农村局与南方财经达成战略合作,共建食用菌预制菜产业大数据
- 环球热点评!GPT产业联盟正式成立 为AI立心
- 焦点消息!玩儿虚的也有真数据!实验还能这么做
- 勇士客场落后国王!杨毅支招:不要跟国王打快攻,G1赢球不是蒙的_天天实时
- 热讯:《说再见》官宣张子枫王景春领衔宠物题材引人期待
- 豪车对比,林肯冒险家比宝马X1强在哪?
- 最新资讯:发展特色产业 深耕品牌创新 舞钢:全力打造“中国鸽都”金招牌
- 推动五大任务见行见效·我在现场丨万人守护一片林
- 昨日两市共76只个股发生大宗交易 蓝思科技溢价率6.12%居首 天天速讯
- 吉林油田智能化泡排工艺挖潜增产|环球新视野
- 木林森(002745.SZ)控股股东拟减持不超7%公司股份
- 【环球报资讯】武悼天王冉闵小说作品全集_武悼天王
- 济宁3月份新房价格环比上涨0.4个百分点
- 侠骨柔情烟多少钱一包 侠骨柔情
- 小儿鸡胸可以恢复吗
- 【世界新视野】科技部启动国家超算互联网部署工作
- 【热闻】如何收回台湾,听听福建民间小伙的建议
- 当前报道:济南一中学老师体罚学生?官方通报:涉事教师已停职接受调查
- 好客山东 好品山东|春光里的 “研学美”
- 2023四川大学强基计划有啥新变化?这篇必看懂!
- 全球新动态:湖北省校园足球将有哪些大改革?
- 融资客最看好个股一览
- 全球微资讯!mini dp接口是干嘛的_mini dp接口干什么用的 通俗点
- 世界血友病日:关注血友病 预防是关键 全球微动态
- 【环球报资讯】各高校将国家安全宣传融入日常教育活动 共同筑牢国家安全人民防线
- 时讯:【法国东比利牛斯省发生火灾 过火面积超过650公顷】当地时间4月16日,法国东比利牛斯省塞贝尔市和滨海巴纽尔斯市之间发生火灾。根据东比利牛斯省政府的通报,火灾有可能是干旱天气导致,已有650多公顷植被化为灰烬。
- 27岁小伙连杀6名警察,判死刑时说:你不给我说法,我就给你说法
- 今日关注:2023年A股麻醉上市龙头公司有哪些?(2023/4/16)
- 董洁现身机场,粉色针织衫搭配阔腿裤,清新时尚又减龄! 世界热头条
- 世界时讯:盐城公交建设工程获詹天佑奖
- 定位双门四座纯电跑车 哪吒GT将于上海车展上市 环球热议
- 时政眼|扎实推动主题教育走深走实,山东明确“五个聚焦”|环球实时
- 轻集料混凝土lc7.5容重-轻集料混凝土的容重是干容重还是湿容重_全球新动态
- 【当前热闻】穿越三国后期小说_穿越三国建后宫
X 关闭
最新资讯
- 晚清老照片:溥仪父亲出行比电视里还风光?这场面你可能想不到|前沿资讯
- 机场护网成“打卡地”摩友“炸街”引投诉|世界微速讯
- 观焦点:几案的读音_几案的意思
- 第三批3种重点领域国家安全普及读本出版 环球关注
- 当前聚焦:空调属于电子设备还是家具类目 空调属于电子设备还是家具类
- 世界热点!姬小菊春天怎么养 姬小菊养护
- 2022扫地机器人十大品牌排行榜_扫地机器人哪个牌子好
- 环球快资讯丨财政部等部门出台进口展品免税政策支持办好2023年中国进出口商品交易会
- 观焦点:拜登表示将会在2024年美国大选中竞选连任
- 向木星前进!欧洲木星探测器JUICE发射成功:旅途长达八年
- 香港特区政府推出新一轮“内地专题实习计划”
- 轩辕剑龙舞云山怎么玩 轩辕剑龙舞云天山好玩么
- 通讯!【短篇小故事】我吃完席就走
- 加贰佰|七个座位只需六升油耗? MPV销冠腾势D9真实馈电油耗实测 即时焦点
- 北京朝阳法院提示公众警惕“贷款中介”六大风险 全球独家
- 奥特能为中坚力量献礼 别克E5才是家用最优解?
- 老骥伏枥志在千里烈士暮年壮心不已意思是什么_老骥伏枥志在千里烈士暮年壮心不已的意思
- 全球新动态:23家上市银行拟现金分红5373亿元 11家股息率超6%最高达7.3%
- 香港旅发局:3月访港旅客数字为245.4万人次 环比增68%
- 《流浪地球2》全网上线:爱优腾会员不免费 需支付6元购买
- 天天新动态:科技部等印发《关于进一步支持西部科学城加快建设的意见》
- “东西之间”交响音乐会在伦敦举行|报资讯
- 赛尔计划被动技能大全介绍 赛尔计划强势角色被动技能介绍 世界滚动
- 海南陵水全球招商推介大会在消博会期间举办
- 最高检新闻发布会发布未成年人检察社会支持体系示范建设典型案例
- 581家高新技术企业,11772名科研人员!郑东新区高新技术企业年度盘点已收尾 新资讯
- 毛孔为什么会粗大_最近皮肤毛孔粗大怎么回事
- 送男孩子什么礼物好
- 环球观点:yy修改不了昵称_yy改不了昵称
- 讯息:硅谷论剑ChatGPT
- 青少年近视高发,如何踩住“刹车”
- 【全球新要闻】美国印第安纳州一回收厂发生火灾 逾2000名居民被疏散
- 精选!羊肚菌喜获丰收
- 米兰时装周看点十足,黄圣依贾静雯同台比美,吴磊林彦俊帅气不减
- 曼联要崩盘?折损6大将+攻防大腿全伤了!或连丢2冠,争4压力陡增
- 天峨至凤山公路(天峨段)获评“广西优良工程”|世界今日报
- 7年仅签2家公司 永鑫保险注销基金代销牌照
- 数据国家队来了?轰轰烈烈的科技大牛市开启,最佳策略是“潜伏+等待”,剩下交给市场 天天报资讯
- 房产税真的来了?楼市“最怕”的那一根大棒,要落下了?_天天滚动
- 公示!胶州一地块控规调整,商业/住宅……|世界信息
- 盲打速成法 盲打怎么快速练习|当前头条
- “平安枫警”宣讲队开展接地气润民心特色宣讲|世界观察
- 2023广州需要预约的景点有哪些(持续更新)
- 【国际漫评】英国超市的新操作|当前独家
- Fire Boltt Invincible Plus智能手表在市场推出AMOLED显示屏
- 热点在线丨si系统是什么意思_什么叫SI系统
- 15.99万起,HR-V能再次掀起东风本田风浪吗? 世界热头条
- 当前快看:《泰坦尼克号》:最后的经典爱情神话
- 国新文化4月13日盘中涨幅达5% 天天观焦点
- 世界播报:开放世界RPG《战争传说》正式版推出 25%限期优惠
X 关闭