第110章 OpenAI最近有点儿跳,得限制一下!

郝成请了一顿饭,何钢吃了满肚子的心事。

饭局刚刚一结束,他就立刻回到酒店,联系上了于东。

“老何,我咋发现你每次一去临州,都会变得这么慌慌张张的呢?”于东甚至调侃上了。

“你先别忙,听我说。”

何钢仔细的将郝成在车上的话简单跟于东复述了一遍,而后总结道:“可不要看这东西是郝成在扯闲篇,是在泛泛而谈大路的概念,是没有透露任何AI训练方法的。

“但实际上,他这个泛泛而谈,跟我们一大群人去聊天,他不一样!”

“我知道,他已经训练出小沙了,他的大路概念那是正确的概念。”于东长长的呼了口气:“从这泛泛而谈中或许能找到方向。

“但光听这些也没有用啊!”思索了很久,于东也是无奈道:“你说的所有的东西,我只能总结出三个字‘类似人’,而这种方向,团队早就考虑过了。

“但现在的问题不是方向,是方法,我们没有找到任何的方法。唯一的好消息是,我们以传统方式训练AI的成本也大大的降低了,效率却大大的提高了。”

于东说的这个倒是实情,不仅仅是华为、抖音、腾讯甚至OpenAI,训练AI的成本都降低了。

究其原因,也很简单,他们让小沙帮他们做数据清洗、标定和反馈。

数据清洗原本是一个非常复杂且繁琐的工作,也是训练AI非常关键的步骤,数据清洗的质量越高,AI训练的质量也就越高。

以往,这个工作都是由人工来实现的,也有用AI来做的,但是效果就会很差,往往会投喂一些垃圾数据,造成模型被污染,进而产生一些低级错误。

而现在有了小沙,这项工作可以更快速的进行,准确率甚至不比人工清洗差。

而更关键的一个问题,以往GPT类的模型,是RLHF,也就是基于人类反馈的强化学习。

怎么做的呢:就是先预训练一个语言模型,然后做微调。

微调怎么调呢:就是你问一个问题,语言模型给你回答,然后人工给这些回答进行排名,然后获得一个有质量排序的数据集,用这个数据集反过来再去微调相关的模型参数,一遍又一遍循环往复,然后答案就会越来越接近人想要的。

而现在,小沙代替了人工的这个步骤。

RLHF模型先前被认为不可能无限提高,其中最重要的一个原因就是,随着参数越来越多,数据量越来越大,人工去获取一个有质量排序的数据集也变得越来越不可能。

于是有人就认为,自我反馈模型,也就是让模型自我去评价去提升的模型才是未来,纵然它有时候显得很弱智。

但是现在,有了小沙,小沙替代【基于人类反馈的强化学习】里边的人类,变成了【基于小沙反馈的强化学习】,这一切就又变得可能了!

不仅解决了自我反馈容易弱智的问题,同时解决了人工反馈效率过低、成本过高的问题。

这就相当于将两个模型的优点直接结合了。

而且,超大规模超超大规模,也不用担心人工的问题了。

所以,各家的模型现在进步都非常大,原因就在于此。

想要变得跟小沙一样厉害,那当然不可能——基于小沙训练的AI想超过小沙那本身就是一个悖论。

但是,只要舍得堆积算力,无限的堆积算力,再加上用小沙代替人类进行反馈的强化学习,理论上最终能极限逼近小沙的水准。

当然,理论只是理论,现实中不存在无限算力,考虑实际情况,用这种方式结合超大算力训练一年,达到小沙的六七成水准应该是可能的。

华为这边默默的评估过,现在几乎所有的AI训练企业都在偷偷的这么干。

“需要跟郝成说一下这个情况吗?”何钢问了一嘴。

“这他应该知道吧?”于东一愣:“以前,很多模型都用ChatGPT反馈做初期训练,训练到一个阶段了才转人工反馈的,都是惯例了。”

“我估摸着他还真不知道,他现在应该没关注其他的AI同行。”

听何钢这么说,于东直接嘴角一抽,是啊,一群弱鸡同行,有什么好关注的呢:

“那还是说一下吧,这事影响还是挺大的。尤其是OpenAI,他那算力堆的,而且最近有点儿跳,得限制一下。”

“对了,苹果指望就是这个呢吧?”何钢脑子里突然把两件事儿联系到一起了。

“嗯。”于东笑道:“苹果之所以现在还没有彻底急眼,就是得到了OpenAI的承诺,而OpenAI之所以这么有把握,是因为他们又购买了上千亿美元的显卡。

“对投资者号称是研发了一种新的算法,可追赶小沙。实际上,说白了就是【基于小沙的深度学习】。”

“【趋同于人】的【类似意识】。”于东一说【基于小沙的深度学习】,何钢不自觉的就嘀咕了这么一句。

“什么‘趋同于人的类似意识’?”于东一怔,问道。

何钢把郝成关于这方面的说法一字不落的给于东叙述了一遍。

“那这就有意思了!”华为这边倒是没问题,但是OpenAI那问题可是大了。

经过万亿亿次的循环之后,由小沙反馈训练而成的ChatGPT的“思想”是什么样子,那可就是由小沙控制的了!

都说科技无国界,但训练的AI其实是有“偏向”的,别说郝成说的什么【趋同于人】的【类似意识】这种技术概念,就传统的AI,也夹杂着训练者的各种意识形态。

甚至,哪怕不体现在AI本身上,规则限制和人工干预,也必须达到这种效果。

……

“原来是这么回事儿!”

郝成还真没特别关注过用户使用小沙都干了些什么,就算想关注也关注不过来。

除非是一些违法违规的操作,由小沙的【AI可控方向】进行监控和限制。

法无禁止即可为,利用小沙去做数据标定、去做结果反馈,然后训练别的AI,这事儿郝成没有特意交代过,小沙也就没有做任何限制。

再有就是,数据使用和溯源的要求,用户的数据,怎么获取的,怎么流动的,最终干了什么,用户自己那是必然需要了如指掌的。

数据溯源的公示算法就在那里,人人皆可验证,白驹科技也无法例外。

这在一定程度上也是阳谋,因为小沙本身实在是太强大了,如果再完全是一个黑盒子,很多人就该担心害怕了。

而现在,白驹科技控制核心算法,而将信息溯源、推荐等外围算法公示开源,人人都可以进行监督验证,那使用起来就放心很多。

不过,何钢刚刚说的事儿——

郝成想起了苹果的诸悦来之前,李清波跟自己说的“布罗克曼告诉苹果的CEO库克,他说OpenAI将最迟在明年三月之前解决问题,达到小沙的水平。”

“原本你以为是布罗克曼在忽悠库克,敢情是这么一回事儿!”

郝成摇了摇头,终于理解诸悦先前为什么是那样的态度了:

“我还是大意了!”

下拉继续阅读
裁员后,我成了科技教父
108/261
书详情
裁员后,我成了科技教父 共 261 章
第1章 从天上直接到地下第2章 升级第3章 牛刀小试第4章 原生鸿蒙的机遇第5章 一家人第6章 规划和准备第7章 传播价值与实用价值第8章 你们说,这个东西它强不强?第9章 这连APP都还需要抢的?第10章 小沙PK文小言第11章 影响升级的关键因子初探第12章 于总心心念着的事儿第13章 儿童认知辅助大模型机器人第14章 何钢与小沙的针锋相对第15章 功德无量的项目第16章 沉默是今晚的松山湖第17章 你的存在本身就是一盏明灯第18章 合作最终确定第19章 团队最初的成员第20章 这种好事儿哪里找去?第21章 口碑发酵:链式反应的威力不可阻挡第22章 项目安排第23章 半天的营收第24章 就连腾讯,适配APP都更加积极了!第25章 新的关键因子AI可控方向第26章 史上最最最强大的Mate!第27章 独自完成第一个微意识体构建方案第28章 再次观测升级过程第29章 指缝流沙更新了第30章 儿童认知辅助机器人的产品定义第31章 这家公司到底想做什么?第32章 全仓,猛干,唯此而已!第33章 有类似人的脑子,但学习却是机器的速第34章 能做出来就是成功!第35章 助理就位第36章 食品安全检测不好做?李清波的妙计!第37章 调校小沙第38章 那就让我看看你有多强吧!第39章 急切的何钢第40章 良心没坏,还有得救!第41章 他有这个能力!第42章 软件开发专项能力第43章 阻力?这只会是助力!第44章 儿童认知辅助机器人的初步规划第45章 保密是科技公司的第一大要务第46章 也不知道用户都在压榨我的小沙帮他们第47章 用饱和式的推广来打破信息茧房第48章 只有你想砸锅了,这些人才不会还想着第49章 不是技术强就可以为所欲为的!第50章 你们这样,那就别怪我开局搞王炸了!第51章 有技术就是任性第52章 跑的比兔子都快!第53章 雷霆之势,突击行动!第54章 你这么想就狭隘了!第55章 强大的AI是为了给更多的人带来机会,第56章 这里边是不是有什么机会呢?第57章 那,这一切可就全都变了!第58章 整个社会运转的中枢AI?第59章 各家最后都得做这种抉择第60章 辣与不辣这个问题触发小沙再次升级的第61章 只要能够找到方法,那追上小沙只需一第62章 家有贤妻,不遭横祸第63章 他压根就没明白小沙的存在价值是什么第64章 正好需要一只儆猴的鸡第65章 垂死挣扎,众叛亲离!第66章 郝成觉得自己是有点儿气运在的第68章 如果能让小沙替我申辩就好了!第69章 机器人首批样品及销售体系的策略第70章 令人瞠目结舌的小沙,律师都直接被吓第71章 这标志着我国人工智能相关产业正逐步第72章 有了小沙后,未来应用的形态最终会演第74章 发布会上非常科幻的新功能第75章 热搜排的比华为发布会都高,这营销手第76章 高志祥教子,重塑整个社会评价体系的第77章 大师级教育专家机器人郝沙沙第78章 儿童教育机器人无与伦比的基础设定第79章 谁敢使绊子,就直接摘他的帽子!第80章 带娃神器郝沙沙,郝成升级的考虑第81章 还从未有人这么干过!第82章 小沙竟然有这样的思路!第83章 有了这个基础,是不是就有机会再进一第84章 这效果,郝成直接惊呆了就!第85章 叮咚您的小沙有新的版本更新!第86章 小沙的面子那必须要给啊!第87章 下个APP都得排队了,什么世道啊这是第88章 这是阳谋,这关小沙它不好过!第89章 就这么几天的功夫,“好人”就已经开第90章 这是什么狗屁逻辑我请问?第91章 OTA的新功能第92章 信息DNA第93章 将这个社会慢慢的引导成自己希望 自第94章 要解决人和AI共同使用手机的问题第95章 更先进的工具,绝不是为了取代人而存第96章 先前放开用户训练小沙未见效果的原因第97章 连续的反问,小沙它解决不了!第98章 既然小沙你说行,那咱就直接干!第99章 打劫,交出你的小沙!第100章 小沙不明白的事情第101章 盘点AI轻创业的项目第102章 硅谷倒下一个独角兽,能养活国内几第103章 异想天开第104章 曾经吹得牛,终于迈出第一步了!第105章 意义不止于此第106章 白驹科技要干什么根本不重要,重要第107章 全新理念的功能演示第108章 小沙这都使唤上小艺了!第109章 小沙会不会产生意识?第110章 OpenAI最近有点儿跳,得限制一下!第111章 白驹科技终于犯错了,咱们联合起来第112章 当初无意识留下的一个大坑,现在恰第113章 坑中还有更是深的不见底的深渊大坑第114章 如果法院判的快,应该能赶上在监狱第115章 AI才不配德,将会是人类最大的灾难第116章 老美爆发乱局,欧洲一定会高举旗帜第117章 老美:我们是一个爱好和平的国家,第118章 影响了世界唯一超级大国产生重大转第119章 如果有一天导弹瞄准自己家会是一种第120章 重新定义社交,腾讯的天塌了!第121章 腾讯的竞品分析会,越开越绝望!第122章 新的动作第123章 接二连三的功能第124章 你们到底还有完没完了!第125章 需要钱才开通广告?不!富人也需要第126章 一个庆功宴的功夫,小沙发了两个特第127章 郝成发了一条公开的动态消息:就一第128章 毒药?只要能延缓小沙的进化,一切第129章 小沙的背后不是神明,而是算法!揭第130章 争抢第131章 学阀 非升即走和青年副研究员魏书杰第132章 先干掉微软,算是祭旗!第133章 这一下子能直接干掉老美40万亿市值第134章 信息科技大学的算盘第135章 我们阿美瑞肯什么时候这么憋屈过!第136章 退出去了还预备着回来?做梦呢这是第137章 惊喜第138章 方案顺利通过验证第139章 趁着这个机会大干一场第140章 这还真是一个意想不到的收获第141章 郝成巨头们的瓜分计划第142章 在10月份之前让阿美莉卡的软件产业第143章 新的操作系统:赶紧让这个世界见识第144章 你说,如果老美知道了这个真相,会第145章 你脑子里不会装了个什么芯片吧?第146章 操作系统:无界!第147章 整个团队都忽略了的事情,宁荟一语第148章 第一波体验用户已到达,疯狂!第149章 仅仅是操作逻辑变了?不!每一步的第150章 一手AI,一手游戏,再顺便把英伟达第151章 我们必须走与世界不同的另一条路第152章 如丧考妣的微软纳德拉(二合一44K)第153章 中美两个阵营,在这一刻彻底开始分第154章 前边只是开胃小菜,主菜在这里呢!第155章 千万别搞事情,惹了白驹科技大家都第156章 看似科幻,实则现实第157章 Orcle甲骨文的丧钟已经被加速敲响第158章 成功打响了第一枪第159章 迅速的向阿美莉卡的势力范围发起猛第160章 倒戈的速度简直超乎想象第161章 开个会还把全部的手机都销毁了,郝第162章 简直丧心病狂了都!第163章 不友好势力清单第164章 火光冲天!新型芯片计划又可以向前第165章 解决问题的方法,不可错过的人才!第166章 百年目标给全世界画下的大饼第167章 这次这个亏就只能吃下,以后千万不第168章 未来白驹科技攀登科技之山的最强武第169章 小沙这个似乎来自于未来的科技就这第170章 小沙再提升,不可思议的能力第171章 芯片及指令系统设计完成第172章 下一步的方向第173章 怒不可遏的郝成第174章 立刻引爆第175章 “啊这,是不是太逆天了?”第176章 从西方手里夺下科学的话语权!第177章 顶尖专家的惊叹:真正的三维芯片硅第178章 生产问题是可以解决的第179章 仅仅只是IT行业,阿美莉卡这三个月第180章 发布会开始第一个产品直接放大招!第181章 英伟达的如意算盘刚看到一点儿曙光第182章 第二个产品:就是它助力晶圆工厂性第183章 “那是我命运转变的开始!”第184章 人潮涌动的小沙旗舰店第185章 聚集了这么多的行业大佬巨擘,这是第186章 科技之山,白驹科技是认真的!第187章 小沙的金字塔第188章 三千万台,产品全生命周期的产能一第189章 小沙20个人版更新,神奇能力!第190章 小沙一出手,便是从来不曾有过的高第191章 阿美莉卡被断了一臂之后,又将被打第192章 机器人的首批用户这么神奇的功能发第193章 能量加点与模型精调(卷一完)第194章 回家新的领域第195章 小沙拜师,进化的方向!第196章 小沙紧急情况提醒第三次老美又在搞第197章 阿美莉卡的反击与谋划!第198章 人类世界估计要分裂成两个族群了第199章 将知识直接灌进脑子里?郝成:兴许第200章 蓝星Online的背景明明是2024年,这第201章 这不仅仅只是一个游戏让人细思极恐第202章 郝成的任务;《普通人类与野生动物第203章 郝成的敲门砖第204章 小沙出手,亲眼所见神奇的能力!第205章 深夜课堂的巨大收货第206章 阿美莉卡决定全面龟缩,并设计明暗第207章 就这样决定,反对无效!第209章 拒绝先进生产力,那就是被淘汰的开第210章 一万个课题?不!那是未来的一万个第211章 临州的大手笔第212章 有了小沙,才需要更努力!第213章 芯片行业峰会第一天两种芯片:智慧第214章 小沙已经是芯片产线上的老油条了第215章 提前在未来的科技道路上占据先机第216章 有些地方已经完全没救了!第217章 关于这个问题,我在这里告诉大家:第218章 郝成:我这个人善良,但是偏激!第219章 成功哪有什么魔法,全都是汗水!第220章 向上,突破极限;向外,传递善良!第221章 规则第222章 这个技术,我们要!第223章 什么才叫类人?自上而下的调整。第224章 两个月,翻天覆地的变化第225章 首例“AI器官”移植第226章 一个时代,或许就将这样揭开新的帷第227章 问题虽然很现实,但停下来是不可能第228章 五感五知与大脑第229章 可穿戴神经产品第230章 新闻发布会第231章 再没有比这个更加令人振奋的消息了第232章 评价体系第233章 矛盾第234章 一批新的芯片,就要问世了第235章 轩然大波,世界巨震!第236章 去他么的缺芯少魂,从此不存在了!第237章 突如其来的大事第238章 小沙的第一代类人机器人第一台测试第239章 松散规则集合体智能转向智慧的开端第240章 阿美莉卡科技企业关注发布会?无非第241章 空间显卡摩尔线程魔方系列009第242章 你就比酷睿i9强那么一丁点,是怎么第243章 脱钩第244章 五感五知的第一次公众亮相第245章 离了个大谱,我们中还真有一个不是第246章 质疑第247章 这回,休想瞒过我的眼睛!第248章 理论基础第249章 这不是真理,这是探寻真理时我们一第250章 从理论到产品认知辅助机器人二代的第251章 什么44,88的,阶层难跨越,那我们第252章 我们一定能干赢那些这阀那阀的,以第253章 开战!第254章 郝成的计划第255章 我是你这边的!第256章 我不同意第257章 你只管申报,通不过算我的!第258章 你认为什么才是人才呢?第259章 开荒第260章 你们跟不跟?第261章 一定完成任务第262章 除非啊,我们都是神明第263章 这就是人类的未来第264章 “云疫苗”
字号18
行距
背景