在整個(gè)2025年春節(jié)期間,DeepSeek熱度持續(xù)攀升,超預(yù)期的產(chǎn)品體驗(yàn)帶來(lái)了口碑裂變。
DeepSeek創(chuàng)始人梁文鋒的公開(kāi)報(bào)道并不多。但在DeepSeek爆之前,他曾于2023和2024年兩次接受36氪旗下《暗涌》專訪,從這兩篇專訪中,可以清晰看出無(wú)論是在技術(shù)洞見(jiàn),還是理想主義的思維模式上,梁文鋒許多與眾不同之處。本文匯總了他最核心的60條思考,一定程度上也可以幫助我們更加直觀的理解DeepSeek這家企業(yè)脫穎而出的底層邏輯。
1. 我們做大模型,跟量化和金融都沒(méi)有直接關(guān)系。我們要做的是通用人工智能,也就是AGI。
2. 語(yǔ)言大模型是通往AGI的必經(jīng)之路,并且初步具備了AGI的特征,所以我們從這里開(kāi)始。
3. 我們不會(huì)過(guò)早設(shè)計(jì)基于模型的一些應(yīng)用,會(huì)專注在大模型上。從長(zhǎng)期看,大模型應(yīng)用門檻會(huì)越來(lái)越低,初創(chuàng)公司在未來(lái)20年任何時(shí)候下場(chǎng),也都有機(jī)會(huì)。我們的目標(biāo)很明確,就是不做垂類和應(yīng)用,而是做研究,做探索。
4. 我們理解人類智能的本質(zhì)可能就是語(yǔ)言,人的思維就是一個(gè)語(yǔ)言的過(guò)程。你以為你在思考,其實(shí)可能是你在腦子里編織語(yǔ)言。這意味著,在語(yǔ)言大模型上可能誕生出類人的人工智能(AGI)。
5. 只做復(fù)刻的話,可以在公開(kāi)論文或開(kāi)源代碼基礎(chǔ)上,只需訓(xùn)練很少次數(shù),甚至只需finetune(微調(diào))一下,成本很低。而做研究,要做各種實(shí)驗(yàn)和對(duì)比,需要更多算力,對(duì)人員要求也更高,所以成本更高。
6. 我們希望更多人,哪怕一個(gè)小App都可以低成本去用上大模型,而不是技術(shù)只掌握在一部分人和公司手中,形成壟斷。大廠的模型,可能會(huì)和他們的平臺(tái)或生態(tài)捆綁,而我們是完全自由的。
7. 從商業(yè)角度來(lái)講,基礎(chǔ)研究是投入回報(bào)比很低的。OpenAI早期投資人投錢時(shí),想的一定不是我要拿回多少回報(bào),而是真的想做這個(gè)事。我們比較確定的是,既然我們想做這個(gè)事,又有這個(gè)能力,這個(gè)時(shí)間點(diǎn)上,我們就是最合適人選之一。
8. 從最早的1張卡,到2015年的100張卡、2019年的1000張卡,再到一萬(wàn)張,這個(gè)過(guò)程是逐步發(fā)生的。很多人會(huì)以為這里邊有一個(gè)不為人知的商業(yè)邏輯,但其實(shí),主要是好奇心驅(qū)動(dòng),對(duì)AI能力邊界的好奇。
9. 對(duì)很多行外人來(lái)說(shuō),ChatGPT這波浪潮沖擊特別大;但對(duì)行內(nèi)人來(lái)說(shuō),2012年AlexNet帶來(lái)的沖擊已經(jīng)引領(lǐng)一個(gè)新的時(shí)代。AlexNet的錯(cuò)誤率遠(yuǎn)低于當(dāng)時(shí)其他模型,復(fù)蘇了沉睡幾十年的神經(jīng)網(wǎng)絡(luò)研究。雖然具體技術(shù)方向一直在變,但模型、數(shù)據(jù)和算力這三者的組合是不變的,特別是當(dāng)2020年OpenAI發(fā)布GPT3后,方向很清楚,需要大量算力。那之后,我們有意識(shí)地去部署盡可能多的算力。
10. 一件激動(dòng)人心的事,不能單純用錢衡量。就像家里買鋼琴,一來(lái)買得起,二來(lái)是因?yàn)橛幸蝗杭庇谠谏厦鎻椬鄻?lè)曲的人。
11. 人工成本是對(duì)未來(lái)的投資,是公司最大的資產(chǎn)。我們選的人相對(duì)樸實(shí)一點(diǎn),有好奇心,來(lái)我們這里有機(jī)會(huì)去做研究。大廠很難單純?nèi)プ鲅芯浚鲇?xùn)練,它更多會(huì)是業(yè)務(wù)需求驅(qū)動(dòng)。如果不能很快應(yīng)用,大廠不一定能持續(xù)堅(jiān)持,因?yàn)樗枰吹浇Y(jié)果。
12. 我們招人有條原則是,看能力,而不是看經(jīng)驗(yàn)。如果追求短期目標(biāo),找現(xiàn)成有經(jīng)驗(yàn)的人是對(duì)的。但如果看長(zhǎng)遠(yuǎn),經(jīng)驗(yàn)就沒(méi)那么重要,基礎(chǔ)能力、創(chuàng)造性與熱愛(ài)等更重要。
13. 我們的核心技術(shù)崗位,基本以應(yīng)屆和畢業(yè)一兩年的人為主。做一件事,有經(jīng)驗(yàn)的人會(huì)不假思索告訴你,應(yīng)該這樣做,但沒(méi)有經(jīng)驗(yàn)的人,會(huì)反復(fù)摸索、很認(rèn)真去想應(yīng)該怎么做,然后找到一個(gè)符合當(dāng)前實(shí)際情況的解決辦法。
14.(我們招人的條件是)熱愛(ài),扎實(shí)的基礎(chǔ)能力,其他都沒(méi)那么重要。他們的熱情通常會(huì)表現(xiàn)出來(lái),因?yàn)樗娴暮芟胱鲞@件事,所以這些人往往同時(shí)也在找你。
15. 我們的考核標(biāo)準(zhǔn)和一般公司不太一樣。我們沒(méi)有KPI,也沒(méi)有所謂的任務(wù)。
16.創(chuàng)新需要盡可能少的干預(yù)和管理,讓每個(gè)人有自由發(fā)揮的空間和試錯(cuò)機(jī)會(huì)。創(chuàng)新往往都是自己產(chǎn)生的,不是刻意安排的,更不是教出來(lái)的。我們交給員工重要的事,并且不干預(yù)他。讓他自己想辦法,自己發(fā)揮。
17. 招人時(shí)確保價(jià)值觀一致,然后通過(guò)企業(yè)文化來(lái)確保步調(diào)一致。當(dāng)然,我們并沒(méi)有一個(gè)成文的企業(yè)文化,因?yàn)樗谐晌牡臇|西,又會(huì)阻礙創(chuàng)新。更多時(shí)候,是管理者的以身示范,遇到一件事,你如何做決策,會(huì)成為一種準(zhǔn)則。
18. 按照教科書的方法論來(lái)推導(dǎo)創(chuàng)業(yè)公司,在當(dāng)下,他們做的事,都是活不下來(lái)的。但市場(chǎng)是變化的,真正的決定力量往往不是一些現(xiàn)成的規(guī)則和條件,而是一種適應(yīng)和調(diào)整變化的能力。很多大公司的組織結(jié)構(gòu)已經(jīng)不能快速響應(yīng)和快速做事,而且他們很容易讓之前的經(jīng)驗(yàn)和慣性成為束縛,而這波AI新浪潮之下,一定會(huì)有一批新公司誕生。
19.最讓我們興奮的是)去搞清我們的猜想是不是事實(shí),如果是對(duì)的,就會(huì)很興奮了。
20.(AI)信仰者會(huì)之前就在這里,之后也在這里。他們更會(huì)去批量買卡,或者跟云廠商簽長(zhǎng)協(xié)議,而不是短期去租。
21. 創(chuàng)新就是昂貴且低效的,有時(shí)候伴隨著浪費(fèi)。所以經(jīng)濟(jì)發(fā)展到一定程度之后,才能夠出現(xiàn)創(chuàng)新。很窮的時(shí)候,或者不是創(chuàng)新驅(qū)動(dòng)的行業(yè),成本和效率非常關(guān)鍵。OpenAI也是燒了很多錢才出來(lái)。
22. 這個(gè)世界存在很多無(wú)法用邏輯解釋的事,就像很多程序員,也是開(kāi)源社區(qū)的瘋狂貢獻(xiàn)者,一天很累了,還要去貢獻(xiàn)代碼。類似你徒步50公里,整個(gè)身體是癱掉的,但精神很滿足。
23. 不是所有人都能瘋狂一輩子,但大部分人,在他年輕的那些年,可以完全沒(méi)有功利目的,投入地去做一件事。
24.(我們的大模型服務(wù)降價(jià))只是按照自己的步調(diào)來(lái)做事,然后核算成本定價(jià)。我們的原則是不貼錢,也不賺取暴利,(V2模型價(jià)格)在成本之上稍微有點(diǎn)利潤(rùn)。
25. 搶用戶并不是我們的主要目的。我們降價(jià)一方面是因?yàn)槲覀冊(cè)谔剿飨乱淮P偷慕Y(jié)構(gòu)中,成本先降下來(lái)了,另一方面也覺(jué)得無(wú)論API還是AI,都應(yīng)該是普惠的、人人可以用得起的東西。
26. 如果目標(biāo)是做應(yīng)用,那沿用Llama結(jié)構(gòu),短平快上產(chǎn)品也是合理選擇。但我們的目的地是AGI,這意味著我們需要研究新的模型結(jié)構(gòu),在有限資源下,實(shí)現(xiàn)更強(qiáng)的模型能力。這是scale up到更大模型所需要做的基礎(chǔ)研究之一。除了模型結(jié)構(gòu),我們還做了大量其他的研究,包括怎么構(gòu)造數(shù)據(jù),如何讓模型更像人類等,這都體現(xiàn)在我們發(fā)布的模型里。
27. 最重要的是參與到全球創(chuàng)新的浪潮里去。過(guò)去很多年,中國(guó)公司習(xí)慣了別人做技術(shù)創(chuàng)新,我們拿過(guò)來(lái)做應(yīng)用變現(xiàn),但這并非是一種理所當(dāng)然。這一波浪潮里,我們的出發(fā)點(diǎn),就不是趁機(jī)賺一筆,而是走到技術(shù)的前沿,去推動(dòng)整個(gè)生態(tài)發(fā)展。
28. 隨著經(jīng)濟(jì)發(fā)展,中國(guó)也要逐步成為貢獻(xiàn)者,而不是一直搭便車。過(guò)去三十多年IT浪潮里,我們基本沒(méi)有參與到真正的技術(shù)創(chuàng)新里。我們已經(jīng)習(xí)慣摩爾定律從天而降,躺在家里18個(gè)月就會(huì)出來(lái)更好的硬件和軟件。Scaling Law也在被如此對(duì)待。但其實(shí),這是西方主導(dǎo)的技術(shù)社區(qū)一代代孜孜不倦創(chuàng)造出來(lái)的,只因?yàn)橹拔覀儧](méi)有參與這個(gè)過(guò)程,以至于忽視了它的存在。
29. 我們看到的是中國(guó)AI不可能永遠(yuǎn)處在跟隨的位置。
30. 創(chuàng)新的成本肯定不低,過(guò)去那種拿來(lái)主義的慣例和過(guò)去的國(guó)情有關(guān)。但現(xiàn)在,無(wú)論中國(guó)的經(jīng)濟(jì)體量,還是字節(jié)、騰訊這些大廠的利潤(rùn),放在全球都不低。我們創(chuàng)新缺的不是資本,而是缺乏信心以及不知道怎么組織高密度的人才實(shí)現(xiàn)有效的創(chuàng)新。
31. 過(guò)去三十年,我們都只強(qiáng)調(diào)賺錢,對(duì)創(chuàng)新是忽視的。創(chuàng)新不完全是商業(yè)驅(qū)動(dòng)的,還需要好奇心和創(chuàng)造欲。我們只是被過(guò)去那種慣性束縛了,但它也是階段性的。
32. 在顛覆性的技術(shù)面前,閉源形成的護(hù)城河是短暫的。即使OpenAI閉源,也無(wú)法阻止被別人趕超。所以我們把價(jià)值沉淀在團(tuán)隊(duì)上,我們的同事在這個(gè)過(guò)程中得到成長(zhǎng),積累很多know-how,形成可以創(chuàng)新的組織和文化,這就是我們的護(hù)城河。
33. 開(kāi)源、發(fā)論文,并沒(méi)有失去什么。對(duì)于技術(shù)人員來(lái)說(shuō),被follow是很有成就感的事。開(kāi)源更像一個(gè)文化行為,而非商業(yè)行為。給予是一種額外的榮譽(yù),一個(gè)公司這么做也會(huì)有文化的吸引力。
34. 美國(guó)最賺錢的公司,都是厚積薄發(fā)的高科技公司。
35. 我們經(jīng)常說(shuō)中國(guó)AI和美國(guó)有一兩年差距,但真實(shí)的gap是原創(chuàng)和模仿之差。如果這個(gè)不改變,中國(guó)永遠(yuǎn)只能是追隨者,所以有些探索也是逃不掉的。
36. 英偉達(dá)的領(lǐng)先,不只是一個(gè)公司的努力,而是整個(gè)西方技術(shù)社區(qū)和產(chǎn)業(yè)共同努力的結(jié)果。他們能看到下一代的技術(shù)趨勢(shì),手里有路線圖。中國(guó)AI的發(fā)展,同樣需要這樣的生態(tài)。很多國(guó)產(chǎn)芯片發(fā)展不起來(lái),是因?yàn)槿狈ε涮椎募夹g(shù)社區(qū),只有第二手消息,所以中國(guó)必然需要有人站到技術(shù)的前沿。
37. 我們不會(huì)閉源,我們認(rèn)為先有一個(gè)強(qiáng)大的技術(shù)生態(tài)更重要。
38. 我們短期內(nèi)沒(méi)有融資計(jì)劃,我們面臨的問(wèn)題從來(lái)不是錢,而是高端芯片被禁運(yùn)。
39. 更多的投入并不一定產(chǎn)生更多的創(chuàng)新,否則大廠可以把所有的創(chuàng)新包攬了。
40. 我們認(rèn)為當(dāng)前階段是技術(shù)創(chuàng)新的爆發(fā)期,而不是應(yīng)用的爆發(fā)期。長(zhǎng)遠(yuǎn)來(lái)說(shuō),我們希望形成一種生態(tài),就是業(yè)界直接使用我們的技術(shù)和產(chǎn)出,我們只負(fù)責(zé)基礎(chǔ)模型和前沿的創(chuàng)新,然后其它公司在DeepSeek的基礎(chǔ)上構(gòu)建toB、toC的業(yè)務(wù)。如果能形成完整的產(chǎn)業(yè)上下游,我們就沒(méi)必要自己做應(yīng)用。
41. 如果需要,我們做應(yīng)用也沒(méi)障礙,但研究和技術(shù)創(chuàng)新永遠(yuǎn)是我們第一優(yōu)先級(jí)。
42. 技術(shù)沒(méi)有秘密,但重置需要時(shí)間和成本。英偉達(dá)的顯卡,理論上沒(méi)有任何技術(shù)秘密,很容易復(fù)制,但重新組織團(tuán)隊(duì)以及追趕下一代技術(shù)都需要時(shí)間,所以實(shí)際的護(hù)城河還是很寬。
43. 提供云服務(wù)不是我們的主要目標(biāo),我們的目標(biāo)是去實(shí)現(xiàn)AGI。
44. 大廠有現(xiàn)成的用戶,但它的現(xiàn)金流業(yè)務(wù)也是它的包袱,也會(huì)讓它成為隨時(shí)被顛覆的對(duì)象。
45. 大模型創(chuàng)業(yè)公司可能活下來(lái)2到3家。現(xiàn)在都還處在燒錢階段,那些自我定位清晰、更能精細(xì)化運(yùn)營(yíng)的,更有機(jī)會(huì)活下來(lái)。其它公司可能會(huì)脫胎換骨。有價(jià)值的東西不會(huì)煙消云散,但會(huì)換一種方式。
46. 我經(jīng)常思考的是,一個(gè)東西能不能讓社會(huì)的運(yùn)行效率變高,以及你能否在它的產(chǎn)業(yè)分工鏈條上找到擅長(zhǎng)的位置。只要終局是讓社會(huì)效率更高,就是成立的。中間很多都是階段性的,過(guò)度關(guān)注必然眼花繚亂。
47. V2模型(團(tuán)隊(duì))沒(méi)有海外回來(lái)的人,都是本土的。前50名頂尖人才可能不在中國(guó),但我們能自己打造這樣的人。
48. DeepSeek全是自下而上。而且我們一般不前置分工,而是自然分工。每個(gè)人有自己獨(dú)特的成長(zhǎng)經(jīng)歷,都是自帶想法的,不需要push他。探索過(guò)程中,他遇到問(wèn)題,自己就會(huì)拉人討論。不過(guò)當(dāng)一個(gè)idea顯示出潛力,我們也會(huì)自上而下地去調(diào)配資源。
49. 我們每個(gè)人對(duì)于卡和人的調(diào)動(dòng)是不設(shè)上限的。如果有想法,每個(gè)人隨時(shí)可以調(diào)用訓(xùn)練集群的卡無(wú)需審批,同時(shí)因?yàn)椴淮嬖趯蛹?jí)和跨部門,也可以靈活調(diào)用所有人,只要對(duì)方也有興趣。
50. 我們選人的標(biāo)準(zhǔn)一直都是熱愛(ài)和好奇心,所以很多人會(huì)有一些奇特的經(jīng)歷,很有意思。很多人對(duì)做研究的渴望,遠(yuǎn)超對(duì)錢的在意。
51. 創(chuàng)新首先是一個(gè)信念問(wèn)題。為什么硅谷那么有創(chuàng)新精神?首先是敢。Chatgpt出來(lái)時(shí),整個(gè)國(guó)內(nèi)對(duì)做前沿創(chuàng)新都缺乏信心,從投資人到大廠,都覺(jué)得差距太大了,還是做應(yīng)用吧。但創(chuàng)新首先需要自信,這種信心通常在年輕人身上更明顯。
52. 我們?cè)谧鲎铍y的事。對(duì)頂級(jí)人才吸引最大的,肯定是去解決世界上最難的問(wèn)題。其實(shí),頂尖人才在中國(guó)是被低估的。因?yàn)檎麄€(gè)社會(huì)層面的硬核創(chuàng)新太少了,使得他們沒(méi)有機(jī)會(huì)被識(shí)別出來(lái)。我們?cè)谧鲎铍y的事,對(duì)他們是有吸引力的。
53. OpenAI不是神,不可能一直沖在前面。
54. AGI可能是2年、5年或者10年,總之會(huì)在我們有生之年實(shí)現(xiàn)。至于路線圖,即使在我們公司內(nèi)部,也沒(méi)有統(tǒng)一意見(jiàn)。但我們確實(shí)押注了三個(gè)方向:一是數(shù)學(xué)和代碼,二是多模態(tài),三是自然語(yǔ)言本身。數(shù)學(xué)和代碼是AGI天然的試驗(yàn)場(chǎng),有點(diǎn)像圍棋,是一個(gè)封閉的、可驗(yàn)證的系統(tǒng),有可能通過(guò)自我學(xué)習(xí)就能實(shí)現(xiàn)很高的智能。另一方面,多模態(tài)、參與到人類的真實(shí)世界里學(xué)習(xí),對(duì)AGI也是必要的。我們對(duì)一切可能性都保持開(kāi)放。
55.(大模型的終局)會(huì)有專門公司提供基礎(chǔ)模型和基礎(chǔ)服務(wù),會(huì)有很長(zhǎng)鏈條的專業(yè)分工,更多人在之上去滿足整個(gè)社會(huì)多樣化的需求。
56. 我主要的精力在研究下一代的大模型,還有很多未解決的問(wèn)題。
57. 所有的套路都是上一代的產(chǎn)物,未來(lái)不一定成立。拿互聯(lián)網(wǎng)的商業(yè)邏輯去討論未來(lái)AI的盈利模式,就像馬化騰創(chuàng)業(yè)時(shí),你去討論通用電氣和可口可樂(lè)一樣,很可能是一種刻舟求劍。
58. 我們經(jīng)歷了一個(gè)漫長(zhǎng)的積累過(guò)程,外部看到的是幻方2015年后的部分,但其實(shí)我們做了16年。
59. 中國(guó)產(chǎn)業(yè)結(jié)構(gòu)的調(diào)整,會(huì)更依賴硬核技術(shù)的創(chuàng)新。當(dāng)很多人發(fā)現(xiàn)過(guò)去賺快錢很可能來(lái)自時(shí)代運(yùn)氣,就會(huì)更愿意俯身去做真正的創(chuàng)新。
60. 以后硬核創(chuàng)新會(huì)越來(lái)越多,現(xiàn)在可能還不容易被理解,因?yàn)檎麄€(gè)社會(huì)群體需要被事實(shí)教育。當(dāng)這個(gè)社會(huì)讓硬核創(chuàng)新的人功成名就,群體性想法就會(huì)改變,我們只是還需要一堆事實(shí)和一個(gè)過(guò)程。
注:本文轉(zhuǎn)自公眾號(hào)“中國(guó)企業(yè)家俱樂(lè)部”,略有刪改。原文標(biāo)題為《DeepSeek創(chuàng)始人梁文鋒的60條思考》,摘自①《瘋狂的幻方:一家隱形AI巨頭的大模型之路》,于麗麗,36氪,2023年5月25日;②《揭秘DeepSeeK:一個(gè)更極致的中國(guó)技術(shù)理想主義的故事》,于麗麗,36氪,2024年7月22日。文章僅作為學(xué)術(shù)交流。
聲明:本文系轉(zhuǎn)載自互聯(lián)網(wǎng),請(qǐng)讀者僅作參考,并自行核實(shí)相關(guān)內(nèi)容。若對(duì)該稿件內(nèi)容有任何疑問(wèn)或質(zhì)疑,請(qǐng)立即與鐵甲網(wǎng)聯(lián)系,本網(wǎng)將迅速給您回應(yīng)并做處理,再次感謝您的閱讀與關(guān)注。
不想錯(cuò)過(guò)新鮮資訊?
微信"掃一掃"