什麼都不用做,一直看就對了!Netflix 怎麼打造世界上最精準的推薦引擎?(上)

網飛推出百萬美元獎金的「網飛獎」,提供一億訂戶的電影評分巨集資料做基礎,三年內吸引全球一百八十六國、四萬組團隊競賽,科技菁英、實驗室專家和業餘好手,競相為網飛打造最先進的電影推薦系統:顧客什麼都不用做,看就對了!
評論
評論

本文為《NETFLIX: 全球線上影音服務龍頭網飛大崛起》第 11 章 〈超人特攻隊〉 書摘。Inside 獲商業周刊授權刊載。

網飛推出百萬美元獎金的「網飛獎」,提供一億訂戶的電影評分巨集資料做基礎,三年內吸引全球一百八十六國、四萬組團隊競賽,科技菁英、實驗室專家和業餘好手,競相為網飛打造最先進的電影推薦系統:顧客什麼都不用做,看就對了!

網飛的最高原則,一直是讓每部電影看起來都很吸引人。這種智慧承襲自藍道夫的「直效郵件聖經」,那時才剛有 DVD 格式、片名選項不足,並且偏向老片和知名度不高的電影,在那種情形下,這個原則對網飛的生存非常重要。

幫助訂戶發現他們喜愛(而不只是喜歡)的電影,可以確保訂戶不斷回到目錄去尋寶,支付月租,並宣傳這項服務。其中最吸引人的是,Cinematch 演算法會充當嚮導,以意想不到的方式,引導訂戶檢索大量的目錄。

在最終列入訂戶佇列的影片中,差不多有七○%來自 Cinematch 的推薦。這個推薦引擎非常強大,網飛甚至用來預測,並控制庫存需求,有助於讓新發行影片的高度需求變得更順暢,並引導訂戶選擇更具經濟效益的老電影。找片的經驗對訂戶而言頗具吸引力,在開始的幾年裡算是意外收穫,不過,在網飛與百視達的慘烈戰爭中,這個事實有可能因此改變了遊戲規則。

最初,Cinematch 會根據使用者之前對其他電影的評分,分類提供用戶可能給予較高評分的電影名稱列表,以及由網飛內容編輯建立的主題清單。使用者評分的電影越多,系統就會變得越準確。隨著網站功能日益精確,Cinematch 會只提供某個訂戶可能會喜歡的片名,這意味著每個訂戶每次登錄時,都會看到不同的網站。搭配由亞馬遜設計的軟體,Cinematch 代表世界上最好的協同過濾系統。

多年來,哈斯汀要求軟體工程師配合數學家改進演算法,並且親自加以調整。將人類行為和喜好歸結為一組方程式的想法吸引了哈斯汀:是否真的有可能在數字範圍內,取得這麼多的不確定性?

他後來說,對這個匹配演算法的狂熱,已經影響了休閒生活:某次耶誕節,他把自己關在帕克市(Park City)的滑雪屋內,在筆記型電腦上設計 Cinematch,而妻子派蒂抱怨他忽略了孩子,浪費他們的假期。

網飛提供高額獎金,舉辦科技競賽

到了二○○六年,哈斯汀及其團隊已經竭盡所能進行所有改進。爭取局外人的幫助看來毫無意義,他聘用的是可以找到的最優秀人才。正如他的外曾祖父透過建立圖瑟多.帕克實驗室,吸引世界頂尖科學家探索那個時代最大的物理學奧秘,哈斯汀也決定舉辦提供一百萬美元獎金的科學競賽,希望能突破支援 Cinematch 的演算法。外曾祖父艾佛雷德.盧米斯曾以尖端設備、豪華食宿及豐厚津貼,吸引世界知名的科學家到他的物理實驗室做研究。哈斯汀將會提供科學界前所未見、來自真實世界的資料集,吸引機器語言科學家參加競賽。

盧米斯實驗室的科學家,在將改變第二次世界大戰進程的雷達和核分裂方面相繼突破;哈斯汀則希望「網飛獎」(Netflix Prize)能迅速取得成果,以便終止與百視達的戰爭。他偏好的競賽類型,是英國政府於一七一四年,為海上經度測量法發明人,頒發獎金兩萬英鎊的「經度獎」(Longitude Prize),或是二○○四年,為第一個可重複使用民用太空船的發明者,頒發獎金一千萬美元的「安薩里 X 獎」(Ansari X Prize)。

一百萬美元的現金獎,將頒發給提高 Cinematch 預測能力一○%的優秀團隊,還有五萬美元的「進步獎」,會在競賽開始後的每個週年紀念日頒給隊長。參加者不限教育程度和背景,只要來自可和美國做生意的國家即可。網飛會提供包括一億個訂戶電影評分結果的資料集(去掉了個人識別資訊),供參賽者以真實資料測試方程式。網飛將在公開排行榜上持續統計各團隊的進展情況,獲勝者擁有演算法的專利,但是必須授權給網飛使用。

就網飛的五星級系統而言,提高一○%,相當於要將預測訂戶電影評分結果的誤差,持續控制在二分之一到四分之三個星級之內。競賽由推薦系統副總裁詹姆斯.貝內特(James Bennett)和 Pure Atria 前工程師史坦.蘭寧(Stan Lanning)負責,後者曾和哈斯汀一起改進 Cinematch,並掌管電影評分系統。

蘭寧是個和善的禿頭男子,留著長長的灰白鬍子,他和一排電腦螢幕共處在陰暗的辦公室,有個角落裡還擺放著騎在彈跳器(編註:一種可訓練平衡感的玩具)上、真人大小的塑膠骷髏頭。

史瓦塞和羅斯在《紐約時報》上登了一篇關於網飛獎的報導,但是在二○○六年十月二日競賽開始時,該報導以頭版新聞方式見報,還是讓他們驚訝不已。美國與國際媒體紛紛報導這則新聞,當天結束時,有超過五千個團隊和個人登記參賽。史瓦塞對自己當天的工作評價,和網飛的新聞報導密切相關,對他而言,媒體對於公告的亢奮反應,就像是看到選舉結果公布,自己支持的候選人以壓倒性優勢獲勝。史瓦塞後來把這個獎項比喻成:為科技阿宅而設的普利尼斯賽馬(Preakness)、世界盃(World Cup)及超級盃的合體。

在接下來的三年,來自一百八十六個國家的四萬多個團隊,報名參加這個獎金一百萬美元的比賽,他們被有史以來公布的最大資料集、競賽的友好氛圍深深吸引。隨著各團隊在網飛維護的即時排行榜發布成果,並在討論區談論各自的進展,科學家、數學家及業餘愛好者逐漸從零開始,建立世界上最精確的推薦引擎。

網飛獎成為科技界盛事

其中有一個統計人員團隊,致力於尋找預測人類行為的新方法。

美國 AT&T 的香儂實驗室(Shannon Laboratory)位於紐澤西州佛洛哈姆公園(FlorhamPark)一處綠色原野的平緩丘陵,旁邊圍繞著茂盛大樹,從這裡到曼哈頓要坐九十分鐘的火車。這座綜合建築是方正的幾何體,有乾淨、樸實又整齊的大廳,中規中矩的走廊向四面八方延伸。一面牆壁改成畫廊,展示的照片不是這個獨立王國的知名科學家,就是一些工藝品,例如裝飾用的老式電話和古董電子設備。

每層樓都有一間舒適的休息室,擺放了美術工藝(Arts and Crafts)風格的沙發與椅子,圍繞著可用來腦力激盪的老式黑板。網狀走廊營造出相當寬敞的辦公室,走廊一側都有一面巨大的白板,另一側是一整排窗戶,可以俯瞰修剪整齊的綠地。家具非常實用,包括研究人員羅伯特.貝爾(Robert Bell)在內,許多人的辦公室,都沿著牆面整齊堆放高度及腰的文件。

貝爾是個靦腆的加州本地人,一九九八年來到美國 AT&T 香儂實驗室。網飛宣布舉行競賽之後一兩天,該公司研究事務執行董事克里斯.沃林斯基(Chris Volinsky)就對在佛洛哈姆公園裡的大約二十名研究人員發送電子郵件,貝爾因此才聽說「網飛獎」。沃林斯基領導美國 AT&T 的資料探勘小組,十多年來,該小組一直在針對顧客的潛在行為,進行大規模預測,像是:哪些顧客有可能購買 iPhone、哪些顧客有可能開立詐欺帳戶、與美國顧客群相關且逐漸形成的風險又有哪些?

資料探勘是在龐大的資料集中,尋找預測性或關鍵性模式的過程:在產生 Google 搜尋排名結果的數十億個網站頁面,進行立即分類與篩選;在電腦輔助醫學掃描過程中,偵測正常細胞的異常情況;或是質疑一群護照簽證持有人的出入境情況,進而揭露這些人對美國的潛在威脅。

科學家控制的資料探勘必須寫出演算法,這種演算法要能觀察資料集的重要模式,也要摒棄看似重大卻會徒勞無功的關聯。

沃林斯基是合群的人,童年時期熱愛棒球統計數字,演變成如今從事資料探勘專業。他喜愛競賽,不單是為了展示美國 AT&T 實驗室的能耐,而是很想在新興領域內,和世界級天才一較高下。沃林斯基也很愛看電影,他和同樣在棒球統計領域發現志業所在的貝爾,都很高興有機會試驗龐大的網飛真實資料,那是一個規模比他們見過的資料大上一百倍、一連串的顧客評分結果。

在網飛獎之前,貝爾就曾參加多項競賽並贏得大獎,但是這個比賽的一百萬美元獎金和開放性(只要有個人電腦與網路,任何人都可以參加),帶來特殊吸引力,很快就成為貝爾參加的各個學術研究圈的主要話題,貝爾渴望透過這次機會,了解和同行之間的實力差距。

在網飛獎宣布後不久,沃林斯基召開一次腦力激盪會議,與會者大約有十五人,但是幾週後活躍份子就銳減到只剩下三個人,分別是貝爾、沃林斯基,以及年輕的以色列同事耶胡達.科倫(Yehuda Koren)。

最初,他們只是抱持觀望態度,看到網飛發起的排行榜提出數百個解決方案,其中至少有兩個在一週內已對 Cinematch 有所改進。一個月後,已經有幾千個團隊,其中最棒的一個團隊,已經利用完全原創的解決方案,提高 Cinematch 的預測能力四%。百萬獎金的角逐賽不僅吸引資料探勘的菁英,也吸引從機器語言和數學界而來的人才,以及絕頂聰明的軟體開發業餘愛好者,甚至包括心理學專家。

每天每個團隊僅限於提供一個方案,但是大家都在日以繼夜熱烈討論,不斷有來自世界各地的參賽者登錄網飛維護的討論區。

對科倫來說,這種匯聚天才頭腦探討同一個問題的非正式交流很有吸引力。他會在家裡和辦公室花數個小時修補方程式,試圖在進展神速的排行榜上保持領先地位。每次調整方程式都要花費至少一週以上的時間,只能壓縮平常的工作時間,確保能用一天寫出建議解決方案,用幾個小時在功能強大的電腦上運作龐大的資料集,用更多時間分析結果並進行調整,然後花幾個小時重新跑資料。每個人都會在閒暇時思考比賽的事,或許一覺醒來就會想出更好的改進方法。

他們準備在比賽進行到第四個月時,把自己的參賽團隊「貝爾科」(BellKor)推上排行榜。在網飛使用一組秘密測試資料驗證他們的結果之後,「貝爾科」就進入前二十名。從那時起,科倫就為之著迷,催促沃林斯基和貝爾努力衝上排行榜。二○○七年四月,科倫等人暫居第一,不過幾天後就被擠下來了。在幾週的時間內,他們一直和來自普林斯頓(Princeton)的「恐龍星球」(Dinosaur Planet),以及由四個匈牙利研究人員所組成,名為「重力」(Gravity)的團隊,展開爭奪第一名的拉鋸戰。「貝爾科」在第八個月再次奪冠,而這一次他們守住了名次。他們把 Cinematch 的預測能力提高到八.四%,獲得第一筆金額達五萬美元的進步獎。隨著「貝爾科」進入第二年的比賽,大獎似乎唾手可得。

〉〉一直看一直看就對了!Netflix 怎麼打造世界上最精準的推薦引擎?(下)

好友人數


精選熱門好工作

資深UI / UX 設計師(中壢)

雷麒科技有限公司
桃園市.台灣

獎勵 NT$15,000

專案經理(PM)

萬欣網路科技有限公司
臺北市.台灣

獎勵 NT$15,000

ReactJs Web前端軟體開發工程師(竹北)

MAYO鼎恒數位科技股份有限公司
新竹市.台灣

獎勵 NT$15,000