近幾個(gè)月內(nèi),京東、阿里、騰訊、愛奇藝等互聯(lián)網(wǎng)大廠“裁員”的詞條頻頻沖上熱搜。被裁的人心是涼透的,被裁邊緣的人心是不安的,一邊尋找退路,一邊還要擔(dān)心“退路”有可能被提前曝光。
就在今年年初,知乎被曝出,利用網(wǎng)絡(luò)行為感知系統(tǒng)監(jiān)控員工離職傾向,從而實(shí)現(xiàn)“精準(zhǔn)”裁員。盡管知乎第一時(shí)間否認(rèn)了這一說法,并表示今后也不會(huì)啟用類似軟件工具,但是,離職傾向分析服務(wù)確實(shí)存在,一時(shí)引發(fā)了網(wǎng)絡(luò)熱議。
在大數(shù)據(jù)治理時(shí)代,企業(yè)對(duì)效率、精確、標(biāo)準(zhǔn)化的追求,轉(zhuǎn)化為了對(duì)個(gè)體施加嚴(yán)格控制的力量。這將如何影響社會(huì)的未來?我們能反抗大數(shù)據(jù)治理嗎?
“上班摸魚”能被監(jiān)控嗎?
知乎事件的起因,來自一張網(wǎng)傳的系統(tǒng)后臺(tái)圖片,上面清楚顯示了一名員工訪問求職網(wǎng)站次數(shù)、投遞簡歷次數(shù),以及含關(guān)鍵詞的聊天記錄數(shù)量。
很快,許多網(wǎng)友和媒體都找到了相關(guān)的網(wǎng)絡(luò)分析系統(tǒng)“行為感知系統(tǒng)BA”,以及研發(fā)這一系統(tǒng)的公司深信服,并從公司客服處確認(rèn)了這套系統(tǒng)可以用于對(duì)員工在單位網(wǎng)絡(luò)內(nèi)的網(wǎng)站訪問記錄進(jìn)行分析,支持做離職傾向分析。
有媒體據(jù)天眼查結(jié)果發(fā)現(xiàn),深信服在2018就申請(qǐng)了相關(guān)技術(shù)專利—— 一種離職傾向分析方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。
目前,記者在深信服官網(wǎng)已經(jīng)無法找到“行為感知系統(tǒng)BA”介紹和案例,但存在“全網(wǎng)行為管理AC”服務(wù),主要是感知終端違規(guī)接入、上網(wǎng)違規(guī)行為、敏感數(shù)據(jù)泄密等內(nèi)部風(fēng)險(xiǎn)。在“解決方案”一欄中包括了上網(wǎng)行為管理,涉及全面識(shí)別與管控網(wǎng)絡(luò)中與工作無關(guān)的應(yīng)用,提高工作效率,并無離職分析相關(guān)內(nèi)容。
事件發(fā)生后,網(wǎng)友直指企業(yè)商業(yè)道德問題,再次引發(fā)了對(duì)網(wǎng)絡(luò)數(shù)據(jù)挖掘分析突破隱私保護(hù)底線的擔(dān)憂。
香港大學(xué)法學(xué)教授雷蒙德·瓦克斯在牛津通識(shí)讀本《隱私》中提到,在“數(shù)據(jù)保護(hù)原則”中為首的,就是個(gè)人數(shù)據(jù)只能以合法和公平的方式收集。這就要求數(shù)據(jù)使用者向數(shù)據(jù)主體通報(bào)使用數(shù)據(jù)的目的、可向其傳輸數(shù)據(jù)的各類人員、數(shù)據(jù)主體提供數(shù)據(jù)是自愿的還是強(qiáng)制的、未能提供數(shù)據(jù)的后果,同時(shí)數(shù)據(jù)主體有權(quán)請(qǐng)求訪問和更正個(gè)人數(shù)據(jù)。
換句話說,分析技術(shù)本身并沒有直接對(duì)隱私安全產(chǎn)生威脅,但如果企業(yè)是在員工并不知情的情況下,獲取數(shù)據(jù)、分析數(shù)據(jù),并針對(duì)結(jié)果采取了相應(yīng)的措施,這就涉嫌違法。
知乎否認(rèn)了使用該系統(tǒng),但目前企業(yè)監(jiān)控員工上網(wǎng)情況的行為并不罕見,比如監(jiān)控員工“上班摸魚”。
去年11月16日,國美內(nèi)部通報(bào)了員工看視頻、刷抖音、聽音樂等“摸魚”行為,并給予相關(guān)處罰。國美總部也承認(rèn)對(duì)員工非工作流量信息進(jìn)行了監(jiān)測、統(tǒng)計(jì),識(shí)別員工是否在工作區(qū)域內(nèi)占用公司公共網(wǎng)絡(luò)資源從事與工作無關(guān)事宜。但其并未回應(yīng),企業(yè)是否將監(jiān)控事宜事先告知員工,并得到員工同意。
“將現(xiàn)代科技的成果用于社會(huì)公共事務(wù)當(dāng)中,以提高整個(gè)社會(huì)運(yùn)行的效率是一種普遍現(xiàn)象,這叫技術(shù)治理。”中國人民大學(xué)哲學(xué)院教授劉永謀在接受《中國科學(xué)報(bào)》采訪時(shí)表示,技術(shù)治理從來都不是完美的利器。
控制與操控的界限在哪兒?
隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算和人工智能等智能技術(shù)的興起,用數(shù)字來測量、預(yù)測、規(guī)劃和控制社會(huì)的理想有了實(shí)現(xiàn)的可能。可以說,人們正面臨一個(gè)大數(shù)據(jù)治理時(shí)代。
“在這樣一個(gè)時(shí)代,企業(yè)日益熱衷于對(duì)勞動(dòng)者的標(biāo)準(zhǔn)化、數(shù)字化認(rèn)知。它產(chǎn)生的原因無非是希望節(jié)省人力成本,追求更高的效率。”劉永謀直言。
“從工具意義上說,企業(yè)正在把勞動(dòng)者作為一種純粹的人力資源,而不是一個(gè)完整的人。盡管從效率角度有其合理性,但卻是一種片面的合理性。”劉永謀說,因?yàn)樗鼤?huì)產(chǎn)生隱私侵犯、數(shù)據(jù)歧視、霸權(quán)等風(fēng)險(xiǎn)。這些問題并非從無到有,而是在大數(shù)據(jù)治理時(shí)代被放大了。
大數(shù)據(jù)治理時(shí)代,到底會(huì)如何影響人類社會(huì)的未來?這個(gè)問題一直備受關(guān)注。劉永謀認(rèn)為,目前主要存在兩種比較極端的看法。
一種充滿了樂觀態(tài)度,認(rèn)為它可以讓我們向一個(gè)更加“整合、靈活、全面的政府”的方向前進(jìn),整個(gè)社會(huì)將像發(fā)條裝置一樣精確運(yùn)行,符合理性、邏輯與公平。
另一種,則以美國哈佛大學(xué)商學(xué)院教授肖莎娜·祖博夫所謂的“監(jiān)控資本主義”為代表。她認(rèn)為,由于政府與企業(yè)能夠通過數(shù)據(jù)的監(jiān)測與分析,充分地了解個(gè)體并預(yù)測個(gè)體的行為,他們就掌握了對(duì)個(gè)體施加嚴(yán)格控制的力量,以大數(shù)據(jù)算法塑造人類的行為。
前者的“數(shù)據(jù)烏托邦”思維已經(jīng)很難得到人們的認(rèn)可,但劉永謀也不支持后者過度強(qiáng)調(diào)“控制”的負(fù)面效應(yīng)。
所有的政治秩序都建立在協(xié)調(diào)、合作和控制的基礎(chǔ)之上,缺乏三者中的任何一個(gè),組織集體生活都是不可能的。因此,大數(shù)據(jù)治理并不單單服務(wù)于控制,它同樣在社會(huì)協(xié)調(diào)、合作方面起到了積極作用。
“人們不必對(duì)‘控制’二字過分緊張和排斥。”劉永謀表示,“自人類文明出現(xiàn),就有了控制,教育、宗教都帶有控制性。如果沒有控制,人類社會(huì)依舊是野蠻狀態(tài)。”
“問題的關(guān)鍵在于,控制要有度,超過了適度范圍就會(huì)變成操控。因此,在大數(shù)據(jù)治理中,我們需要關(guān)注的核心是,在具體的語境當(dāng)中辨析控制和操控之間的界限在哪里,這才是比較好的解決問題的路徑。”劉永謀談道。
你并非完全被動(dòng)
大數(shù)據(jù)治理時(shí)代,由于算法似乎越來越具有自主的、難以控制的力量,帶來了監(jiān)視一切、預(yù)測一切的可能,容易引發(fā)公眾的信任危機(jī)。但劉永謀告訴《中國科學(xué)報(bào)》,在已經(jīng)展開的大數(shù)據(jù)算法與社會(huì)信任之間的博弈中,公眾并非是完全被動(dòng)的。
上海交通大學(xué)科學(xué)史與科學(xué)文化研究院助理教授沈辛成在《人工智能與價(jià)值觀》一書中分享了一個(gè)案例。早在2014年,亞馬遜開發(fā)了一套人力資源管理系統(tǒng)。這套系統(tǒng)用人工智能來分析篩選求職簡歷,通過給求職者打分,在一百份簡歷中篩選出“最好”的五位,直接錄用。但一年以后問題就出現(xiàn)了,這套算法工具基于的數(shù)據(jù)是亞馬遜此前十年的員工資料,基礎(chǔ)數(shù)據(jù)本身存在性別不平衡,于是算法分析歸納后得出了一個(gè)帶有偏見的結(jié)論:男員工比女員工更可靠。
缺陷一經(jīng)暴露,立刻引起了人們的道德不適,引發(fā)了社會(huì)的強(qiáng)烈質(zhì)疑和反思。而這種公共情緒和輿論反抗,也隨之產(chǎn)生了積極的意義。亞馬遜的“翻車”使得這項(xiàng)技術(shù)停止在公司使用,還有咨詢公司在相關(guān)報(bào)告中提出了技術(shù)改進(jìn)方式,比如,不向算法提供員工個(gè)體生理、文化屬性等,避開帶有傾向性的價(jià)值判斷。
同樣,國內(nèi)也有比較成功的案例。
就在去年,人們逐漸意識(shí)到日常生活正在被“算法推薦”所操控,受困于一個(gè)個(gè)“信息繭房”之中。中國人民大學(xué)新聞學(xué)院教授彭蘭就曾撰文《算法社會(huì)的“囚徒”風(fēng)險(xiǎn)》。許多年輕人也從自身做起,開啟了對(duì)抗算法推薦的實(shí)踐,豆瓣還成立了“反技術(shù)依賴”小組。
這樣的輿論氛圍生成了一股對(duì)抗算法的合力。從結(jié)果來看,2021年8月20日,第十三屆全國人大常委會(huì)第三十次會(huì)議審議通過的《中華人民共和國個(gè)人信息保護(hù)法》中,就包含了對(duì)算法推薦這類“大數(shù)據(jù)殺熟”問題的相關(guān)規(guī)定。第24條規(guī)定,通過自動(dòng)化決策方式向個(gè)人進(jìn)行信息推送、商業(yè)營銷,應(yīng)當(dāng)同時(shí)提供不針對(duì)其個(gè)人特征的選項(xiàng),或者向個(gè)人提供拒絕的方式。
就在今年1月4日,中國網(wǎng)信網(wǎng)發(fā)布了國家網(wǎng)信辦等多部門聯(lián)合修訂的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》,要求不得根據(jù)消費(fèi)者的偏好、交易習(xí)慣等特征,利用算法在交易價(jià)格等交易條件上實(shí)施不合理的差別待遇。
這一切都意味著,利用大數(shù)據(jù)“殺熟”或?qū)⒊蛇^去式。
這也符合劉永謀所思考的大數(shù)據(jù)治理的合理的規(guī)則設(shè)計(jì),即增加公眾的參與、反饋,應(yīng)該成為技術(shù)、制度調(diào)整的依據(jù)。沒有一項(xiàng)技術(shù)、制度設(shè)計(jì)是一勞永逸的。
企業(yè)和政府都有責(zé)任
英國學(xué)者、執(zhí)業(yè)律師杰米·薩斯坎德在《算法的力量》一書中提醒人們,過去科技公司只是在市場體系中運(yùn)行并追求有限經(jīng)濟(jì)利益的私人實(shí)體。它并不對(duì)廣大公眾負(fù)責(zé),而是對(duì)它的所有者和利益相關(guān)者負(fù)責(zé)。但如今,它們成為了數(shù)據(jù)治理最重要的技術(shù)提供者,直接參與提供大量的社會(huì)公共服務(wù),因此,它們的角色越來越像公共事業(yè)公司。
不僅如此,薩斯坎德認(rèn)為,越來越多的權(quán)力集中在控制技術(shù)的科技公司手中。可以說,這些經(jīng)濟(jì)實(shí)體第一次擁有了強(qiáng)大的政治力量。所以,如何約束它們的行為非常關(guān)鍵。
沈辛成提到,在美國,比起行政約束,龍頭企業(yè)們視開源共享和自下而上的行規(guī)約束為最好的管控手段。如果有足夠多的程序員和開發(fā)者能夠共同目擊、監(jiān)督算法的制造,就能夠確保各大科技企業(yè)所開發(fā)的模型和算法是相對(duì)透明的。此外,邀請(qǐng)更多元的主體參與這一過程,盡可能保證高質(zhì)量、高透明度的公平公正。
北京大學(xué)社會(huì)學(xué)系教授邱澤奇在《科技向善:大科技時(shí)代的最優(yōu)選》一書中也做了相關(guān)問題的解答。在他看來,未來企業(yè)要和政府共同承擔(dān)規(guī)制責(zé)任,而不僅僅是產(chǎn)品責(zé)任。
科技產(chǎn)品的迭代速度遠(yuǎn)遠(yuǎn)快于工業(yè)時(shí)代產(chǎn)品的迭代速度,意味著用戶始終會(huì)面對(duì)新的科技產(chǎn)品,并不知道產(chǎn)品在什么時(shí)候產(chǎn)生負(fù)面效果。他認(rèn)為,在這種情況下,公司要采取告知、引導(dǎo)、預(yù)防和解決等一系列措施。并且,這不是針對(duì)單一產(chǎn)品而言的,而是面向不同的科技產(chǎn)品,有一套解決問題的機(jī)制和策略。
他還提到,在未來科技產(chǎn)品研發(fā)時(shí),可以更多地邀請(qǐng)專家參與,對(duì)一些問題進(jìn)行前瞻性研究。這么做的優(yōu)勢(shì)是,當(dāng)最新科技產(chǎn)品推向市場的時(shí)候,不僅有來自企業(yè)的技術(shù)告知和引導(dǎo),還有來自專家的社會(huì)評(píng)估,作為第三方來承擔(dān)科技行業(yè)與社會(huì)、政府之間的溝通橋梁的角色,提供預(yù)防式的建議和策略,而不是像現(xiàn)在這樣,等出現(xiàn)問題了才推出應(yīng)急措施。
除此以外,邱澤奇也強(qiáng)調(diào)了政府責(zé)任。對(duì)于新出現(xiàn)的技術(shù)與應(yīng)用,政府需要有比較深入和準(zhǔn)確的了解,需要對(duì)它的社會(huì)影響有比較全面的評(píng)估。要達(dá)成這樣的目標(biāo),學(xué)界可以發(fā)揮很好的溝通和橋梁作用,還可以為企業(yè)在商業(yè)視角之外提供一個(gè)更為全面和客觀的社會(huì)視角。
不過,就現(xiàn)狀而言,他也指出,“第一是科技企業(yè)沒有對(duì)外開放,第二是學(xué)界對(duì)這些領(lǐng)域的研究還不太重視,不認(rèn)為這是他們的責(zé)任。其實(shí),很多新問題是理論創(chuàng)新的源泉。無論是理論創(chuàng)新還是解決實(shí)際問題,這樣的研究都非常值得去做”。
來源:《中國科學(xué)報(bào)》