【GDPR】新創公司的AI演算法也會違反個資保護相關法規?義大利食物外送平台遭罰260萬歐元

Foodinfo是食物外送平台(類似於uber eats, foodpanda),在義大利是主要的外送平台之一。義大利個資保護機關於2021.06.10數位平台Foodinfo開罰260萬歐元(約1億新台幣),因為他們違反多項GDPR規定(包含第5以及第13、22、25、30、32、35、37),其中最重要為他們使用具有歧視性的AI演算法管理旗下的外送員。

他們的AI演算法做錯了什麼?

Foodinfo AI演算法如何運作?

Foodinfo系統會根據消費者、商家的評價、外送員接單率、忙碌時段上工率、一週平均上工率、是否曾拒絕接單、對於接單通知的反應速度(例如出現接單通知後3秒鐘按同意接單或3分鐘後按同意接單)等狀況放入AI系統中算出對於外送員的評分,AI會再根據此評分分配工作給外送員,因此評分低的外送員所可以送到的單就會比較少。

AI也會因上面所得之結果不斷重新運算,調整各項配分的比例,發單的方式、時間、地點等等。

那麼義大利個資保護機關認為Foodinfo做錯了哪些事?

1.Foodinfo雖然有設置異議的機制,但義大利個資主管機關認為這是假的機制,根本無法影響AI運算的結果。

2.AI會如何運算、運算會採納重要要素,Foodinfo都沒有告知外送員。

3.Foodinfo並沒有做好防護措施,有可能將基於錯誤或是偏見的意見納入計算標準中(例如消費者或商家無正當理由給低分的情形並未排除)

義大利個資保護機關要求改正!

首先,必須要最小化基於錯誤或是偏見的評分,過去由消費者或是商家所進行的評分,其中具有歧視性的評分Foodinfo並沒有剔除(例如只因外送員是少數民族或特定宗教信仰者、消費者多等數分鐘給予低分),並且會基於這項評分評價外送員的表現。接著Foodinfo會根據根據AI計算出的評價結果,分配特定外送員多一點的工作,減少評價低的外送員工作。

因此Foodinfo需要加強對於消費者與外送員的對話內容、通話記錄、每15秒鐘外送員的地理位置、送餐路線、預計的送達時間、過去消費者與商家的評價紀錄、甚至是手機電力等等以確認消費者與商家的評價是否允當,是否有歧視性的評分。

第二,義大利個資保護機關要求Foodinfo需要處理對於,AI演算法必須去減少對於外送員的處罰。

註:foodinfo是一家發起於義大利的線上食物外送公司,該公司與旗下外送員係簽訂承攬契約,但於2020年時,義大利最高法院認為外送員應要受有勞工權益。當時他們有19,000名外送員。

新創公司創造了許多不同的商業模式,但近年來各國對於新創公司開罰的案例或是不利的判決也愈來愈多。

如果你想更了解GDPR,可參考以下連結

GDPR條文:https://gdpr-info.eu

線上公開課程(2.5hr):https://tinyurl.com/29tuhnb7

發佈留言