Skandal s Appleovom kreditnom karticom počeo je nakon što se softverski inženjer David Heinemeir Hansson požalio na Twitteru da mu je sustav odobrio 20 puta veći kredit nego njegovoj supruzi, iako njih dvoje oni podnose zajedničku prijavu poreza, a on ima i lošiji kreditni status od supruge.
@AppleCard je tako je**no seksistički program. Supruga i ja zajedno smo prijavili povrat poreza i već dugo živimo zajedno, no Apokeov black box algoritam smatra da ja zaslužujem 20 puta veći limit od nje, napisao je na Twitteru Hansson.
No one wants to live under the capricious rule of THE ALGORITHM. Not in finance, not in housing, not in advertising, not in hiring, not in any of the million other fields were machine learning and AI is taking over decision making power. This is why the nerves are tickled. pic.twitter.com/typ0Lgqp7J
— DHH (@dhh) November 11, 2019
Ubrzo su mu se javili iz Applove korisničke službe te podigli dozvoljeni kreditni limit njegovoj supruzi, no istovremeno su mu rekli da ne mogu učiniti ništa u vezi s načinom na koji spomenuti algoritam funkcionira.
Nakon što je njegov prigovor postao viralan, i drugi su se Appleovi korisnici požalili na isto. Među njima je bio i Appleov suosnivač Steve Wozniak, koji je dobio deset puta veće prekoračenje limita od svoje supruge. Wozniak je otišao i korak dalje pa je pozvao vlasti da istraže način na koji funkcioniraju black box algoritmi, za koje stručnjaci tvrde da su često diskriminatorni.
The same thing happened to us. I got 10x the credit limit. We have no separate bank or credit card accounts or any separate assets. Hard to get to a human for a correction though. It's big tech in 2019.
— Steve Wozniak (@stevewoz) November 10, 2019
Nemamo transparentan pregled kako te kompanije postavljaju te stvari i kako one funkcioniraju. Algoritmi očito imaju manjkavosti, rekao je Wozniak. Smatra da mnogi korisnici razmišljaju na način da vole koristiti tehnologije, ali su izgubili kontrolu nad njima.
AppleCard izdaje Goldman Sachs, a Financijski servis američke savezne države New York (DFS) odlučio je temeljem svih žalbi pokrenuti istragu oko te kartice.
Bilo koji algoritam koji namjerno ili nenamjerno na diskriminatoran način tretira žene ili bilo koje druge zaštićene skupine krši zakon New Yorka, rekao je glasnogovornik DFS-a za New York Times.
Iz Goldman Sachsa oglasili su se i odbacili bilo kakve pritužbe da koriste diskriminirajuće algoritme te dodali da ne koriste nikakve algoritme koji donose odluke na temelju faktora poput spolne pripadnosti.
Iz Applea se nisu službeno još oglasili u vezi s time.
Izvor: The Verge
