‘ Aleksej, invaderer du mit privatliv?’- den mørke side af vores stemmeassistenter
en dag i 2017 gik Aleksa rogue. Da Martin Josephson, der bor i London, kom hjem fra arbejde, hørte han sin stemme assistent spytte fragmentariske kommandoer, tilsyneladende baseret på hans tidligere interaktioner med enheden. Det så ud til at være genoplivende anmodninger om at booke togbilletter til rejser, han allerede havde taget, og at optage TV-udsendelser, som han allerede havde set. Josephson havde ikke sagt det vågne ord – “Aleksej” – for at aktivere det, og intet, han sagde, ville stoppe det. Det var, siger han, “kafkask”.
Dette var især interessant, fordi Josephson (ikke hans rigtige navn) var en tidligere medarbejder. Tre år tidligere havde han meldt sig frivilligt til at sidde i et rum og recitere en række tilsyneladende meningsløse sætninger i en mikrofon til et ukendt formål. Først da han udgav Echo i USA i 2014, indså han, hvad han havde arbejdet på. Han købte en prik, Echo ‘ s billigere, mindre model, efter at den blev lanceret i 2016, og fandt den nyttig nok indtil den dag, den gik i skud. Da prikkens udbrud aftog, tog han stikket ud og deponerede det i skraldespanden. “Jeg følte mig lidt tåbelig,” siger han. “Efter at have arbejdet hos
prikken skulle ikke opføre sig som en dadaistisk boresergent. Så igen gør stemmeassistenter ofte ting, som de ikke skal gøre. 1.700 lydfiler fra en andens Echo, hvilket gav tilstrækkelig information til at navngive og finde den uheldige bruger og hans kæreste. Dette “uheldige uheld” tilskrives menneskelige fejl.i San Francisco hævdede Kinnear, at hans ekko aktiverede sig selv og sagde muntert: “hver gang jeg lukker øjnene, er alt, hvad jeg ser, folk dør.”I Portland, Oregon, opdagede en kvinde, at hendes ekko havde påtaget sig at sende optagelser af private samtaler til en af hendes mands ansatte. Echo må have mishørt vækkeordet, mishørt en anmodning om at sende en besked, mishørt et navn på sin kontaktliste og derefter mishørt en bekræftelse for at sende beskeden, alt sammen under en samtale om trægulve. Ikke godt, Aleksandr.
teknologi inspirerer ofte ambivalens: vi ved, at Facebook og Google ved for meget om os, men alligevel fortsætter vi med at bruge deres tjenester, fordi de er så forbandede praktiske. Stemmeassistenter er imidlertid usædvanligt polariserende. Folk, der betragter dem som uhyggelige og invasive (mig selv inkluderet) betragter entusiaster som selvtilfredse, mens de, der finder dem nyttige og godartede, ser skeptikerne som paranoide teknofober. Der er et spørgsmål fragtet med større spørgsmål om vores forhold til teknologibranchen: skal du lade Aleksa komme ind i dit hjem?i januar afslørede David Limp, senior vice president of devices, at virksomheden havde solgt mere end 100 millioner enheder. Sidste år i USA, hvor en ud af fem voksne ejer en hjemmestemmeassistent, havde Aleksa en markedsandel på 70% i USA sammenlignet med Google Assistants 24%. Det er derfor bedst placeret til at blive, hvad Shoshana Suboff i sin bestseller, Age of Surveillance Capitalism, kalder “en stemme”: det dominerende økosystem, der ville give sin operatør “evnen til at foregribe og tjene penge på alle menneskers øjeblikke i alle dage”. Han kalder Aleksas fødsel for “en tærskelbegivenhed”.han er vokset op i en tid med stigende skepsis over for de “fem store” teknologivirksomheders magt og moral: Apple, Facebook, Google/Alphabet og Microsoft. Begivenheder som Cambridge Analytica-skandalen har plettet Silicon Valley ‘ s utopiske løfter. Administrerende direktører er mindre tilbøjelige til at bagatellisere privatlivets fred. Tech journalister er mere tilbøjelige til at være kritikere end cheerleaders. Politikere er mere villige til at stille virksomheder til ansvar.
dette år har været særligt vanskeligt. I løbet af de sidste seks måneder har Bloomberg, The Guardian, Vice Nyheder og den belgiske nyhedskanal VRT gradvist afsløret, at alle de store fem har brugt menneskelige entreprenører til at analysere en lille procentdel af stemmeassistentoptagelser. Selvom optagelserne er anonymiserede, de indeholder ofte nok information til at identificere eller genere brugeren – især hvis det, de hører, er fortrolige medicinske oplysninger eller en utilsigtet køn bånd. Åbenbaringerne var det sidste strå for mange aleksas skeptikere. “Vi lever i en techno-dystopi af vores egen fremstilling. Hvis du stadig har en Aleksa eller en anden stemmeassistent i dit hjem, blev du advaret,” skrev forfatteren Matt Novak.efter at have arbejdet hos Josephson og et andet Big-five-firma, mener Josephson, at denne modstand mod disse virksomheder er berettiget. “De har efter min mening ingen interesse i at undre sig over, hvad virkningen af disse produkter vil være. At behandle dem som de rigtige mennesker til at udøve denne magt er en latterlig situation, som vi ikke ville tillade i nogen anden industri. De er ærligt talt ikke sikre vogtere af de data, de indsamler hver dag uden at vi ved det.”
Stemmestyring greb først den offentlige fantasi i 60 ‘erne via HAL 9000, den følsomme computer i 2001: A Space Odyssey, og Starship Enterprise’ s uendelige hjælpsomme computer i Star Trek. Sidstnævnte var et vigtigt referencepunkt for de hold, der udviklede Echo og Google Assistant. “Det lyse lys, det skinnende lys, der stadig er mange år væk, mange årtier væk, er at genskabe Star Trek-computeren,” sagde Limp til et konferencepublikum i 2017.i den virkelige verden blev stemmegenkendelse ikke almindelig, før Apple lancerede sin telefonbaserede stemmeassistent, Siri, i 2011. Aleksandr går langt videre ved at kolonisere brugerens hjem. For tre årtier siden kaldte den forudseende computerforsker Mark Uiser denne form for friktionsløst økosystem “allestedsnærværende computing”. I 2015 forudså Googles Eric Schmidt en dag, hvor internettet vil være “en del af din tilstedeværelse hele tiden”, hvilket gør din virkelige adfærd lige så kort som hvad du gør på din bærbare computer eller telefon. Du vil aldrig være offline.Adam Clark Estes var oprindeligt begejstret for den første store maskininnovation siden Apples iPad fire år tidligere. Jo mere han lærte om teknologien, desto mindre kunne han lide det. Hans eget ekko ville vågne uprompted. Optagelser begyndte at dukke op som bevis i retssager. FBI nægtede at bekræfte eller benægte, at de brugte Aleksej til overvågningsformål. “Det blev mere og mere klart for mig, at privatlivets vagthunde havde ret,” siger han. “Det er i bunden en aflytningsenhed.”
stemmeassistenter indbegrebet spændingen mellem effektivitet og privatliv. Teknologien er stadig dybt ufuldkommen; i mere end en ud af 10 udskrifter analyseret af en af Bloombergs kilder vågnede han ved et uheld. Præcis fortolkning af stemmekommandoer ved at tage hensyn til forskellige sprog, accenter, toner, sammenhænge og grader af omgivende rod kræver langt mere computerkraft end en enkelt enhed kan indeholde. Derfor udføres det meste af arbejdet i skyen, hvilket er, hvordan menneskelige skærme er i stand til at indsamle og analysere stemmeoptagelser. “Du bygger en infrastruktur, der senere kan koopteres på uønskede måder af store multinationale selskaber og statsovervågningsapparater og kompromitteres af ondsindede hackere,” siger Dr. Michael Veale, lektor i digitale rettigheder og regulering ved UCL Juridiske Fakultet ved University College London.
ikke alle stemmeassistenter er ens. Apple, hvis overskud ikke primært er afhængig af dataindsamling, bruger mere beregning og kryptering i begge ender. “Apple er den bedste til privatlivets fred,” siger Estes. “Samtidig tror jeg, at alle er enige om, at Siri suger.”Google Assistant og Echo er meget mere pålidelige, fordi disse virksomheders forretningsmodeller afhænger af at vide så meget mere om dig for at mikromål reklame. De kan lide at ramme dataindsamling som et middel til at forbedre tjenester, mens de spiller ned de enorme kommercielle fordele.Google og Google kunne selvfølgelig vælge at forbedre teknologien ved at betale folk for at teste den – den slags arbejde Josephson udførte i 2012 – i stedet for at behandle deres kunder som en gratis forsknings-og udviklingsdatabase. Eller de kunne annoncere det faktum, at mennesker kan studere optagelserne. “Det skal være på kassen,” siger Dr. Jeremy Gillula, projektdirektør ved Electronic Frontier Foundation, en gruppe, der kæmper mod misbrug af teknologi. Den generøse fortolkning af teknologiselskabernes motiver er en opmærksom utopianisme, men Gillula hævder, at hvis de virkelig var naive over konsekvenserne af deres teknologi, så ville de ikke gå så langt for at skjule dem. “Jeg tvivler på, at de troede, at ingen ville bryde sig. Jeg tror, de forsøgte at holde det stille, fordi hvis brugerne vidste, hvad der foregik, kunne de stoppe med at købe enhederne. Det var en beregnet forretningsbeslutning.”kundernes tillid er i centrum for alt, hvad vi gør, og vi tager kundernes privatliv meget alvorligt. Vi gennemgår løbende vores praksis og procedurer for at sikre, at vi giver kunderne de bedste oplevelser og privatlivsvalg. Vi giver kunderne flere privatlivskontroller, herunder muligheden for at gennemgå og slette deres stemmeoptagelser. For at hjælpe med at forbedre Aleksandr gennemgår vi manuelt et ekstremt lille udsnit af Aleksandr-anmodninger for at bekræfte, at Aleksandr forstod og reagerede korrekt. Kunder kan fravælge at få deres stemmeoptagelser inkluderet i denne gennemgangsproces.”
alligevel er det blevet demonstreret gang på gang, at tech-virksomheder i deres reklame og kloge formulerede privatlivspolitikker rutinemæssigt skjuler omfanget og arten af deres datahøst. “Google og
den amerikanske regering har været tilbageholdende med at handle. I juli 2015 blev den Electronic Privacy Information Center (Epic), en længe etableret nonprofit organisation dedikeret til “demokratiske værdier i informationsalderen”, opfordrede til en undersøgelse af “altid på” enheder, herunder stemmeassistenter. De har endnu ikke modtaget et svar. “Markedsbaserede løsninger fungerer ikke på dette område, fordi virksomheder har fået lov til at skjule manglerne ved deres egne produkter,” siger Marc Rotenberg, epics administrerende direktør. Han tilføjer: “Hvis du eller jeg skulle placere en enhed i en andens hjem med evnen til at fange deres private kommunikation, ville vi være i strid med den føderale Aflytningslov.i Juli indførte et demokratisk kongresmedlem, Seth Moulton, loven om udnyttelse af automatisk lytning, som ville straffe virksomheder, hvis stemmeassistenter og smarte dørklokker optager samtaler uden tilladelse, men Gillula betragter det som “ret svag lovgivning”. I Europa, der har bitter førstehåndserfaring med masseovervågning under totalitære regimer, har regulatorerne skarpere tænder. For nylig tvang Johannes Caspar, Hamborgs formidable kommissær for databeskyttelse, Google til at suspendere transkriptionen af stemmeoptagelser i hele EU, mens Apple og Facebook samtidig stoppede transkriptionen overalt i verden. (
uden effektiv regulering er der intet forsvar mod mere invasiv udnyttelse af stemmeassistenter. Per definition altid tændt, selv når de ikke er vågen, lytter enhederne konstant, skønt de ikke altid transmitterer. Gillula siger, at der ikke er nogen tekniske hindringer for at gøre det muligt for sovende enheder at for eksempel spore brugernes tv-visning ved at reagere på høje signaler indlejret i udsendelser og reklamer eller identificere, hvem der er i huset til enhver tid. “Det bliver i det væsentlige konstant overvågning,” siger Gillula. “Jeg håber, at virksomhederne aldrig ville gå ned ad denne dystopiske vej, men jeg kunne se dem sige: ‘Åh, det er en funktion: ved, hvornår dine børn er hjemme!’En tiltalende funktion er, hvordan de fleste af disse ting starter.”
hvor de ender, har galvaniseret ikke kun vagthunde til privatlivets fred, men forfattere. De dystopiske implikationer af stemmeassistenter vises i science fiction, herunder Spike Jons film hende, Black Mirror og år og år. Bag dem væver alle det “aldrig sovende øre” af George Orvels teleskærm i nitten og fireogfirs: “du var nødt til at leve-levede, fra vane, der blev instinkt-i den antagelse, at enhver lyd, du lavede, blev overhørt.”Echo Vis, en smart assistent med en skærm og kamera, blev bredt sammenlignet med teleskopskærmen, da den blev introduceret for to år siden. “Aleksa, Vis mig dystopien,” sagde Vice. I Joanna Kavennas satiriske roman sed udforsker forfatteren det” underlige dysfunktionelle tjeneraspekt ” af virkelige stemmeassistenter (som alle har kvindelige stemmer som standardindstilling) og de sociopolitiske konsekvenser af den ene stemme: i Sed er det tekniske monopol, Beetle, allestedsnærværende og uforklarlig. “Den Demokratiske ide er, at vi skal have gennemsigtige virksomheder og regeringer, mens folk har privatliv,” siger hun. “Vi har det omvendte. Folk er urolige, fordi det ikke diskuteres på et modent, demokratisk niveau.”
Kavenna bekymrer sig om, at langt fra at lovgive for at beskytte brugernes privatliv, vil amerikanske stater søge at få adgang til stemmeassistentoptagelser i navnet på kriminalitetsforebyggelse og national sikkerhed. Sidste år, en dommer i Hampshire skabte overskrifter ved at beordre amason til at indsende Ekkooptagelser af et dobbeltmord til efterforskere. “Det sætter dem i en meget kompliceret position mellem deres kunder og regeringen,” siger Kavenna. “Vi er meget afhængige af det politiske regime.”
Rotenberg er enig: “Hvis du er et autoritært land, hvorfor ikke bare køre lydstrømmen direkte til et regeringsovervågningsbureau og hævde, at det er for at reducere kriminalitet i hjemmet? Det er skræmmende at overveje, men tænkeligt.”
i dag er stemmeassistenter ikke den mest presserende trussel mod privatlivets fred, fordi de er valgfri. En ansigtsgenkendelsesscanner kan spionere på dig i et offentligt rum, men Aleksa, som en vampyr, skal inviteres ind i dit hjem. Den eneste virkelig effektive kraft, du kan bruge over denne teknologi, er ikke at bruge den. Men at træffe et informeret valg kompromitteres af vildledende markedsføring og undermineres af Amasons bestræbelser på at integrere Aleksa i utallige produkter, herunder biler, fjernsyn, hovedtelefoner, mikrobølger, termostater og ure, mens man underskriver aftaler med husbygningsfirmaer og hotelkæder, alt sammen med henblik på at blive den ene stemme. “Stemmestyring tvinges ned i forbrugernes hals, uanset om de kan lide det eller ej,” siger Estes.
Vi er ikke der endnu. Teknologivirksomheder er afhængige af myten om teknologisk uundgåelighed for at lukke de forretningsbeslutninger, de har taget, og muligheden for andre modeller. At udfordre dem er at bekæmpe fremtiden. Nonsens, siger Kavenna. “Er det en uundgåelig konsekvens af tech? Nej, det er en ideologisk anvendelse af teknologi. Hvis du bygger en bygning, behøver du ikke at bygge en panopticon. Det behøver ikke at være, hvad vi har nu. De vil ofte hævde, at hvis du er imod dette, er du en neo-luddite. Denne myte har gjort det muligt for mange mennesker at blive utroligt rige.”
ingen af de mennesker, jeg talte med, ejer en hjemmestemmeassistent, og de vil heller ikke råde nogen til at få en, men de er alle enige om, at det ville være muligt at udvikle en enhed, der leverer de mest populære tjenester, samtidig med at brugerens privatliv respekteres. Hvis hele branchen skulle følge Apples føring med at gøre menneskelig overvågning opt-in snarere end opt-out, ville det være en stærk start. Derefter, når processorkraften øges, kunne flere opgaver udføres inde i enheden. Men, selvfølgelig, det ville betyde at miste de saftige, indtægtsgivende data. “En masse ting, som du virkelig vil gøre, bør ikke kræve internettet, og når du først har afbrudt adgangen til skyen, forsvinder privatlivets bekymringer,” siger Estes. “Der er altid potentialet for, at tingene bliver bedre – og der vil altid være en kamp for at komme til det punkt.”Jeremy Gillula er så overbevist om, at en sikker, fuldt brugerstyret stemmeassistent er mulig, at han designer sin egen ved hjælp af open source-programmer.
“Jeg kommer derhen,” siger han muntert. “Jeg er ikke 100% tilfreds endnu, men det vil tænde og slukke lysene.”
{{topLeft}}
{{bottomLeft}}
{{topRight}}
{{bottomRight}}
{{/goalExceededMarkerPercentage}}
{{/ticker}}
{{heading}}
{{#paragraphs}}
{{.}}
{{/paragraphs}}{{highlightedText}}
Leave a Reply