En dag I 2017 gikk Alexa rogue. Da Martin Josephson, som bor I London, kom hjem fra jobb, hørte Han Sin Amazon Echo Dot stemmeassistent spytte ut fragmentariske kommandoer, tilsynelatende basert på hans tidligere samspill med enheten. Det syntes å være regurgitating forespørsler om å bestille togbilletter for reiser han allerede hadde tatt og å spille INN TV-programmer som han allerede hadde sett. Josephson hadde ikke sagt våkneordet – «Alexa» – for å aktivere det, og ingenting han sa ville stoppe det. Det var, sier han, «Kafkaesque».Dette var spesielt interessant fordi Josephson (ikke hans virkelige navn) var En Tidligere Amazon-ansatt. Tre år tidligere hadde han meldt seg frivillig til å sitte i et rom og resitere en rekke tilsynelatende meningsløse setninger i en mikrofon for et ukjent formål. Først Da Amazon lanserte Echo I USA i 2014, skjønte Han hva han hadde jobbet med. Han kjøpte En Dot, Echo ‘ s billigere, mindre modell, etter at den ble lansert i 2016, og fant den nyttig nok til dagen den gikk haywire. Når Prikken utbrudd stilnet, han koblet den og deponert den i bin. «Jeg følte meg litt dum,» sier han. «Etter å ha jobbet På Amazon, og etter å ha sett hvordan de brukte folks data, visste jeg at jeg ikke kunne stole på dem.»Dot skulle ikke oppføre seg som en dadaistisk drillsersjant. Så igjen gjør stemmeassistenter ofte ting de ikke skal gjøre. I fjor ble En Amazon-kunde i Tyskland feilaktig sendt om 1700 lydfiler fra andres Ekko, og ga nok informasjon til å nevne og finne den uheldige brukeren og kjæresten hans. (Amazon tilskrev dette «uheldig uhell» til menneskelig feil.I San Francisco hevdet Shawn Kinnear At Ekkoet hans aktiverte seg selv og sa muntert: «Hver gang jeg lukker øynene mine, ser jeg bare folk som dør.»I Portland, Oregon, oppdaget en kvinne at Hennes Ekko hadde tatt på seg å sende opptak av private samtaler til en av hennes manns ansatte. I En uttalelse Sa Amazon At Echo må ha misheard wake-ordet, misheard en forespørsel om å sende en melding, misheard et navn i kontaktlisten og deretter misheard en bekreftelse for å sende meldingen, alt under en samtale om tregulv. Ikke bra, Alexa.Teknologi inspirerer ofte ambivalens: Vi vet At Facebook og Google vet for mye om oss, men vi fortsetter å bruke tjenestene deres fordi de er så jævla praktiske. Stemmeassistenter er imidlertid uvanlig polariserende. Folk som anser dem uhyggelige og invasive (inkludert meg selv) anser entusiaster som selvtilfreds, mens de som finner dem nyttige og godartede, ser skeptikerne som paranoide teknofober. Det er ett spørsmål fraktet med større spørsmål om vårt forhold til tech industrien: bør du la Alexa inn i hjemmet ditt?I januar avslørte Amazons senior visepresident For enheter, David Limp, at selskapet hadde solgt Mer Enn 100m Alexa-aktiverte enheter. I fjor i USA, hvor en av fem voksne eier en hjemmestemme assistent, Hadde Alexa en 70% AMERIKANSK markedsandel, sammenlignet Med Google Assistantens 24%. Det er derfor best plassert for Å bli Det Som Shoshana Zuboff, i sin bestselger, The Age Of Surveillance Capitalism, kaller «En Stemme»: det dominerende økosystemet som vil gi operatøren «evnen til å forutse og tjene penger på alle øyeblikkene til alle mennesker i alle dager». Zuboff kaller Fødselen Til Alexa «en terskelhendelse».Alexa har imidlertid vokst opp i en tid med økende skepsis om kraften og moralen til de «big five» tech-selskapene: Amazon, Apple, Facebook, Google/Alphabet og Microsoft. Hendelser som Edward Snowden lekkasjer og Cambridge Analytica skandalen har besudlet Silicon Valley utopiske løfter. CEOs er mindre sannsynlig å trivialisere personvern bekymringer. Tech journalister er mer sannsynlig å være kritikere enn cheerleaders. Politikere er mer villige til å holde selskaper til konto.

dette året har vært spesielt vanskelig. I løpet av de siste seks månedene har Bloomberg, Guardian, Vice News og DEN Belgiske nyhetskanalen VRT gradvis avslørt at alle de fem store har brukt menneskelige entreprenører til å analysere en liten prosentandel av stemmeassistentopptak. Selv om opptakene er anonymisert, de inneholder ofte nok informasjon til å identifisere eller fornærme brukeren-spesielt hvis det de overhøre er konfidensiell medisinsk informasjon eller en utilsiktet kjønn tape. Avsløringene var den siste dråpen for Mange Alexa skeptikere. «Vi lever i en techno-dystopi av vår egen fremstilling. Hvis Du fortsatt har En Alexa eller en annen stemmeassistent i hjemmet ditt, ble du advart, » skrev Gizmodo-forfatteren Matt Novak. Etter å ha jobbet Hos Amazon og et annet big five-selskap, Mener Josephson at denne motstanden mot disse selskapene er berettiget. «De har null interesse, etter min mening, i å lure på hva virkningen av disse produktene vil være. Å behandle dem som de riktige menneskene til å utøve den makten er en latterlig situasjon som vi ikke ville tillate i noen annen bransje. De er ærlig talt ikke trygge voktere av dataene de samler hver dag uten at vi vet det.»Stemmekontroll grep først den offentlige fantasien på 60-tallet, via HAL 9000, sentient computer i 2001: A Space Odyssey, og Starship Enterprises uendelige hjelpsomme datamaskin I Star Trek. Sistnevnte var et viktig referansepunkt for lagene som utviklet Amazons Echo Og Google Assistant. «Det sterke lyset, det skinnende lyset, som fortsatt er mange år unna, mange tiår unna, er å gjenskape Star Trek-datamaskinen,» Sa Limp til et konferansepublikum i 2017.i den virkelige verden ble stemmegjenkjenning ikke vanlig før Apple lanserte Sin telefonbaserte stemmeassistent, Siri, i 2011. Alexa går mye lenger ved å kolonisere brukerens hjem. For tre tiår siden kalte den prescient datavitenskapsmann Mark Weiser denne typen friksjonsløst økosystem «allestedsnærværende databehandling». I 2015 forutså Googles Eric Schmidt en dag da internett vil være «en del av din tilstedeværelse hele tiden», noe som gjør din virkelige oppførsel så mappbar som hva du gjør på din bærbare eller telefon. Du vil aldri være offline.Gizmodo-redaktøren Adam Clark Estes var opprinnelig begeistret av Den første store maskinvareinnovasjonen siden Apples iPad fire år tidligere. Jo mer han lærte om teknologien, desto mindre likte han det. Hans Eget Ekko ville våkne opp unprompted. Opptak begynte å dukke opp som bevis i rettssaker. FBI nektet å bekrefte Eller benekte At Det var Å bruke Alexa for overvåking formål. «Det ble stadig tydeligere for meg at personvernvakthundene hadde rett,» sier han. «Det er, ved basen, en wiretapping enhet.»

Stemmeassistenter illustrerer spenningen mellom effektivitet og personvern. Teknologien er fortsatt dypt ufullkommen; I mer enn en av 10 transkripsjoner analysert av En Av Bloombergs kilder, våknet Alexa ved et uhell. Nøyaktig tolkning av talekommandoer ved å ta hensyn til forskjellige språk, aksenter, toner, sammenhenger og grader av omgivende rot krever langt mer beregningskraft enn en enkelt enhet kan inneholde. Derfor er det meste av arbeidet utført i skyen, som er hvordan menneskelige skjermer er i stand til å samle inn og analysere taleopptak. «Du bygger en infrastruktur som senere kan samvaltes på uønskede måter av store multinasjonale selskaper og statlige overvåkingsapparater, og kompromittert av ondsinnede hackere,» Sier Dr Michael Veale, foreleser i digitale rettigheter og regulering VED UCL Fakultet For Lover Ved University College London.

Ikke alle stemmeassistenter er like. Apple, hvis fortjeneste ikke stole primært på datainnsamling, bruker mer in-device beregning og kryptering i begge ender. «Apple er best på personvern,» sier Estes. «Samtidig tror jeg alle er enige om At Siri suger.»Amazon Echo Og Google Assistant er mye mer pålitelige fordi disse selskapenes forretningsmodeller er avhengige av å vite så mye mer om deg for å mikrotarget annonsering. De liker å ramme datainnsamling som et middel for å forbedre tjenestene mens de spiller ned de enorme kommersielle fordelene.Google og Amazon kunne selvfølgelig velge å forbedre teknologien ved å betale folk for å teste den – Det Slags arbeid Josephson utførte i 2012-i stedet for å behandle sine kunder som en gratis forsknings-og utviklingsdatabase. Eller de kunne annonsere det faktum at mennesker kan studere opptakene. «Det burde være på boksen,» sier Dr Jeremy Gillula, prosjektdirektør Ved Electronic Frontier Foundation, en gruppe som kampanjer mot misbruk av teknologi. Den sjenerøse tolkningen av teknologiselskapenes motiver er en hensynsløs utopianisme, Men Gillula hevder at hvis De virkelig var naive om implikasjonene av deres teknologi, ville de ikke gå så langt for å skjule dem. «Jeg tviler på at de trodde ingen ville bry seg. Jeg tror de prøvde å holde det stille fordi hvis brukerne visste hva som foregikk, kunne de slutte å kjøpe enhetene. Det var en beregnet forretningsbeslutning.Som Svar sier En talskvinne For Amazon: «Kundetillit er i sentrum for alt vi gjør, og vi tar kundens personvern veldig alvorlig. Vi gjennomgår kontinuerlig vår praksis og prosedyrer for å sikre at vi gir kundene de beste opplevelsene og personvernvalgene. Vi gir kundene flere personvernkontroller, inkludert muligheten til å gjennomgå og slette sine taleopptak. For å forbedre Alexa, vurderer vi manuelt en ekstremt liten prøve Av Alexa-forespørsler for å bekrefte Alexa forstått og svart riktig. Kunder kan velge bort å ha sine taleopptak inkludert i denne gjennomgangsprosessen.»Likevel har det blitt demonstrert gang på gang at teknologibedrifter rutinemessig skjuler omfanget og arten av deres datainnsamling i deres reklame og klare formulerte retningslinjer for personvern. «Google og Amazon har vist oss at De er tilbøyelige til å ta så mye de kan til noen fanger dem med hånden i kakeboksen,» sier Estes. «Jeg hater å være dramatisk, men jeg tror ikke vi noen gang kommer til å føle seg trygge fra deres datainnsamlingspraksis. Statlig regulering er det eneste som kommer til å stoppe mer skade.»

den AMERIKANSKE regjeringen har vært motvillig til å handle. I juli 2015 ba Electronic Privacy Information Center (Epic), en veletablert ideell organisasjon dedikert til «demokratiske verdier i informasjonsalderen», om en undersøkelse av «alltid på» enheter, inkludert stemmeassistenter. De har ennå ikke fått svar. «Markedsbaserte løsninger virker ikke på dette området fordi selskaper har fått lov til å skjule feilene i egne produkter,» sier Marc Rotenberg, Epics administrerende direktør. Han legger til: «Hvis du eller jeg skulle plassere en enhet i andres hjem med muligheten til å fange deres private kommunikasjon, ville vi være i strid Med Federal Wiretap Act.I juli introduserte En demokratisk kongressmann, Seth Moulton, Automatic Listening Exploitation Act, som ville straffe selskaper hvis stemmeassistenter og smarte dørklokker (Som Amazons Ring) registrerer samtaler uten tillatelse, Men Gillula anser det som «ganske svak lovgivning». I Europa, som har bitter førstehånds erfaring med masseovervåkning under totalitære regimer, har regulatorene skarpere tenner. Nylig tvang Johannes Caspar, Hamburgs formidable kommissær for databeskyttelse, Google Til å suspendere transkripsjonen av taleopptak i HELE EU, Mens Apple og Facebook samtidig stoppet transkripsjon overalt i verden. (Amazon tillot bare brukere å velge bort menneskelig overvåking. Den BRITISKE Informasjonskommissærens Kontor undersøker om menneskelig tilsyn bryter Den Generelle Databeskyttelsesforordningen. «Vi har betydelig regulering på dette området allerede, men nøkkelen er håndhevelse,» sier Veale. «Som Alle Europeiske databeskyttelsesmyndigheter er Informasjonskommissærens Kontor underfinansiert og overstretched, og trenger betydelig investering og støtte for å beskytte borgernes grunnleggende rettigheter.»

Uten effektiv regulering er det ikke noe forsvar mot mer invasiv utnyttelse av stemmeassistenter. Per definisjon alltid på, selv når de ikke er våken, lytter enhetene hele tiden, men sender ikke alltid. Gillula sier at det ikke er noen tekniske hindringer for at sovende enheter for eksempel kan spore brukernes tv-visning ved å svare på høye signaler innebygd i show og annonser, eller identifisere hvem som er i huset til enhver tid. «Det blir i hovedsak konstant overvåking,» Sier Gillula. Jeg håper at selskapene aldri vil gå ned denne dystopiske banen, men jeg kunne se dem si: «Å, det er en funksjon: vit når barna dine er hjemme !- En tiltrekkende funksjon er hvordan de fleste av disse tingene begynner.»

Der de ender opp har galvanisert ikke bare personvern vaktbikkjer, men forfattere. De dystopiske implikasjonene av stemmeassistenter vises i science fiction, inkludert Spike Jonze-filmen Her, Black Mirror og Years and Years. Bak dem alle vever Det» aldri sovende øret «Av George Orwells teleskjerm I Nitten Åttifire:» du måtte leve-levde, fra vane som ble instinkt – i antagelsen om at hver lyd du laget ble overhørt.»Echo Show, en smart assistent med skjerm og kamera, ble mye sammenlignet med teleskjermen da den ble introdusert for to år siden. «Alexa, vis meg dystopien,» vitset Vice. I Joanna Kavennas satiriske roman Zed utforsker forfatteren det «rare dysfunksjonelle tjeneraspektet» av virkelige stemmeassistenter (som alle har kvinnelige stemmer som standardinnstilling) og de sosiopolitiske konsekvensene Av Den Ene Stemmen: I Zed er teknologimonopolet Beetle allestedsnærværende og uforklarlig. «Den demokratiske ideen er at vi er ment å ha gjennomsiktige selskaper og regjeringer, mens folk har privatliv,» sier hun. «Vi har det omvendte. Folk er urolige fordi det ikke blir diskutert på et modent, demokratisk nivå.»

Kavenna bekymrer seg for at AMERIKANSKE stater, langt fra å lovfeste for å beskytte brukerens personvern, vil søke å få tilgang til stemmeassistentopptak i kriminalitetsforebyggende og nasjonal sikkerhet. I fjor gjorde en dommer i New Hampshire overskrifter ved å beordre Amazon til å sende Ekkoopptak av et dobbeltmord til etterforskere. «Det setter dem i en svært komplisert posisjon mellom sine kunder og regjeringen,» Sier Kavenna. «Vi er veldig avhengige av det politiske regimet.»

Rotenberg er enig: «Hvis du er et autoritært land, hvorfor ikke bare kjøre lydstrømmen rett til et statlig overvåkingsbyrå og hevde at det er å redusere kriminalitet i hjemmet? Det er skummelt å tenke på, men tenkelig.»

i Dag er stemmeassistenter ikke den mest presserende trusselen mot personvern bare fordi de er valgfrie. En ansiktsgjenkjenning skanner kan spionere på deg i et offentlig rom, Men Alexa, som en vampyr, må inviteres inn i ditt hjem. Den eneste virkelig effektive kraften du kan bruke over denne teknologien, er ikke å bruke den. Men å gjøre et informert valg er kompromittert av villedende markedsføring og undergravd Av Amazons innsats for å legge Inn Alexa i utallige produkter, inkludert biler, fjernsyn, hodetelefoner, mikrobølger, termostater og klokker, mens du signerer avtaler med boligbyggefirmaer og hotellkjeder, alt med et øye for å bli The One Voice. «Stemmekontroll blir tvunget ned forbrukernes hals om de liker det eller ikke,» sier Estes.

Vi er ikke der ennå. Teknologibedrifter stoler på myten om teknologisk uunngåelighet for å utelukke de forretningsbeslutninger de har gjort og muligheten for andre modeller. Å utfordre dem er å kjempe mot fremtiden. Tull, sier Kavenna. «Er det en uunngåelig konsekvens av tech? Nei, det er en ideologisk anvendelse av teknologi. Hvis du bygger en bygning, trenger du ikke å bygge en panoptikon. Det trenger ikke å være det vi har nå. De vil ofte hevde at hvis du er imot dette, er du en neo-luddite. Denne myten har gjort at mange mennesker har blitt utrolig rike.»Ingen av personene jeg snakket med eier en hjemmestemme assistent, og de vil heller ikke råde noen til å få en, men de er alle enige om at det ville være mulig å utvikle en enhet som leverer de mest populære tjenestene samtidig som brukerens personvern respekteres. Hvis hele bransjen skulle følge Apples ledelse i å gjøre menneskelig overvåking opt-in i stedet for opt-out, ville det være en sterk start. Da, etter hvert som prosessorkraften øker, kan flere oppgaver utføres inne i enheten. Men selvfølgelig ville det bety å miste de saftige, inntektsbare dataene. «Mange ting du virkelig vil gjøre, bør ikke kreve internett, og når du har kuttet av tilgangen til skyen, forsvinner personvernet bort,» sier Estes. «Det er alltid potensial for ting å bli bedre – og det kommer alltid til å være en kamp for å komme til det punktet .»

Jeremy Gillula er så overbevist om at en trygg, fullt brukerstyrt stemmeassistent er mulig at han designer sin egen, ved hjelp av åpen kildekode.

«jeg kommer dit,» sier han muntert. «Jeg er ikke 100% fornøyd ennå, men det vil slå lysene på og av.”

{{#ticker}}

{{topLeft}}

{{bottomLeft}}

{{topRight}}

{{bottomRight}}

{{#goalExceededMarkerPercentage}}

{{/goalExceededMarkerPercentage}}

{{/ticker}}

{{heading}}

{{#paragraphs}}

{{.}}

{{/paragraphs}}{{highlightedText}}

{{#cta}}{{text}}{{/cta}}

Remind me in May

Vi vil være i kontakt for å minne deg på å bidra. Se etter en melding i innboksen Din I Mai 2021. Hvis du har spørsmål om å bidra, vennligst kontakt oss.