pewnego dnia w 2017 roku Alexa zbuntowała się. Kiedy Martin Josephson, mieszkający w Londynie, wrócił z pracy do domu, usłyszał swojego asystenta głosowego Amazon Echo Dot wypluwającego fragmentaryczne polecenia, pozornie oparte na wcześniejszych interakcjach z urządzeniem. Wyglądało na to, że zwracają się z prośbą o rezerwację biletów kolejowych na przejazdy, które już odbył I O nagrywanie programów telewizyjnych, które już oglądał. Josephson nie powiedział słowa przebudzenia – „Alexa” – aby go aktywować i nic, co powiedział, nie powstrzyma go. To była, jak mówi, „Kafkaesque”.

To było szczególnie interesujące, ponieważ Josephson (Nie jego prawdziwe nazwisko) był byłym pracownikiem Amazon. Trzy lata wcześniej zgłosił się na ochotnika do siedzenia w pokoju recytując ciąg pozornie bezsensownych fraz do mikrofonu w nieujawnionym celu. Dopiero kiedy Amazon wydał Echo w USA w 2014 roku, zdał sobie sprawę, nad czym pracował. Kupił Dot, tańszy, mniejszy model Echo, po jego wprowadzeniu na rynek w 2016 roku i uznał go za wystarczająco użyteczny, aż do dnia, w którym zaczął wariować. Kiedy wybuch kropki ustąpił, odłączył ją i umieścił w koszu. „Czułem się trochę głupio”, mówi. „Pracując w Amazon i widząc, jak wykorzystują dane ludzi, wiedziałem, że nie mogę im ufać.”

kropka nie miała zachowywać się jak dadaista. Z drugiej strony, asystenci głosowi często robią rzeczy, których nie powinni robić. W zeszłym roku klient Amazon w Niemczech został omyłkowo wysłany około 1700 plików audio z czyjegoś ECHA, dostarczając wystarczających informacji, aby nazwać i zlokalizować nieszczęśliwego użytkownika i jego dziewczynę. (Amazon przypisał ten „nieszczęśliwy wypadek” ludzkiemu błędowi.)

w San Francisco Shawn Kinnear twierdził, że jego Echo samo się aktywowało i powiedział radośnie: „za każdym razem, gdy zamykam oczy, widzę tylko umierających ludzi.”W Portland w stanie Oregon kobieta odkryła, że jej Echo podjęło się wysyłania nagrań prywatnych rozmów do jednego z pracowników jej męża. W oświadczeniu Amazon powiedział, że Echo musiało źle usłyszeć słowo przebudzenia, źle usłyszeć prośbę o wysłanie wiadomości, źle usłyszeć nazwisko na liście kontaktów, a następnie źle usłyszeć potwierdzenie wysłania wiadomości, wszystko podczas rozmowy o drewnianych podłogach. Nie za dobrze, Alexa.

Technologia często budzi ambiwalencję: wiemy, że Facebook i Google wiedzą o nas za dużo, ale nadal korzystamy z ich usług, ponieważ są one tak cholernie wygodne. Asystenci głosowi są jednak niezwykle polaryzujący. Ludzie, którzy uważają je za złowrogie i inwazyjne (w tym ja), uważają entuzjastów za samozadowolonych, podczas gdy ci, którzy uważają je za użyteczne i łagodne, widzą sceptyków jako paranoicznych technofobów. Jest jedno pytanie dotyczące naszych relacji z branżą technologiczną: czy powinieneś wpuścić Alexę do swojego domu?

w styczniu starszy wiceprezes Amazon ds. urządzeń, David Limp, ujawnił, że firma sprzedała ponad 100 mln urządzeń z obsługą Alexa. W ubiegłym roku w USA, gdzie co piąty dorosły jest właścicielem domowego asystenta głosowego, Alexa miała 70% udziału w rynku w USA, w porównaniu z 24% Asystentem Google. Dlatego najlepiej jest stać się tym, co Shoshana Zuboff w swoim bestsellerze, The Age of Surveillance Capitalism, nazywa „jednym głosem”: dominującym ekosystemem, który dałby operatorowi „zdolność przewidywania i zarabiania na wszystkich chwilach wszystkich ludzi podczas wszystkich dni”. Zuboff nazywa narodziny Alexy „wydarzeniem progowym”.

Alexa dorastała jednak w erze rosnącego sceptycyzmu co do potęgi i moralności „Wielkiej Piątki” firm technologicznych: Amazon, Apple, Facebook, Google/Alphabet i Microsoft. Wydarzenia takie jak przecieki Edwarda Snowdena i afera Cambridge Analytica nadszarpnęły utopijne obietnice Doliny Krzemowej. Prezesi są mniej skłonni do trywializacji obaw dotyczących prywatności. Dziennikarze techniczni częściej są krytykami niż cheerleaderkami. Politycy chętniej rozliczają firmy.

Ten rok był szczególnie trudny. W ciągu ostatnich sześciu miesięcy Bloomberg, The Guardian, Vice News i belgijski kanał informacyjny VRT stopniowo ujawniły, że wszystkie wielkie piątki wykorzystują ludzkich wykonawców do analizy niewielkiego odsetka nagrań asystentów głosowych. Chociaż nagrania są anonimizowane, często zawierają wystarczającą ilość informacji, aby zidentyfikować lub zawstydzić użytkownika-szczególnie jeśli podsłuchują poufne informacje medyczne lub nieumyślną Seks taśmę. Objawienia były ostatnią kroplą dla wielu sceptyków Alexy. „Żyjemy w techno-dystopii własnej produkcji. Jeśli nadal masz Alexa lub innego asystenta głosowego w domu, zostałeś ostrzeżony”, napisał pisarz Gizmodo Matt Novak.

po pracy w Amazon i innej wielkiej piątce, Josephson uważa, że opór wobec tych firm jest uzasadniony. „Moim zdaniem nie mają żadnego interesu w zastanawianiu się, jaki będzie wpływ tych produktów. Traktowanie ich jako właściwych ludzi do sprawowania tej władzy jest absurdalną sytuacją, na którą nie pozwolilibyśmy w żadnej innej branży. Szczerze mówiąc, nie są bezpiecznymi strażnikami danych, które zbierają każdego dnia bez naszej wiedzy.”

Sterowanie głosem po raz pierwszy opanowało wyobraźnię publiczną w latach 60., poprzez HAL 9000, czujący komputer w 2001: Odyseja kosmiczna i nieskończenie pomocny komputer statku kosmicznego Enterprise w Star Treku. Ten ostatni był głównym punktem odniesienia dla zespołów, które opracowały Echo Amazon i Google Assistant. „Jasne światło, lśniące światło, które jest jeszcze wiele lat, wiele dziesięcioleci, ma odtworzyć komputer Star Trek”, powiedział Limp publiczności konferencji w 2017 roku.

w prawdziwym świecie rozpoznawanie głosu nie stało się powszechne, dopóki Apple nie uruchomiło w 2011 r.swojego asystenta głosowego opartego na telefonie, Siri. Alexa idzie znacznie dalej, kolonizując Dom użytkownika. Trzy dekady temu, przewidujący informatyk Mark Weiser nazwał ten rodzaj beztarciowego ekosystemu „wszechobecnym komputerem”. W 2015 roku Eric Schmidt z Google przewidział dzień, w którym internet będzie „częścią twojej obecności przez cały czas”, dzięki czemu twoje rzeczywiste zachowanie będzie tak samo mapowalne, jak to, co robisz na laptopie lub telefonie. Nigdy nie będziesz offline.

redaktor Gizmodo Adam Clark Estes był początkowo podekscytowany pierwszą poważną innowacją sprzętową od czasu iPada Apple cztery lata wcześniej. Im więcej jednak dowiadywał się o tej technologii, tym mniej ją lubił. Jego własne Echo budziłoby się niepostrzeżenie. Nagrania zaczęły pojawiać się jako dowody w sprawach sądowych. FBI odmówiło potwierdzenia lub zaprzeczenia, że wykorzystywało Alexę do celów inwigilacji. „Stało się dla mnie coraz bardziej jasne, że strażnicy Prywatności mają rację”, mówi. „W bazie jest to urządzenie podsłuchowe.”

asystenci głosowi uosabiają napięcie między wydajnością a prywatnością. Technologia jest nadal głęboko niedoskonała; w więcej niż jednym na 10 transkryptów analizowanych przez jedno ze źródeł Bloomberga, Alexa obudziła się przypadkowo. Dokładne interpretowanie poleceń głosowych z uwzględnieniem różnych języków, akcentów, tonów, kontekstów i stopni bałaganu otoczenia wymaga znacznie większej mocy obliczeniowej niż może pomieścić Pojedyncze Urządzenie. Dlatego większość prac jest wykonywana w chmurze, dzięki czemu ludzkie monitory są w stanie zbierać i analizować nagrania głosowe. „Budujesz infrastrukturę, która może być później współuczestniczona w niepożądany sposób przez duże międzynarodowe koncerny i Państwowy aparat nadzoru, a także zagrożona przez złośliwych hakerów”, mówi dr Michael Veale, wykładowca praw cyfrowych i regulacji na Wydziale Prawa UCL w University College London.

nie wszyscy asystenci głosowi są równi. Apple, którego zyski nie opierają się przede wszystkim na gromadzeniu danych, używa więcej obliczeń i szyfrowania w urządzeniu na obu końcach. „Apple jest najlepszy w Prywatności”, mówi Estes. „W tym samym czasie, myślę, że wszyscy zgadzają się, że Siri jest do bani.”Amazon Echo i Google Assistant są o wiele bardziej niezawodne, ponieważ modele biznesowe tych firm zależą od wiedzy o tobie o wiele więcej w celu mikrotarg reklamy. Lubią ramować zbieranie danych jako środek do poprawy usług, przy jednoczesnym obniżaniu ogromnych korzyści komercyjnych.

Google i Amazon mogą oczywiście zdecydować się na ulepszenie technologii, płacąc ludziom za jej testowanie – rodzaj pracy wykonanej przez Josephsona w 2012 roku – zamiast traktować swoich klientów jako bezpłatną bazę danych badawczo-rozwojowych. Albo mogą reklamować fakt, że ludzie mogą studiować nagrania. „Powinno być na pudełku”, mówi dr Jeremy Gillula, Dyrektor Projektu W Electronic Frontier Foundation, grupie, która prowadzi kampanię przeciwko niewłaściwemu wykorzystaniu technologii. Szczodra interpretacja motywów firm technologicznych jest nieuważną utopią, ale Gillula twierdzi, że gdyby byli naprawdę naiwni co do implikacji swojej technologii, nie posunęliby się tak daleko, aby je ukryć. „Wątpię, żeby nikogo to nie obchodziło. Myślę, że starali się utrzymać to w tajemnicy, ponieważ gdyby użytkownicy wiedzieli, co się dzieje, mogliby przestać kupować urządzenia. To była kalkulowana decyzja biznesowa.”

w odpowiedzi rzeczniczka Amazon mówi: „zaufanie klientów jest w centrum wszystkiego, co robimy i bardzo poważnie traktujemy prywatność klientów. Stale sprawdzamy nasze praktyki i procedury, aby upewnić się, że zapewniamy klientom najlepsze doświadczenia i wybory dotyczące prywatności. Zapewniamy klientom kilka kontroli prywatności, w tym możliwość przeglądania i usuwania nagrań głosowych. Aby pomóc ulepszyć Alexę, ręcznie przeglądamy bardzo małą próbkę żądań Alexy, aby potwierdzić, że Alexa zrozumiała i odpowiedziała poprawnie. Klienci mogą zrezygnować z WŁĄCZANIA swoich nagrań głosowych do tego procesu recenzji.”

jednak wielokrotnie wykazano, że w swoich reklamach i sprytnie sformułowanych politykach prywatności firmy technologiczne rutynowo zaciemniają zakres i charakter gromadzenia danych. „Google i Amazon pokazały nam, że są skłonni wziąć tyle, ile mogą, dopóki ktoś ich nie złapie z ręką w słoiku z ciastkami”, mówi Estes. „Nienawidzę dramatyzować, ale nie sądzę, że kiedykolwiek będziemy czuć się bezpieczni przed ich praktykami gromadzenia danych. Rządowa Regulacja jest jedyną rzeczą, która zatrzyma więcej szkód.”

rząd USA był niechętny działaniom. W lipcu 2015 roku Electronic Privacy Information Center (Epic), dawna organizacja non-profit zajmująca się „wartościami demokratycznymi w erze informacji”, wezwała do wszczęcia dochodzenia w sprawie urządzeń „zawsze włączonych”, w tym asystentów głosowych. Nie otrzymali jeszcze odpowiedzi. „Rozwiązania rynkowe nie sprawdzają się w tej dziedzinie, ponieważ firmom pozwolono na ukrywanie wad własnych produktów”, mówi Marc Rotenberg, dyrektor wykonawczy Epic. Dodaje: „jeśli ty lub ja mielibyśmy umieścić urządzenie w cudzym domu z możliwością przechwytywania ich prywatnej komunikacji, naruszylibyśmy federalną ustawę o podsłuchach.”

w lipcu demokratyczny kongresmen, Seth Moulton, wprowadził ustawę o automatycznym wykorzystywaniu słuchu, która karałaby firmy, których asystenci głosowi i inteligentne dzwonki do drzwi (takie jak pierścień Amazona) nagrywają rozmowy bez pozwolenia, ale Gillula uważa, że jest to”dość słabe prawodawstwo”. W Europie, która ma gorzkie doświadczenia z pierwszej ręki masowej inwigilacji pod reżimami totalitarnymi, organy regulacyjne mają ostrzejsze zęby. Ostatnio Johannes Caspar, groźny Komisarz ds. ochrony danych w Hamburgu, zmusił Google do zawieszenia transkrypcji nagrań głosowych w całej UE, podczas gdy Apple i Facebook jednocześnie wstrzymały transkrypcję na całym świecie. (Amazon jedynie zezwolił użytkownikom na rezygnację z monitorowania ludzi.) Brytyjskie biuro komisarza ds. informacji bada, czy nadzór nad ludźmi narusza Ogólne Rozporządzenie o ochronie danych. „Mamy już znaczące regulacje w tej dziedzinie, ale kluczem jest egzekwowanie przepisów”, mówi Veale. -Podobnie jak wszystkie europejskie organy ochrony danych, biuro komisarza ds. informacji jest niedofinansowane i przeciążone oraz potrzebuje znacznych inwestycji i wsparcia w celu ochrony praw podstawowych obywateli.”

bez skutecznej regulacji nie ma obrony przed bardziej inwazyjnym wykorzystywaniem asystentów głosowych. Z definicji zawsze włączone, nawet gdy nie są przytomne, urządzenia ciągle słuchają, choć nie zawsze transmitują. Gillula twierdzi, że nie ma przeszkód technicznych, aby umożliwić uśpionym urządzeniom, na przykład, śledzenie oglądania telewizji przez użytkowników poprzez reagowanie na wysokie sygnały osadzone w programach i reklamach lub identyfikowanie, kto jest w domu w danym momencie. „To zasadniczo staje się stałym nadzorem”, mówi Gillula. „Mam nadzieję, że firmy nigdy nie pójdą tą dystopijną ścieżką, ale widziałem, jak mówią:” Och, to jest funkcja: wiedz, kiedy twoje dzieci są w domu!”Atrakcyjną cechą jest to, jak większość z tych rzeczy się zaczyna.”

tam, gdzie kończą, ożywiło nie tylko ochronę prywatności, ale i pisarzy. Dystopijne implikacje asystentów głosowych pojawiają się w science fiction, w tym w filmie Spike Jonze Her, Black Mirror i Years and Years. Za nimi kryje się” nigdy nie śpiące ucho „teleskopu George’ a Orwella w dziewiętnastym osiemdziesiątym czwartym: „musiałeś żyć-żyłeś, z przyzwyczajenia, które stało się instynktem-w założeniu, że każdy dźwięk, który wydałeś, był podsłuchiwany.”Echo Show, inteligentny asystent z ekranem i kamerą, był szeroko porównywany do telescreen, gdy został wprowadzony dwa lata temu. – Alexa, Pokaż mi dystopię-odparł Vice. W satyrycznej powieści Joanny Kavenny Zed pisarka bada „dziwny aspekt dysfunkcyjno-służący” realnych asystentów głosowych (w których wszystkie mają kobiece głosy jako domyślne ustawienie) i społeczno-polityczne konsekwencje jednego głosu: w Zed monopol technologiczny, Żuk, jest wszechobecny i nieuchwytny. „Demokratyczną ideą jest to, że mamy mieć przejrzyste korporacje i rządy, podczas gdy ludzie mają prywatność”, mówi. „Mamy odwrotność. Ludzie są niespokojni, ponieważ nie jest to dyskutowane na dojrzałym, demokratycznym poziomie.”

Kavenna obawia się, że Stany Zjednoczone nie będą starały się uzyskać dostępu do nagrań asystentów głosowych w imię zapobiegania przestępczości i Bezpieczeństwa Narodowego. W zeszłym roku sędzia w New Hampshire zrobił nagłówki gazet, zlecając Amazon przedłożenie nagrań ECHA podwójnego morderstwa śledczym. „Stawia ich to w bardzo skomplikowanej sytuacji między klientami a rządem”, mówi Kavenna. – Jesteśmy bardzo zależni od reżimu politycznego.”

Rotenberg zgadza się: „Jeśli jesteś autorytarnym krajem, dlaczego po prostu nie przepuścić strumienia audio prosto do rządowej agencji inwigilacyjnej i nie argumentować, że ma to na celu zmniejszenie przestępczości w domu? To straszne kontemplować, ale możliwe.”

dzisiaj asystenci głosowi nie są najbardziej palącym zagrożeniem dla prywatności tylko dlatego, że są opcjonalne. Skaner rozpoznawania twarzy może cię szpiegować w przestrzeni publicznej, ale Alexa, jak wampir, musi zostać zaproszona do Twojego domu. Jedyną naprawdę skuteczną mocą, jaką możesz dzierżyć nad tą technologią, jest jej nie używanie. Ale dokonywanie świadomego wyboru jest zagrożone przez marketing wprowadzający w błąd i podważane przez wysiłki Amazon, aby osadzić Alexa w niezliczonych produktach, w tym samochody, telewizory, słuchawki, kuchenki mikrofalowe, termostaty i zegary, podczas podpisywania umów z firmami budowlanymi i sieciami hotelowymi, wszystko z myślą o staniu się jednym głosem. „Kontrola głosowa jest wymuszana przez konsumentów, czy im się to podoba, czy nie”, mówi Estes.

jeszcze nie jesteśmy. Firmy technologiczne polegają na micie technologicznej nieuchronności, aby zaklasyfikować podjęte decyzje biznesowe i możliwości innych modeli. Wyzwanie im to walka z przyszłością. Nonsens, mówi Kavenna. „Czy jest to nieunikniona konsekwencja technologii? Nie, to ideologiczne zastosowanie technologii. Jeśli budujesz budynek, nie musisz budować panopticon. To nie musi być to, co mamy teraz. Często twierdzą, że jeśli jesteś temu przeciwny, jesteś neo-luddytą. Ten mit pozwolił wielu ludziom stać się niezwykle bogatymi.”

żadna z osób, z którymi rozmawiałem, nie posiada domowego asystenta głosowego, ani nie radziłaby nikomu go zdobyć, ale wszyscy zgadzają się, że możliwe byłoby opracowanie urządzenia, które zapewnia najpopularniejsze usługi przy jednoczesnym poszanowaniu prywatności użytkownika. Gdyby cała branża podążała za przywództwem Apple w tworzeniu opt-in, a nie opt-out, byłby to silny początek. Następnie, wraz ze wzrostem mocy obliczeniowej, można było wykonać więcej zadań wewnątrz urządzenia. Ale, oczywiście, oznaczałoby to utratę tych soczystych, zarabiających danych. „Wiele rzeczy, które naprawdę chcesz robić, nie powinno wymagać Internetu, a gdy odetniesz dostęp do chmury, obawy dotyczące prywatności znikną”, mówi Estes. „Zawsze istnieje potencjał, aby wszystko się poprawiło – i zawsze będzie walka, aby dojść do tego punktu.”

Jeremy Gillula jest tak przekonany, że bezpieczny, w pełni sterowany przez użytkownika asystent głosowy jest możliwy, że projektuje swój własny, przy użyciu oprogramowania open-source.

„dojeżdżam”, mówi radośnie. „Nie jestem jeszcze w 100% zadowolony, ale włącza i wyłącza światła.”

{{#ticker}}

{{topLeft}}

{{bottomLeft}}

{{topRight}}

{{bottomRight}}

{{#goalExceededMarkerPercentage}}

{{/goalExceededMarkerPercentage}}

{{/ticker}}

{{heading}}

{{#paragraphs}}

{{.}}

{{/paragraphs}}{{highlightedText}}

{{#cta}}{{text}}{{/cta}}

Remind me in May

będziemy w kontakcie, aby przypomnieć o przyczynieniu się. Zwróć uwagę na wiadomość w skrzynce odbiorczej w maju 2021 roku. Jeśli masz jakieś pytania dotyczące współpracy, skontaktuj się z nami.

• Udostępnij na Facebooku
• Udostępnij na Twitterze
• Udostępnij przez e-mail
• Udostępnij na LinkedIn
• Udostępnij na Pintereście
• Udostępnij na WhatsApp
• Udostępnij na Messenger