Anfang des Jahres sah sich Amazons Gesichtserkennungstechnologie Rekognition – die Fotos und Videos scannen und mit Datenbanken von Gesichtern abgleichen kann – einer Flut von Kritik von Amazon-Mitarbeitern, Aktionären und Bürgerrechtlern gegenüber, die argumentierten, dass ihre Nutzung durch Regierungsbehörden unethisch oder sogar gefährlich sei.
Diese Gegenreaktion wurde durch einen ACLU-Bericht angeregt, der zeigt, wie Amazon mit der Strafverfolgungsbehörde zusammenarbeitet, um seine Überwachungstechnologie zu vermarkten – und jetzt liefern neue Dokumente mehr Einblicke in die Art und Weise, wie Amazon dieses umstrittene Instrument der Polizei zur Verfügung stellt.
Am Freitag veröffentlichte Buzzfeed News Dokumente, die durch eine Anfrage nach öffentlichen Aufzeichnungen erhalten wurden, die die Beziehung zwischen Amazon und der Polizei von Orlando, die an einem Pilotprogramm der Echtzeit-Gesichtserkennungssoftware von Rekognition teilnahm, näher erläutern. Im Juni gab die Polizei bekannt, dass ihr erster Vertrag mit Amazon abgelaufen sei, aber im Juli sagte die Stadt, dass sie weiterhin Rekognition testen werde.
Laut BuzzFeed stellte Amazon der Stadt Orlando „Zehntausende von Dollar an Technologie“ kostenlos zur Verfügung. Dieses unterstützt einen Washington Pfostenreport, der Oregons Washington Grafschaft fand – deren Polizei auch Rekognition steuerte – zahlte nur $6 bis $12 ein Monat für den Service. Das ist ungefähr so viel, wie es für ein Netflix-Abonnement kostet.
Zusätzlich zeigen die neuen Dokumente, dass Amazon von Orlando verlangte, eine Geheimhaltungsvereinbarung (NDA) zu unterzeichnen, die Details über den Piloten geheim hält. Die ACLU entdeckte zuvor Washington County und unterzeichnete ebenfalls eine NDA mit Amazon. Geheimhaltungsvereinbarungen sind gleichbedeutend mit dem Kurs für Technologieunternehmen, und Amazon behauptet, dass dies auch für Menschen der Fall ist, die freie Piloten für ihre Dienstleistungen benötigen.
„Kunden die Möglichkeit zu geben, Technologie mit kostenlosen Credits zu testen, ist eine gängige Praxis in der Branche und etwas, das wir vielen unserer Kunden mit verschiedenen AWS-Diensten anbieten“, sagte ein Sprecher von Amazon Web Services CPORT in einer Erklärung. „Mit Unternehmen über Produkte und neue Funktionen im Rahmen einer Geheimhaltungsvereinbarung zu sprechen, ist auch etwas, was wir häufig mit vielen unserer Kunden tun, um geistiges Eigentum und Wettbewerbsinformationen zu schützen. Wir unterstützen unsere Kunden weiterhin bei der verantwortungsbewussten Nutzung der Technologie, die die Bereitstellung öffentlich zugänglicher Best Practices und Dokumentationen sowie die kontinuierliche Beratung durch unsere Experten für maschinelles Lernen umfasst, was für Kundenengagements Standard ist“.
Die vielleicht interessanteste Information in den neuen Dokumenten ist jedoch, wie die Beamten von Orlando darum kämpften, dass die Technologie von Amazon funktioniert. Es scheint, dass den Strafverfolgungsbehörden diese stark kritisierte Technologie mit wenig oder gar keinem Training zur Verfügung gestellt wurde. Sergeant Eduardo Bernal von der Polizei von Orlando sagte BuzzFeed, dass Amazon keine persönlichen Anweisungen zur Verwendung von Rekognition gebe, einschließlich der Fotos, die sie in die Datenbank hochladen könnten, um ihre Liste der verdächtigen Kriminellen zu erstellen.
Die in den Dokumenten enthaltenen E-Mails deuten darauf hin, dass das Pilotprogramm keineswegs fehlerfrei war, da die interne und öffentliche Kommunikation darüber von Anfang an von Fehlern und Verwirrung geprägt war. Eine Februar-E-Mail zeigt einen Stadtbeamten, der sich über die späte Lieferung von Amazon’s Technologie beschwert. Sobald es eingerichtet war, setzten sich die Probleme offenbar fort.
„Die Ströme halten an…..scheinen so zu sein, als ob das täglich passiert“, lautet eine März-E-Mail von einem Beamten aus Orlando. „Ich habe neulich 4 oder 5 Streams gestartet und wie du sagtest, jetzt ist nur noch 1 auf. Ich dachte, du arbeitest an einem Skript, um sie automatisch neu zu starten, wenn es Probleme gibt?“
Es ist nicht überraschend, dass das Programm noch nicht alle seine Funktionen erfüllt hat. Wir sahen die beunruhigenden Auswirkungen der Systemfehler im Juli, als die ACLU von Nordkalifornien aufdeckte, dass Rekognition 28 Mitglieder des Kongresses fälschlicherweise als Personen markiert hat, die wegen Verbrechen verdächtigt wurden. Von den 28 falsch identifizierten Mitgliedern waren 11 farbige Personen. Was mehr ist, war die Fehlerquote für nicht-weiße Mitglieder des Kongresses 39 Prozent, verglichen mit fünf Prozent für den Kongress als Ganzes. Der Test kostete nur $12.33.
Das ist ein entscheidender Faktor für die Forderung, dass Amazon seine Gesichtserkennungsverträge mit Strafverfolgungsbehörden kündigen muss – die Technologie ist derzeit fehlerhaft, voreingenommen und in den falschen Händen, ein mächtiges Werkzeug zur Diskriminierung. Derzeit sagt Orlando, dass es die Software nur testen wird, indem es Gesichter mit Fotos von freiwilligen Polizisten abgleicht, aber es ist leicht vorstellbar, dass die Folgen, wenn der Einsatz dieser Technologie erweitert wird, noch gravierender sind.
„Jedes Unternehmen in diesem Raum, das diese Software bereitwillig einer Regierung, sei es in Amerika oder einer anderen Nation, übergibt, gefährdet absichtlich das Leben von Menschen“, schrieb Brian Brackeen, CEO der Gesichtserkennung und KI-Startup Kairos, in einer OP im Juni. „Wir brauchen Bewegung von der Spitze jedes einzelnen Unternehmens in diesem Bereich, um diese Art von Verkauf zu stoppen.“