Konfrontiert mit zwei unabhängigen Studien, die fanden, dass seine Gesichtserkennungssoftware ungenaue oder voreingenommene Ergebnisse liefert, hat Amazon wiederholt behauptet, dass die Forscher die Software, genannt Rekognition, nicht in der Art und Weise verwendet haben, wie das Unternehmen die Polizei angewiesen hat, sie zu verwenden.
Die einzige Strafverfolgungsbehörde, die Amazon als Kunde anerkannt hat, sagt jedoch, dass sie Rekognition auch nicht so einsetzt, wie Amazon behauptet, wie sie es empfiehlt, hat CPORT gelernt. Dabei untergräbt die Strafverfolgungsbehörde genau das Argument, mit dem Amazon kritische Forschungen über Rekognition diskreditiert.
Rekognition ist eine Software-Suite, die verschiedene Funktionen erfüllen soll, die von der Identifizierung spezifischer Gesichtsmerkmale bis zum Vergleich von Ähnlichkeiten in einer großen Menge von Fotos reichen. Dies gibt den Kunden der Strafverfolgungsbehörden, die z.B. einen Verbrecherfoto mit Sicherheitskamera-Material eines Raubüberfalls abgleichen möchten, einen potenziellen Wert der Software.
Kritiker befürchten, dass die Automatisierung des Polizeieinsatzes schlimme Folgen haben könnte, wenn die Software rassistische oder andere Verzerrungen aufweist, zumal Amazon bei der Verwendung dieses Produkts die Einwanderungs- und Zollbehörden angewiesen hat. Bisher war Amazon’s Verteidigung gegen Anwälte und Akademiker an vorderster Front: Die Forscher stellen die Suchparameter falsch ein.
Der fragliche Parameter ist etwas, das Amazon als „Vertrauensschwelle“ oder „Ähnlichkeitsschwelle“ bezeichnet. Wenn die Software auf eine Abfrage reagiert, informiert sie den Benutzer auch darüber, wie genau die beiden Fotos übereinstimmen, die zu 100 Prozent bewertet wurden, mit der Option, einen Schwellenwert festzulegen, der die Ergebnisse unter dem definierten Prozentsatz filtert.
Als eine ACLU-Studie herausfand, dass Rekognition fälschlicherweise 28 Mitglieder des Kongresses aus einem Datensatz von Mugshot-Fotos zusammengebracht hatte, argumentierte Amazon, dass die Forscher einfach nicht den besten Praktiken folgten. Letzte Woche veröffentlichten Forscher des MIT Media Lab eine Studie, die angab, dass die Gesichtsanalysefunktion von Rekognition zeigte, dass es schwierig war, Frauen mit Farbe richtig zu identifizieren.
Derzeit ist der einzige bekannte Strafverfolgungskunde, der Rekognition einsetzt, das Washington County Sheriff’s Office in Oregon. (Andere Kunden können existieren, aber Amazon hat sich geweigert, offen zu legen, wer sie sein könnten.) Besorgniserregend antwortete der WCSO Public Information Officer (PIO) auf die Frage von CPORT, ob sie die Richtlinien von Amazon in Bezug auf diese strenge Vertraulichkeitsschwelle einhalten,: „Wir setzen und verwenden keine Vertraulichkeitsschwelle“.
Die Dokumentation von Amazon besagt, dass Strafverfolgungsbehörden „einen Ähnlichkeitsschwellenwert von weniger als 99% für Szenarien verwenden können, die von einer größeren Anzahl potenzieller Übereinstimmungen profitieren, wie z.B. das Auffinden vermisster Personen“, aber nach Angaben einer Quelle mit Kenntnissen über die Einrichtung und Nutzung der Rekognition der WCSO, die aus Angst vor Vergeltungsmaßnahmen darum bat, anonym zu bleiben, wird die Software in Fällen von Diebstahl bis hin zum Mord eingesetzt.
Ein Teil einer Dia-Präsentation, die von der WCSO erstellt wurde und in einer von der ACLU eingereichten Anfrage zum Freedom of Information Act veröffentlicht wurde, zeigt deutlich ein korrekt identifiziertes Bild, das nur einen Vertrauensscore von 96,03 Prozent erzielt, ein Ergebnis, das möglicherweise weggelassen worden wäre, wenn Amazon’s Anleitung genauestens befolgt worden wäre.
Um es klarzustellen, die Nichteinhaltung der präzisen Vorschläge von Amazon scheint nicht das Ergebnis von Fahrlässigkeit seitens der WCSO zu sein, ganz im Gegenteil. „Das Sheriff-Büro hat die Suchergebnisse von Rekognition noch nie als „Treffer“ betrachtet. Die Technologie bietet Hinweise für Ermittler, aber letztendlich ist die Identifizierung von Verdächtigen ein menschlicher und kein computergestützter Entscheidungsprozess“, verdeutlichte der PIO später. „Insbesondere ist es unseren Ermittlern nicht erlaubt, Durchsetzungsmaßnahmen zu ergreifen, die sich ausschließlich auf eine mögliche Identifikationsbasis stützen.“
Die gleiche vertrauliche Quelle teilte CPORT mit, dass ein „Vertrauenswert nirgendwo im Prozess verwendet wird, um eine Entscheidung zu treffen, und dass daher kein Schwellenwert bei der Suche verwendet wird“.
Die PIO teilte CPORT ferner mit, dass Amazon zwar Dokumentation und anderen Support auf der Softwareseite bereitstellte, aber keine direkte Schulung der Ermittler stattfand, die die Suite weiterhin nutzen. Ein System-Projektanalytiker, der im nahegelegenen Kreis Clackamas arbeitet – dessen Korrespondenz über die von ACLU erhaltenen FOIA-Dokumente veröffentlicht wurde – schrieb, dass die „Dokumentation von Rekognition sehr mangelhaft oder falsch ist“.
Während die Vereinbarung des Unternehmens mit WCSO besagt, dass der „Kunde AWS rechtzeitig und angemessen Zugang zu Personal, Dokumentation, Daten, Systemen und Einrichtungen gewähren wird“, wollte Amazon nicht angeben, ob es die von seinen Kunden verwendeten Vertrauensschwellen einhält. Ein Sprecher wies uns auf einen Blog-Post von Amazon Web Services von letzter Woche hin, in dem es heißt, dass das Unternehmen „die Nutzung unserer Dienste durch die Menschen aussetzen wird, wenn wir feststellen, dass sie sie unverantwortlich nutzen oder die Bürgerrechte der Menschen verletzen“.
Ein Amazon-Sprecher stellte klar, dass das Versäumnis von Strafverfolgungsbehörden, eine 99-prozentige Vertrauensschwelle zu verwenden, keine unverantwortliche Anwendung von Rekognition darstellt. Derzeit gibt es keine Beweise dafür, dass die WCSO oder andere Strafverfolgungsbehörden, falls vorhanden, Rekognition für missbräuchliche Zwecke eingesetzt haben. Dennoch sind die Ausreden, die Amazon für ihre Software gemacht hat, und die tatsächlichen Erfahrungen mit ihrem Einsatz stimmen nicht überein.
Amazon hat in seinen öffentlich zugänglichen Blog-Posts Gesetze unterstützt, die den Einsatz von Software wie Rekognition steuern würden. „Es ist jedoch eine sehr vernünftige Idee für die Regierung, zu wiegen und anzugeben, bei welcher Temperatur (oder welchem Vertrauensgrad) sich die Strafverfolgungsbehörden treffen sollen, um bei ihrer Arbeit im Bereich der öffentlichen Sicherheit zu helfen“, schrieb Dr. Matt Wood, General Manager of Deep Learning bei Amazon Web Service, in einem Juli Beitrag.
Nach Ansicht jener Kongressgesetzgeber, die wiederholt nach Informationen gesucht haben, um die Verwendung von Gesichtserkennung potenziell zu regulieren, hat Amazon es jedoch versäumt, „ausreichende Antworten zu geben“, als sie im Juli und November gedrückt wurden.
„Ich denke, das zeigt die Lächerlichkeit der Position von Amazon“, sagte Matt Cagle, ein Anwalt für Technologie und bürgerliche Freiheiten bei der ACLU von Nordkalifornien, CPORT, „einerseits sprechen sie über Richtlinien, aber andererseits können die eigenen Kunden des Unternehmens ihnen möglicherweise nicht wirklich folgen, und das ist inakzeptabel, wenn wir von einer Technologie sprechen, die so gefährlich ist wie die Gesichtsüberwachung, die von Strafverfolgungsbehörden eingesetzt wird. Amazon sollte handeln. Es sollte den Anrufen des Kongresses, der Öffentlichkeit und sogar seiner eigenen Arbeiter folgen und aus dem Überwachungsgeschäft aussteigen.“