Facebook-Forscher sagen, dass Instagram-Manager den Filter-Algorithmus ignorieren
Während einer Studie Mitte 2019 fand ein Team von Facebook-Mitarbeitern heraus, dass vorgeschlagene Regeln für das automatische Kontenentfernungssystem von Instagram schwarze Benutzer unverhältnismäßig stark kennzeichneten und verbannten. Als sich das Team mit dieser alarmierenden Information an CEO Mark Zuckerberg und seine hochrangigen Kumpanen wandte, wurden sie angeblich ignoriert und angewiesen, jegliche weitere Forschung bezüglich rassistischer Voreingenommenheit in den Moderations-Tools des Unternehmens einzustellen, berichtete NBC News am Donnerstag.
Das ist laut acht derzeitigen und ehemaligen Facebook-Mitarbeitern, die mit dem Sender unter der Bedingung der Anonymität sprachen. Nach diesen vorgeschlagenen Regeln war es für Benutzer von Black Instagram etwa 50% wahrscheinlicher als für weiße Benutzer, dass ihre Konten bei ToS-Verstößen wie dem Posten von Hassreden und Mobbing automatisch deaktiviert wurden.
Das Problem ergab sich offensichtlich aus dem Versuch von Facebook, dem Eigentümer von Instagram, seine automatischen Moderationssysteme neutral zu halten, indem es das algorithmische Äquivalent von „Weißt du, ich sehe nicht wirklich Farbe“ schuf.
Die Hassredepolitik des Unternehmens hält herabsetzende Bemerkungen gegen privilegierte Gruppen (d.h. Weiße und Männer) der gleichen Prüfung unterworfen wie herabsetzende Bemerkungen gegen Randgruppen (d.h. Schwarze und Frauen). In der Praxis bedeutete dies, dass die proaktiven inhaltlichen Moderationsinstrumente des Unternehmens Hassreden, die sich an Weiße richteten, viel häufiger entdeckten als Hassreden, die sich an Schwarze richteten, was zum großen Teil darauf zurückzuführen war, dass sie Kommentare kennzeichneten, die weithin als harmlos angesehen wurden. Zum Beispiel ist der Satz „Weiße sind Abschaum“ nicht annähernd so beleidigend wie der Satz „Schwarze sind Abschaum“ – und wenn Sie anderer Meinung sind, dann sage ich Ihnen das nur ungern, aber Sie könnten ein Rassist sein.
„Die Welt behandelt Schwarze anders als Weiße“, sagte ein Mitarbeiter gegenüber NBC. „Wenn wir alle gleich behandeln, treffen wir bereits Entscheidungen auf der falschen Seite der Geschichte“.
Diese vorgeschlagenen Regeln haben nie das Licht der Welt erblickt, da Instagram angeblich am Ende eine überarbeitete Version dieses automatischen Moderationstools implementierte. Die Mitarbeiter sagten jedoch zu NBC, dass es ihnen untersagt sei, es auf rassistische Voreingenommenheit zu testen, nachdem es angepasst worden war.
Als Reaktion auf den Bericht behauptete Facebook, dass die ursprüngliche Methodik der Forscher fehlerhaft sei, obwohl das Unternehmen nicht leugnete, dass es ein Moratorium für die Untersuchung möglicher rassistischer Vorurteile in seinen Moderationstools erlassen hatte. Der Vice President of Growth and Analytics von Facebook nannte in einem Interview mit NBC ethische und methodologische Bedenken für die Entscheidung.
Das Unternehmen fügte hinzu, dass es derzeit nach besseren Möglichkeiten forscht, seine Produkte auf rassistische Voreingenommenheit zu testen, was im Einklang mit der Ankündigung von Facebook Anfang dieser Woche steht, dass es neue Teams zusammenstellt, um potenzielle rassistische Auswirkungen auf seine Plattformen zu untersuchen.
„Wir untersuchen aktiv, wie man Internetprodukte entlang rassischer und ethnischer Linien verantwortungsbewusst und in Partnerschaft mit anderen Unternehmen messen und analysieren kann“, sagte die Facebook-Sprecherin Carolyn Glanville in einer Erklärung an mehrere Verkaufsstellen.
In seinem Interview mit NBC fügte Schultz hinzu, dass die rassistische Voreingenommenheit auf den Plattformen von Facebook ein „sehr brisantes Thema“ sei, dass das Unternehmen jedoch „unsere Investitionen massiv erhöht“ habe, um die algorithmische Voreingenommenheit zu untersuchen und ihre Auswirkungen auf die Moderation von Hassreden zu verstehen.
Angesichts der Vorliebe von Facebook, rassistische, transphobische, sexistische und allgemein gotterbärmliche Inhalte zu hosten, ist die Tatsache, dass etwas algorithmische Magie hinter den Kulissen dabei helfen könnte, marginalisierte Stimmen auszulöschen, kaum überraschend. Sicherlich enttäuschend, aber nicht überraschend.