Zur Startseite - das Weblog -

Dröge Arbeit 2.0: Amazon Mechanical Turk

Glaubt ihr, dass man die Kosten für Arbeit noch weiter drücken kann, nachdem was ihr bereits über Outsourcing in fremde Länder gelernt habt? Ich hatte ja schon einen Artikel über das Outsourcen von Projektarbeit ins Internet veröffentlicht, aber könnt ihr euch vorstellen das Leute selbst für ein paar US-Cent einige Minuten ihrer Arbeitszeit opfern würden?

[Mehr:]

Das ist tatsächlich der Fall wenn man Aufgaben bei Amazons "Mechnical Turk" einstellt. Es ist eine Website auf der Leute einfache Aufgaben hochladen können, die für einen Computer zu schwierig oder zu kompliziert sind und bei denen das Urteilsvermögen eines Menschen notwendig ist. Der Name "Mechnical Turk" kommt übrigens von einer Erfindung aus dem 18. Jahrhundert: Eine schachspielende Maschine. Damals hatte man noch keine hoch entwickelten Computer, daher erfand Wolfgang von Kempelen einen Mechanismus bei dem ein menschlicher Schachspieler in der Maschine versteckt wurde, der dann die Züge machte.

Der moderne Schachtürke

Amazon macht mit seinem Mechanical Turk etwas ähnliches. Wenn du eine Aufgabe hast, die zur Lösung einen Menschen benötigt, dann stellst du diese als "Human Intelligence Task" oder HIT auf die Website. Dazu kommt noch ein Betrag für die Bezahlung (meist nur ein bis fünf Cent, selten mehr als ein Dollar), eine maximale Zeit in der die Aufgabe gelöst werden muss und ein Verfalldatum. Wenn jemand die Aufgabe vor dem Verfalldatum akzeptiert, hat er die zugewiesene Zeit um sie zu beenden. In den meisten Fällen braucht man nur wenige Sekunden dazu, es gibt aber auch komplizierte Aufgaben die längere Zeit benötigen.

Advertisement/Werbung

Da ich nur über Sachen schreibe, von denen ich tatsächlich Ahnung habe, wollte ich das System mal intensiv testen, um zu sehen wie schwierig oder einfach das Ganze ist. Einige HITs erfordern die Eingabe von Daten, die man beispielsweie von einer eingescannten Visitenkarte in vorgesehene Felder eintragen soll. Ich hatte auch Aufgaben, bei denen ich beurteilen sollte, ob ein Text in eine bestimmte Kategorie fällt. Zum Beispiel "Ist dieser Blogeintrag eine Story?" oder "Enthält dieser Text anstößige Passagen?" Andere HITs arbeiten mit Bildern oder Videos.

Zum Beispiel gibt es eine Aufgabe, bei der man beurteilen soll, ob ein Bild in eine bestimmte Kategorie fällt. Man markiert alle Bilder die eine Person zeigen, ein Haustier, ein Auto, Bilder die in einem Innenraum aufgenommen wurden oder pornographischen Inhalt haben. Diese sollen dann als unerwünscht markiert werden. Für Aufgaben wie diese ist die Plattform gut geeignet, denn Computer können solche Dinge (noch) nicht automatisch entscheiden. Eine solche HIT wird dann mit 5 Cent pro Seite vergütet, wobei sich auf einer Seite 15 bis 20 Bilder befinden. Die Aufgabe präsentiert sich mit einer ausklappbaren Hilfeseite, auf der genau erklärt wird, welche Bilder aussortiert werden sollen.

Eine andere interessante Aufgabe kommt von einer Firme die die Sauberkeit ihrer Fast-Food Restaurants überprüft. Sie packen eine Reihe von 8-15 Überwachungsbildern auf die Seite, die man dann auf einer Skala von 1 bis 5 in der Sauberkeit bewerten soll. In diesem Fall muss man vorher ein Schulungsvideo anschauen um die Qualifikation für diese Art der Aufgabe zu erhalten. Auch hier wird 5 Cent pro HIT bezahlt, wobei jede HIT ungefähr 8 bis 15 Bilder enthält.

Advertisement/Werbung

Qualifikationen

Da ich gerade die Qualifikationen erwähne: Es gibt bei einigen dieser HITs noch eine Hürde zu überwinden. Sie können entsprechend eingeschränkt sein, so dass man zunächst die Voraussetzung erfüllen muss um sie annehmen zu können. Einige erfordern, dass man selbst mindestens 95 Prozent der HITs erfolgreich durchgeführt haben muss. Das bedeutet, wer nicht gründlich arbeitet und Fehler macht, kann seine Aufgabe auch vom "requester" (derjenige der die Aufgabe vergibt) abgelehnt bekommen. Die erfüllte Aufgabe wird dann nicht bezahlt und die Ablehnung taucht in der Statistik auf. Hat man also zu viele abgelehnte HITs, kann es schwierig werden neue Aufgaben anzunehmen bis man wieder den erforderlichen Wert erreicht hat.

Einige der Aufgaben benötigen einen Aufnahme-Test. Das können einfache multiple-Choice Antworten sein, für andere Dinge muss jedoch auch schon mal eine Prüfung gemacht werden, zum Beispiel ein Sprachtest für Englisch. So muss man für einige Audio-Abschriften erst einmal eine Beispielarbeit abliefern die dann per Software bewertet wird. Diese Bewertung erscheint nicht immer ganz fair, dann es werden auch falsche Satzzeichen bewertet und die Schreibweise von Füllwörtern und Versprechern wie "uh", "em" oder "err" (wäre im Deutschen "äh" oder "hm").

Besonders die Audio-Abschriften (transcripts) sind manchmal eine echte Herausforderung. Hier wird üblicherweise 50 bis 80 Cent für eine 2- bis 4-minütige Audiodatei bezahlt, aber soweit ich bisher gesehen (besser: gehört) habe, sind die ausgesprochen schwer zu verstehen. So findet man beispielsweise Schulkinder in einer heftigen Diskussion, wobei häufig mehrere durcheinander sprechen. Ich glaube, die professionellen Firmen, die solche Audio-Transkriptionen auf ihren Websites anbieten, packen einfach alles was sie selbst nicht bearbeiten können direkt in den Mechnanical Turk. Wer einmal die Preise für solche Audio-Abschriften vergleicht (man muss hier auf die Preiskategorie: "difficult audio" schauen), der wird leicht feststellen wo die Gewinnspanne liegt.

Ihr werdet nun sicher denken: "Aber die müssen ja später prüfen ob der Text auch korrekt wiedergegeben wurde, oder?" OK, hier kommt der abgefahrene Teil der Story: Die gleichen requester, die schon die Audiodatei zur Bearbeitung hochgeladen haben, erstellen dann später entsprechende Aufgaben, bei denen die Qualität der Abschrift bewertet wird. Auch das kann über Software gut automatisiert werden. Man teilt die Audiodatei einfach in kleine 20 Sekunden lange Schnipsel, packt den Text dazu und lässt die Leute für 2 Cent pro Audio-Schnipsel beurteilen wie gut die Aufgabe erledigt wurde. Auf diese Weise kann so ein Prozess komplett automatisiert werden, ohne dass ein Mensch die Sache noch einmal in die Hand nehmen muss.

Advertisement/Werbung

Arbeiten? Wie?

Also, was lernen wir daraus? Wer tatsächlich gelangweilt genug ist, und nichts anderes zu tun hat, findet hier einen großartigen Zeitvertreib. Man erledigt die einfachen Aufgaben und bekommt für etwas herumklicken noch einige Cent bezahlt. Man muss nur sicherstellen dass die Aufgaben auch korrekt erledigt werden, dann besteht durchaus Suchtpotenzial wenn die Aufgabe nur leicht genug ist und man nicht zu viel nachdenken muss. Es ist definitiv besser als seine Zeit mit Facebook oder Farmville zu verschwenden, denn Facebook bezahlt ja nichts dafür, dass man sich Einträge auf der Wall seiner Freunde ansieht.

Einige Aufgaben sind durchaus geeignet, um bestimmte Fähigkeiten zu trainieren, die man sowieso verbessern möchte. Für mich war die Aufgabe, bestimmte Texte in die Kategorie "story" oder "not story" einzuordnen recht interessant, weil mir das Gelegenheit gab mein Englisch weiter aufzubessern, während ich dafür auch noch bezahlt wurde. Andere Aufgaben sind einfach nur langweilig, aber wenn man es als Spiel betrachtet (He! Lasst uns mal etwas Abfall in diesem Schnellrestaurant finden) während man sowieso auf den Rückruf eines Kunden wartet, mag es als Zeitvertreib durchgehen.

Wäre es eine gute Idee, selbst solche Aufgaben einzustellen? Möglicherweise. Ich habe es noch nicht ausprobiert, aber wenn ich es machen sollte, werde ich ganz sicher wieder hier im Blog darüber berichten und euch mitteilen, was ich davon halte.

Tipps für die Arbeiter

Wie dem auch sei, hier noch einige Tipps für die Arbeiter (worker), die diese Plattform nutzen wollen um Ihr Taschengeld aufzubessern. (Disclaimer: Einnahmen müssen natürlich ordnungsgemäß versteuert werden)

1. Schaut euch an, ob ihr für bestimmte Aufgaben einer Vereinbarung zustimmen müsst. Ich habe schon seitenlange Verträge gesehen, denen man als Voraussetzung für eine Audio-Abschrift zustimmen musste. Darin stand unter anderem, dass man für Fehler in voller Höhe haftet, also auch wenn man ein Wort falsch verstanden hat. Davon sollte man besser die Finger lassen, solange nicht marktübliche Preise gezahlt werden.

2. Einige der Aufgaben machen Probleme wenn man sie fertiggestellt hat und absenden möchte, sofern man ein Plugin verwendet welches XSS (cross-site-scripting) verhindern soll. Beispielsweise das Plugin "noscript" für Firefox hat diesen XSS-Schutz standardmäßig eingeschaltet. Für einige Aufgaben muss man dieses zeitweilig abschalten (unter Options, Advanced, XSS). Das hängt mit der technischen Natur der Datenübergabe zusammen, wenn Formulardaten in die Seite von Mechnanical Turk per iFrame eingebettet sind (OK das hört sich nach Geek-Speak an, aber ihr müsst die Einzelheiten nicht verstehen, nur wissen, das so ein Problem existiert). Ihr solltet dann später wieder den XSS-Schutz einschalten, wenn ihr mit der Arbeit fertig seid und wieder auf anderen Seiten surfen wollt.

3. Eine erledigte Aufgabe kann auch vom requester abgelehnt werden. Es gibt leider keine Möglichkeit, später noch herauszufinden, welche Aufgabe das war, sofern man viele HITs für einen requester erledigt hatte. Man kann zwar den requester per Formular kontaktieren, es gibt aber keine Garantie, dass dieser dann auch antwortet. Daher ist es empfehlenswert, erst einmal nur wenige Aufgaben für eine Person zu erledigen, und zu schauen ob diese akzeptiert werden. Wenn Ihr am Ende eine große Anzahl von abgelehnten HITs kassiert habt, wirkt sich das auf die Statistik aus und es wird schwierig, weitere Aufgaben anzunehmen bis man sich wieder einen guten Wert erarbeitet hat. Die meisten Aufgaben setzen voraus, dass man mindestens 95% aller Aufgaben erfolgreich (also nicht abgelehnt) bewältigt hat.

4. Prüft euren Account regelmäßig. Einige requester lassen die erledigten Aufgaben lange unbearbeitet liegen, was für euch bedeutet, dass ihr solange auch kein Geld erhaltet bis die Aufgabe akzeptiert wurde. Ihr wollt sicher nicht viel Zeit mit Aufgaben verschwenden, die dann für mehrere Wochen in der Warteschleife hängen. Wenn ihr feststellt, dass ein requester die Aufgaben nach einigen Tagen nicht akzeptiert hat, nehmt von ihm einfach keine neuen HITs mehr an.

5. Stellt sicher, dass eine HIT nicht etwas verlangt, das eigentlich illegal ist. Ich habe Aufgaben gesehen, bei denen man einen E-Mail Account anlegen soll um dann die Zugangsdaten in die entsprechenden Felder zu kopieren. Das wird normalerweise nur von Leuten verlangt, denen wegen Spam schon alle IP-Adressen bei GMail oder anderen Mail-Services gesperrt wurden und die auf diese Weise zu neuen Mail Accounts für ihre Machenschaften kommen wollen. Die Aufgabe dient dann nur dazu, diesen Bann zu umgehen, indem sie unschuldige Internetnutzer missbrauchen. Solche Dinge sollte man immer an Amazon weiterleiten. Es gibt unten auf jeder Seite einen Link "Report this HIT", wo man illegale Aufgaben melden kann, so dass sie von Amazon aus dem System entfernt werden können.

6. Achtet auf eure Privatsphäre. Einige Aufgaben werden mit lukrativen Preisen (na ja, 20 cent oder so) versehen, um euch auf Seiten zu locken wo ihr euch dann mit euren privaten Daten oder nur mit der E-Mail Adresse anmelden sollt. Auch hier sollte man sehr vorsichtig sein, denn auch solche "Aufgaben" dienen wohl eher dazu, Adressen für Spamversand zu sammeln.

Falls Ihr an weiteren Einzelheiten zum Thema Mechanical Turk interessiert seid und mehr erfahren wollt, könnt Ihr mich gern ansprechen. Ihr erreicht mich über die E-Mail Adresse heddesheimer@gmail.com oder schreibt einfach einen Kommentar direkt unter diesen Blogeintrag.

Zusatzinfo

Eine Sache muss ich noch nachträglich anfügen: Das hart erarbeitete Geld kann zumindest in Deutschland nicht direkt auf das Konto des Benutzers überwiesen werden. Deutsche Nutzer können das Guthaben nur auf einen Amazon Geschenkgutschein übertragen lassen. Damit kann das Geld verwendet werden um bei Amazon einzukaufen. Trotzdem muss die Einnahme versteuert werden. Einige Tage nachdem ich begonnen habe, Mechanical Turk zu nutzen, wurde ich nach meinen Tax-Daten (also den Steuerdaten) gefragt und musste bestätigen, dass ich außerhalb der USA arbeite.

Kommentare, Pingbacks: