Algorithmen Benutzerantworten bewerten

Question

Ich arbeite an einer Web-Anwendung, die für die Klassifizierung von Fotos von Automobilen verwendet werden. Die Nutzer werden mit Fotos von verschiedenen Fahrzeugen vorgelegt werden, und werden gebeten, eine Reihe von Fragen zu beantworten, was sie sehen. Die Ergebnisse werden in einer Datenbank erfasst werden, gemittelt und angezeigt.

Ich suche nach Algorithmen, mir zu helfen Benutzer zu identifizieren, die angibt, häufig nicht mit der Gruppe stimmen, dass sie wahrscheinlich entweder unaufmerksam auf die Fotos, oder dass sie lügen über das, was sie sehen. Ich möchte dann diese Benutzer auszuschließen, und eine Neuberechnung die Ergebnisse, so dass ich sagen kann, mit einer bekannten Menge an Vertrauen, dass dieses besondere Foto ein Fahrzeug zeigt, dass dies und das ist.

Diese Frage geht an alle, die Sie Informatik Jungs, wo solche Algorithmen zu finden oder selbst den theoretischen Hintergrund zu geben, solche Algorithmen zu entwerfen. Ich gehe davon aus, ich werde einige Wahrscheinlichkeit und Statik müssen lernen, vielleicht einige Data Mining. Einige Buchempfehlungen wäre toll. Dank!

P. S. Dies sind Multiple-Choice-Fragen.

All dies sind gute Vorschläge. Danke! Ich wünsche es eine Möglichkeit, auf Stack-Überlauf war mehrere richtigen Antworten auszuwählen, um mehr von Ihnen für Ihre Beiträge anerkannt werden könnte !!

Answer 1

Ich glaube, was Sie gelöst beschrieben mit Ausreißer / Anomalie-Erkennung . Eine Anzahl von Techniken existieren:

• statistisch-basierte Methoden
• abstandsbasierte Methoden
• modellbasierte Methoden

Ich schlage vor, Sie nehmen einen Blick auf diese Dias von dem ausgezeichneten Buch Einführung in Data Mining

Answer 2

Lesen Sie The Elements of Statistical Learning , es ist ein großes Kompendium über Data Mining.

Sie können vor allem in unbeaufsichtigten Algorithmen interessiert sein, beispielsweise Clustering. Unter der Annahme, dass die meisten Menschen lügen nicht, ist der größte Cluster rechts und der Rest ist falsch. Mark Menschen entsprechend, dann gelten einige Bayes-Statistik, und Sie werden getan werden.

Natürlich sind die meisten Data-Mining-Technologien sind ziemlich experimentative, zählen also nicht auf, dass sie immer richtig sein wird ... oder sogar in den meisten Fällen.

Answer 3

Wenn Sie wissen, welche Antworten Sie erwarten, warum Sie die Leute fragen, wählen? Durch einige Werte mit Ausnahme von im Grunde Sie die Abstimmung in etwas verwandeln, dass Sie mögen. Autos machen anderen Eindruck zu verschiedenen Individuen. Wenn 100 ppl ein Auto dann geliebt, wenn jemand kommt und sagt, dass er / sie es nicht mag, ausschließen Sie die Abstimmung?

Aber wie auch immer man bedenkt, dass man noch dies tun will, zunächst einmal müssen Sie ein großes Menge o Daten von Wählern „trusted“. Dies gibt Ihnen eine Vorstellung von „gut“ Antwort und von diesem Punkt können Sie die ausschließen Schwelle wählen.

Ohne eine erste Reihe von Daten können Sie einen beliebigen Algorithmus nicht anwenden, weil Sie falsche Ergebnisse erhalten. Betrachten sie nur eine Stimme von 100 aus auf einer Skala von 0 bis 100. Die zweite Stimme „1“ Das werden Sie diese Abstimmung ausschließen, weil zu weit weg vom Durchschnitt.

Answer 4

Ich denke, ein ziemlich einfacher Algorithmus dies für Sie erreichen können. Sie könnten versuchen, sich ausgefallenere durch die Standardabweichungen zu berechnen und so, aber ich würde nicht stören.

Hier ist ein einfacher Ansatz, der ausreichend sein sollte:

Für jeden Benutzer, berechnen die Anzahl der Fragen, die sie und die Anzahl der Male beantwortet wählten sie die beliebteste Antwort auf die Frage. Der Anwender, die das niedrigste Verhältnis der Kommissionierung die populäre Antwort im Vergleich zu Gesamt Antworten haben Sie falsche Daten bieten erraten können.

Sie würden wahrscheinlich nicht die Daten von Benutzern werfen wollen, wo sie nur eine kleine Anzahl von Fragen beantwortet haben, weil sie wahrscheinlich nur haben auf ein paar andere Meinung in falschen Daten im Vergleich zu setzen.

Answer 5

Welche Fragen sind sie (Ja / Nein oder 1 bis 10?).

Unter Umständen können Sie weg mit nichts Verwerfen von einem mittleren statt mit einem durchschnittlichen Verwendung. Mit mittelt, wenn es extreme Ausreißer in der Antwort den Durchschnitt beeinflussen könnten, aber wenn Sie Median verwenden, können Sie eine bessere Antwort zu bekommen. So zum Beispiel, wenn Sie hatte 5 Antworten, sie bestellen und die mittlere holen.

Answer 6

Ich denke, was Sie sagen, ist, dass Sie besorgt sind, dass bestimmte Leute „Ausreißer“ sind, und sie sind Hinzufügen von Rauschen auf Ihre Daten, so dass die Kategorisierungen weniger zuverlässig. Also, wenn Sie ein Chevy Camaro, und die meisten Leute sagen, es ist entweder ein Pony-Car, ein Muscle-Car oder ein Sportwagen, aber Sie haben einige goofball, der sagt, es ist eine Familienlimousine, würden Sie wollen, um die Auswirkungen seiner minimieren Stimme.

Eine Sache, die Sie tun können, ist ein Stack-Überlauf-wie Reputationswert für die Nutzer bieten:

• Je mehr ein Nutzer „im Einvernehmen“ mit anderen Nutzern, würde die besser seine oder ihre Punktzahl sein. Für einen bestimmten Benutzer (User X), könnte dies durch eine einfache Berechnung von welcher Prozentsatz der Nutzer bestimmt werden, die die gleiche Kategorie wie der Benutzer X auf eine Frage geantwortet wählte, dann im Durchschnitt dieses Wertes über alle Fragen beantwortet.
• Sie können wollen, diesen Wert durch die Gesamtzahl der Frage multiplizieren beantwortet Menschen zu ermutigen, so viele Fragen wie möglich zu beantworten. (Anmerkung:. Wenn Sie sich entscheiden, dies zu tun, es wäre gleichbedeutend, nur die prozentuale Übereinstimmung Partituren Summieren, anstatt sie im Durchschnitt)
• Sie könnten die endgültige Reputationswert für die Nutzer darstellen, um sicherzustellen, zu erklären, dass sie belohnt werden, wie gut ihre Antworten mit denen anderer Nutzer zustimmen. Dies wird die Menschen ermutigen, mehr Fragen zu beantworten, sondern auch in ihren Antworten zu kümmern.
• Schließlich könnte man durch Addition der Gesamt Ruf Punktzahl aller Menschen eine Sicherheit Punktzahl für eine bestimmte Kategorisierung berechnen, die eine bestimmte Kategorie gewählt haben.

Einige dieser Ideen kann eine gewisse Verfeinerung brauchen, zumal ich weiß nicht, Ihre genaue Situation. Sicherlich, wenn die Menschen sehen, was andere Leute wählten vor sie wählen, es wäre viel zu einfach, das System zum Spiel.

Answer 7

Wenn Sie Stimmen zu sammeln, waren wie „auf einer Skala von 1 bis 10, wie würden Sie dieses Auto bewerten“, werden Sie wahrscheinlich einfacher Mittelwert und Standardabweichung verwenden könnten: Je kleiner die Standardabweichung, desto einhellig der allgemeine Konsens ist, unter Ihren Wählern, und Sie Flag-Benutzer können die sind zB 3 Standard-Devs aus dem Durchschnitt.

Bei Multiple-Choice, müssen Sie vorsichtiger sein. Verwerfen einfach alle, aber die meisten gestimmt Option wird nichts tun, aber die Wähler verärgern. Sie müssen ein gewisses Maß an, um festzustellen, wie bedeutsam der Gewinner ist w.r.t. die anderen Optionen, zum Beispiel Flag-Benutzer, die für Optionen mit weniger als 1/3 der Gewinn Optionen gewählt zählen.

Beachten Sie, dass ich "Flagge Benutzer" schrieb, nicht verwerfen Stimmen. Wenn Sie Stimmen verwerfen, kann man nicht sagen, wie zuversichtlich Sie über das Ergebnis sind ( „91% stimmten dieser ein Ford Mustang zu sein“). Wenn ein Benutzer mehr als einen bestimmten Prozentsatz seiner Stimmen gekennzeichnet -. Gut, das ist bis zu Ihnen

Ihr heikelste Problem ist jedoch wahrscheinlich ausreichen, um Stimmen zu sammeln. Je nachdem, wie leicht das Multiple-Choice-Problem ist, müssen Sie wahrscheinlich mehrmals die Anzahl der Optionen, wie Stimmen pro Foto. Ansonsten sind die Statistiken bedeutungslos.