ROC-Kurve erstellen oder andere graphische Darstellung von Ergebnissen
Ich teste gerade Programme zur Ähnlichkeitsbildersuche und habe Recall- und Precision-Ergebnisse die ich gerne in graphischer Form präsentieren möchte. Im Internet wurde ich mit der ROC-Kurve fündig und habe mir die Zusatz-Excel-Tools von XLStat2013 erworben. Leider verstehe ich das überhaupt nicht, auch nicht mit Anleitung aus dem internet. Kann mir da jemand von euch behilflich sein? Oder wie würdet ihr die Ergebnisse graphisch darstellen? Hat da jemand ne Idee? Vielen herzlichen Dank schon einmal :-)
1 Antwort
Was genau möchtest du denn darstellen? Ein Vergleich der einzelnen Programme?
Wenn ich das richtig sehe, ist die ROC-Kurve hier eher nicht gebräuchlich, da eindeutig klar ist, ob die Ähnlichkeitssuche einen gültigen Treffer gelandet hat oder nicht. Die Klassifikation ist also eindeutig und daher eher ein Precision-Recall-Diagramm (PR-Diagramm oder auch Genauigkeit-Trefferquote-Diagramm) zu verwenden.
Ich gebe zu, dass ich von statistischen Bewertungsmethoden eigentlich nur wenig Ahnung habe. Für die in den Naturwissenschaften notwendigen Methoden kenne ich nur den Chi-Quadrat-Test. Bist du dir denn sicher, dass du solche Kanonen auffahren musst? Ist es nicht so, dass je ein Test pro Bild und Ähnlichkeitssuche eine gewisse Trefferquote geben und es damit eine Häufigkeitsverteilung ergibt? Dann würde man die Häufigkeitsverteilungen pro Programm darstellen und würde gleich sehen, wie gut die sind.
Das PR-Diagramm kennt m.E. nur eine einzige Form (http://de.wikipedia.org/wiki/Beurteilung_eines_Klassifikators#Genauigkeit-Trefferquote-Diagramm).
Ich fragte/meinte: "Variation der trainierten Dateien" ist einer deiner Parameter? Dann hast du also für eine Variation Vi eine Trefferquote Ti - womit du also nach vielen Experimenten die Schar (Vi,Ti) aufmalen kannst. Ist es nicht das was du sehen willst?
Ich würde gerne einzelne Tests (Variation der trainierten Dateien und dadurch ersichtliche Ergebnisse) darstellen um dann zu veranschaulichen wie das Programm am besten funktioniert hat.
Was für eine Form des PR-Diagramm würdest du mir empfehlen?
Ich teste keine einzelne Bilder, sondern trainiere dem Programm Positiv- und Negativbilder. Mit einem dadurch berechneten Klassifikator werden dann Testdateien als positiv oder negativ bewertet. Für die Ergebnisse berechne ich Recall und Precision.
Ich verstehe ehrlich gesagt deine letzte Frage nicht :-/