20181215 Abschlussbericht: Der Südkreuz-Versuch war kein Erfolg

Südkreuz Abschlussbericht muss zwischen den Zeilen gelesen werden

Bereits am 13. Oktober nach Veröffentlichung des Abschlussberichts zum Südkreuz hatten wir vermutet, dass eine Gesichtserkennung mit 80% Erkennungsrate kein Erfolg sein kann. Nun hat der Chaos Computer Club den Abschlussbericht genauer untersucht und festgestellt:

Biometrische Videoüberwachung: Der Südkreuz-Versuch war kein Erfolg

Insbesondere hat der CCC festgestellt, dass für den Abschlussbericht Zahlen geschönt wurden, in dem z.B.

80% Erkennungsrate behauptet wurde; d.h. von 10 gesuchten Personen werden nur 8 erkannt,

die 80% werden jedoch nur in Kombination aller 3 technischen System erreicht,

das "beste" technische System erreichte nur 68,5%, tagsüber sogar nur 60%,

die Kameras am Eingang des Bahnhofs hatten nur eine Trefferrate von 18,9%, tagsüber nur 12%,

die Bilder der Gesichter der Testpersonen waren in der Phase zu Beginn des Tests von ausgesprochen hoher Qualität, was die Ergebnisse zusätzlich zugunsten der getesteten Systeme verschoben hat,

das Ergebnis kann nicht als repräsentativ angesehen werden, da die Anzahl von 312 Menschen dafür zu gering ist und in der zweiten Testphase nur noch 201 Personen teilnahmen,

die "Verschlechterung" der Ausgangsfotos in der 2. Testphase war ein totaler Fake, denn es wurden von den Systemen selbst aufgezeichnete Bilder (und auch noch mehrere verschiedene) der Testpersonen genutzt - also so wie die Systeme sie auch beim Passieren der Kameras sehen,

die Zahlen zur Falscherkennungsrate (FAR) sind deutlich geschönt, da nicht alle durch die Kamera erfassten Gesichter der Menschen analysiert wurden, sondern ausweislich des Berichtes nur diejenigen, die zufälligerweise zu dem Zeitpunkt aufgenommen wurden, wenn eine der Testpersonen neben ihnen auf der Rolltreppe stand.

Solche Erkennungsraten sind für einen Abgleich mit polizeilichen Datenbanken völlig unbrauchbar!

Eine solche Auswertung kann nicht als wissenschaftlich angesehen werden! Das ist nur noch Public Relation für die beteiligten Firmen.

Gerade der vorletzte Punkt in obiger Aufzählung zeigt, dass mit völlig unrealistischen Vorgaben geschönte Ergebnisse produziert werden sollten. Wie sollten in einem realen Szenario alle jemals ausgenommenen Fotos des Gesuchten in eine Auswertung übernommen werden. Fotos aller Verdächtigen an allen Bahnhöfen ist eine Annahme, die schon bei wenigen Hundert Gesuchten schnell jede menschliche, logistische und technische Leistungsgrenze überschreitet.

Der letzte Punkt bestätigt unsere Vermutung zu Beginn des Projekts, dass die von den Testpersonen mitgeführten Transponder als "Weckruf" für die Software genutzt wurde und nur zu diesen Zeiten überhaupt nach Gesichtern gesucht wurde. Der CCC stellt dazu fest:

Für das „logische Gesamtsystem“ liegt die so ausgewiesene FAR durchschnittlich bei 0,67 Prozent. Bei einer durchschnittlichen Anzahl von etwa 90.000 Reisenden pro Tag am Bahnhof Südkreuz hieße ein solcher Wert, dass täglich 600 Passanten und mehr fälschlich ins Visier der biometrischen Installation gerieten.

Ebenfalls besonders brisant: Risiken und rechtliche Probleme werden im Bericht gar nicht erst angesprochen. Gerade auf diese Risiken hatten unsere zahlreichen Fragen abgezielt, die wir dem Innenminister schon im April zugeschickt hatten. Auch zu den Kosten des monatelangen Versuchs sind keine Angaben im Bericht enthalten.

Hits: 1623