Emberi hibakeresés: Hibakeresés gépi vizuális felismerés révén Humans in the Loop

Eredeti cikk:https://faculty.cc.gatech.edu/~parikh/human_debugging/

(NSF IIS 1115719, 1341772)

Absztrakt

A vizuális felismerés problémája alapvető fontosságú az automatikus képmegértés célkitűzése szempontjából. Míg a számítógépes látás közösségében számos erőfeszítést tettek, a gépek teljesítménye ezeknél a feladatoknál jelentősen elmarad az emberi képességektől.

A projekt átfogó célja a legismertebb vizuális felismerő rendszer – az emberi vizuális felismerő rendszer – kihasználása. Ez a projekt egy „Human Debugging” paradigmát alkalmaz a gépi látáscső különböző összetevőinek emberi alanyokra történő cseréjére, és megvizsgálja ennek a felismerési teljesítményre gyakorolt hatását. Az értelmes összehasonlítások értékes betekintést nyújtanak, és pontosan meghatározzák a gépi látási folyamat azon aspektusait, amelyek a teljesítmény szűk keresztmetszetét jelentik, és jövőbeli kutatási erőfeszítéseket igényelnek. A projekt konkrétan a képosztályozás és az objektumészlelés problémáit vizsgálja, és feltárja a lokális és globális információ, valamint a részdetektálás, a térbeli modellezés és a kontextuális érvelés (beleértve a nem maximális elnyomást is) szerepét ezeknél a problémáknál.

Ez a projekt a vizuális felismerés problémáinak széles skáláját érinti, beleértve a tárgyfelismerést, a jelenetfelismerést és a tárgyfelismerést. Ez az új paradigma, amely szerint a számítási modellek gyenge láncszemeit a hurokban lévő embereken keresztül azonosítják, más látásproblémákra, valamint a mesterséges intelligencia más részterületeire is alkalmazható. Az összes összegyűjtött adat és eredmény megosztásával, valamint szervezett konferenciákon és műhelymunkákon keresztül ez a projekt párbeszédet kezdeményez és ösztönöz a kutatói közösséggel arról, hogyan lehet az embereket a számítógépes látás fejlesztésére fordítani. Tágabb értelemben ez a munka ösztönzi a fiatal nők és egyetemi hallgatók bevonását a számítástechnikai kutatásokba.

Adatkészletek

Adatkészlet javítások

Part Patch Dataset

Relatív arcattribútumok adatkészlete (29 attribútum, 60 kategória)

Publikációk (részben az NSF támogatásával)

	A. Bansal , A. Kowdle , D. Parikh, AC Gallagher és CL Zitnick Melyik élek számítanak? Workshop on 3D Representation and Recognition (3dRR) International Conference on Computer Vision (ICCV), 2013 .
	R. Mottaghi , S. Fidler , J. Yao , R. Urtasun és D. Parikh Szemantikus szegmentáció elemzése hibrid ember-gép CRF-ek segítségével IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR), 20 13 [ poszter ]
	CL Zitnick és D. _ Parikh A képmegértés szerepe a kontúrfelismerésben IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR), 20 12 [ projekt oldala ] [ adatok ] [ plakát ]
	D. Parikh , CL Zitnick és T. Chen Apró képek felfedezése: A megjelenés és a kontextuális információ szerepe a gépek és az emberi tárgyak felismerésében Mintaelemzés és gépi intelligencia (PAMI), 2012 (megjelenik)
	D. Parikh és C. L. Zitnick Gépek emberi hibakeresése Második műhely a számítástechnikai társadalomtudományról és a tömegek bölcsességéről Neurális információfeldolgozó rendszerek (NIPS), 20 11
	D. Parikh Zavaros képek felismerése: A lokális és globális információk szerepe a képosztályozásban Nemzetközi Számítógépes Látás Konferencia (ICCV) , 20 11 [ poszter ] [ diák ]
	C. Li , D. Parikh és T. Chen Adaptív kontextuális jelzések kinyerése címkézetlen régiókból Nemzetközi Számítógépes Látás Konferencia (ICCV), 20 11 [ projekt oldala ]
	CL Zitnick és D. _ Parikh A szemantika fókuszba helyezése vizuális absztrakció segítségével IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR), 20 13(Orális) [ projekt oldala és adatai ] [beszélgetés (videó)] [diák] [poszter]
	A. Biswasés D. Parikh Osztályozók és attribútumok egyidejű aktív tanulása relatív visszajelzésen keresztül IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR), 20 13 [ poszter ] [ projekt oldala és adatai ] [ demó ] Demo az IEEE Computer Vision and Pattern Recognition (CVPR) konferencián, 20 13 by N. Agrawal, A. Biswas, A. Kovashka, K. Grauman és D. Parikh.