Emberi hibakeresés: Hibakeresés gépi vizuális felismerés révén Humans in the Loop
Eredeti cikk:https://faculty.cc.gatech.edu/~parikh/human_debugging/
(NSF IIS 1115719, 1341772)
PI: Devi Parikh
Absztrakt
A vizuális felismerés problémája alapvető fontosságú az automatikus képmegértés célkitűzése szempontjából. Míg a számítógépes látás közösségében számos erőfeszítést tettek, a gépek teljesítménye ezeknél a feladatoknál jelentősen elmarad az emberi képességektől.
A projekt átfogó célja a legismertebb vizuális felismerő rendszer – az emberi vizuális felismerő rendszer – kihasználása. Ez a projekt egy „Human Debugging” paradigmát alkalmaz a gépi látáscső különböző összetevőinek emberi alanyokra történő cseréjére, és megvizsgálja ennek a felismerési teljesítményre gyakorolt hatását. Az értelmes összehasonlítások értékes betekintést nyújtanak, és pontosan meghatározzák a gépi látási folyamat azon aspektusait, amelyek a teljesítmény szűk keresztmetszetét jelentik, és jövőbeli kutatási erőfeszítéseket igényelnek. A projekt konkrétan a képosztályozás és az objektumészlelés problémáit vizsgálja, és feltárja a lokális és globális információ, valamint a részdetektálás, a térbeli modellezés és a kontextuális érvelés (beleértve a nem maximális elnyomást is) szerepét ezeknél a problémáknál.
Ez a projekt a vizuális felismerés problémáinak széles skáláját érinti, beleértve a tárgyfelismerést, a jelenetfelismerést és a tárgyfelismerést. Ez az új paradigma, amely szerint a számítási modellek gyenge láncszemeit a hurokban lévő embereken keresztül azonosítják, más látásproblémákra, valamint a mesterséges intelligencia más részterületeire is alkalmazható. Az összes összegyűjtött adat és eredmény megosztásával, valamint szervezett konferenciákon és műhelymunkákon keresztül ez a projekt párbeszédet kezdeményez és ösztönöz a kutatói közösséggel arról, hogyan lehet az embereket a számítógépes látás fejlesztésére fordítani. Tágabb értelemben ez a munka ösztönzi a fiatal nők és egyetemi hallgatók bevonását a számítástechnikai kutatásokba.
Adatkészletek
Relatív arcattribútumok adatkészlete (29 attribútum, 60 kategória)
Publikációk (részben az NSF támogatásával)
|
A. Bansal , A. Kowdle , D. Parikh, AC Gallagher és CL Zitnick Workshop on 3D Representation and Recognition (3dRR) |
|
R. Mottaghi , S. Fidler , J. Yao , R. Urtasun és D. Parikh Szemantikus szegmentáció elemzése hibrid ember-gép CRF-ek segítségével IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR), 20 13 [ poszter ] |
|
CL Zitnick és D. _ Parikh A képmegértés szerepe a kontúrfelismerésben IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR), 20 12 [ projekt oldala ] [ adatok ] [ plakát ] |
|
D. Parikh , CL Zitnick és T. Chen Apró képek felfedezése: A megjelenés és a kontextuális információ szerepe a gépek és az emberi tárgyak felismerésében Mintaelemzés és gépi intelligencia (PAMI), 2012 (megjelenik) |
|
D. Parikh és C. L. Zitnick Második műhely a számítástechnikai társadalomtudományról és a tömegek bölcsességéről Neurális információfeldolgozó rendszerek (NIPS), 20 11 |
|
D. Parikh Zavaros képek felismerése: A lokális és globális információk szerepe a képosztályozásban Nemzetközi Számítógépes Látás Konferencia (ICCV) , 20 11 |
|
Adaptív kontextuális jelzések kinyerése címkézetlen régiókból Nemzetközi Számítógépes Látás Konferencia (ICCV), 20 11 [ projekt oldala ] |
|
CL Zitnick és D. _ Parikh A szemantika fókuszba helyezése vizuális absztrakció segítségével IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR), 20 13(Orális) [ projekt oldala és adatai ] [beszélgetés (videó)] [diák] [poszter] |
|
A. Biswasés D. Parikh Osztályozók és attribútumok egyidejű aktív tanulása relatív visszajelzésen keresztül IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR), 20 13 [ poszter ] [ projekt oldala és adatai ] [ demó ] Demo az IEEE Computer Vision and Pattern Recognition (CVPR) konferencián, 20 13 by N. Agrawal, A. Biswas, A. Kovashka, K. Grauman és D. Parikh. |
Kapcsolódó kiadványok (az NSF támogatása előtt)
|
D. Parikh és C. L. Zitnick A leggyengébb láncszem megtalálása a személydetektorokban IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR) , 2011 [ projekt oldala ] [ adatok ] [ poszter ] [ diák ] |
|
D. Parikh és C. L. Zitnick A szolgáltatások, algoritmusok és adatok szerepe a vizuális felismerésben IEEE konferencia a számítógépes látásról és mintafelismerésről (CVPR) , 2010 |
Végzős hallgatók támogatása
Támogatott egyetemi hallgatók
Yash Seth
Naman Agrawal
Jiuling Wang