Inilunsad ng Microsoft ang isang tool sa pagkilala sa imahe na nagtatangkang ilarawan ang nilalaman ng isang larawan. Ang artipisyal na tool na intelihente ay nasa yugto ng pag-unlad at patuloy na natututo mula sa mga larawan na na-upload ng mga gumagamit.

Tulad ng pag-aalala ng kawastuhan, kung minsan ang paglalarawan ay medyo tumpak habang kung minsan ang CaptionBot ay nag-aalok ng mga paglalarawan na walang kinalaman sa kung ano ang inilalarawan. Mayroon ding mga kaso kapag ang app ay hindi maaaring magbigay ng isang paglalarawan sa lahat, dahil sa magaspang na paligid-ng-gilid na estado.

Dinisenyo ng Microsoft ang CaptionBot upang malaman nang may higit na karanasan, na may pag-asang ang mga caption nito ay magiging mas tumpak sa paglipas ng panahon. Ang mas maraming mga larawan na nai-upload ng mga gumagamit, mas mahusay ang nagiging app, tulad ng inilalarawan ng CaptionBot mismo:

Naiintindihan ko ang nilalaman ng anumang imahe at susubukan kong ilarawan ito pati na rin ang sinumang tao. Nag-aaral pa ako kaya hahawakan ko ang iyong larawan ngunit walang personal na impormasyon.

Gumagamit ang CaptionBot ng tatlong mga teknolohiya upang ilarawan kung ano ang inilalarawan sa isang larawan: Computer Vision, Emotion at Bing Image ng Microsoft. Kinuha ng Computer Vision API ang mayamang impormasyon mula sa mga imahe upang maiuri at iproseso ang visual data kasama ang pagkilala at pagkuha ng teksto mula sa isang imahe. Ang API ng Emosyon, tulad ng iminumungkahi ng pangalan nito, pag-aralan ang mga mukha upang makita ang isang saklaw ng mga damdamin, lahat mula sa galit, pag-uugali, pagkasuklam, takot, kaligayahan, neutralidad, kalungkutan at sorpresa. Hinahanap ng Bing Image ang web para sa mga imahe.

Sinubukan namin ang CaptionBot at tumpak ang mga resulta sa 50% ng mga kaso. Halimbawa, nag-upload kami ng dalawang larawan: ang isa na naglalarawan ng isang mouse sa paglalaro, ang iba pang isang stack ng card. Sa parehong mga kaso, iminungkahi ng tool na ito ay isang cell phone. Sa kabilang banda, tumpak na nakita ng CaptionBot ang mga tao at mukha.

Tila, ang CaptionBot ay may isang pagkahumaling sa mga cellphones. Isang Twitter user ang nag-ulat ng app na akala ni Michelle Obama ay isang cell phone. Para sa higit pang mga nakakatawang captionBot, tingnan ang pahinang ito sa Twitter.

Maaari mo ring subukan ang CaptionBot dito. Subukan ito: makakatulong ka rin sa tool na mapabuti o magkakaroon ka ng isang mahusay na pagtawa!