Microsoft je lansirao alat za prepoznavanje slike koji pokušava opisati sadržaj slike. Ovaj alat umjetne inteligencije još je u fazi razvoja i neprestano uči iz slika koje su postavili korisnici.

Što se točnosti tiče, ponekad je opis prilično točan, dok ponekad CaptionBot nudi opise koji nemaju nikakve veze s onim što je prikazano. Postoje i slučajevi kada aplikacija uopće ne može pružiti opis zbog svog grubog stanja na rubovima.

Microsoft je osmislio CaptionBot za učenje s više iskustva, uz očekivanje da će njegovi natpisi s vremenom postati precizniji. Što više slika prenose korisnici, aplikacija postaje bolja, kako opisuje CaptionBot:

Mogu razumjeti sadržaj bilo koje slike i pokušat ću je opisati kao i svaki čovjek. Još učim pa ću se zadržati na vašoj fotografiji, ali bez osobnih podataka.

CaptionBot koristi tri tehnologije za opisivanje onoga što se prikazuje na slici: Microsoftov Computer Vision, Emotion i Bing Image. Computer Vision API izvlači bogate informacije iz slika radi kategorizacije i obrade vizualnih podataka uz identifikaciju i izdvajanje teksta sa slike. Emotion API, kako mu i samo ime govori, analizira lica kako bi otkrio niz osjećaja, sve od bijesa, prezira, gađenja, straha, sreće, neutralnosti, tuge i iznenađenja. Bing slika traži slike na webu.

Ispitivali smo CaptionBot i rezultati su bili točni u 50% slučajeva. Na primjer, prenijeli smo dvije slike: jedna koja prikazuje miš za igranje, a druga snop kartica. U oba slučaja alat je sugerirao da se radi o mobitelu. S druge strane, CaptionBot je precizno otkrio ljude i lica.

Navodno CaptionBot ima opsesiju mobitelima. Jedan korisnik Twittera prijavio je da je aplikacija smatrala da je Michelle Obama mobitel. Za više smiješnih naslova CaptionBot pogledajte ovu stranicu na Twitteru.

CaptionBot možete testirati i ovdje. Iskušajte: ili ćete pomoći poboljšanju alata ili ćete se dobro nasmijati!