Tänään, määrä kuvat on ottanut ihmisiä, joilla on älypuhelin kamerat haasteita rajoja jäsennelty luokittelu. Yhden ihmisen on vaikea luokitella omaa älypuhelinkuvien arkistoa, saati määritellä jäsenneltyä taksonomiaa kaikkien kuville.
Facebook-sivuilla ihmiset jakavat päivittäin miljardeja kuvia, mikä tekee haastavaksi vierittää taaksepäin ajassa löytääkseen muutama päivä sitten, saati kuukausia tai vuosia sitten julkaistuja kuvia., Auttaa ihmisiä löytämään kuvia he etsivät helpommin, Facebook Valokuva-Haku joukkue soveltaa koneoppimisen tekniikoita paremmin ymmärtää, mitä on kuvan sekä parantaa haku ja haku prosessi.
Kuva Haku oli rakennettu Yksisarvinen, in-muisti ja flash-muisti indeksointi järjestelmä, jonka tarkoituksena on etsiä biljoonia reunojen välillä kymmeniä miljardeja käyttäjiä ja yhteisöjä. Luotu muutama vuosi sitten valtaan social graph-tietoinen Graph Search, Yksisarvinen tukee miljardeja kyselyitä per päivä virtaa useita komponentteja Facebook.,
Grafiikkahaku rakennettiin hakemaan esineitä yhteiskunnallisesta graafista niiden välisten suhteiden perusteella, kuten ”My friends who live in San Francisco.”Tämä on todistettu olevan tehokas, mutta esittelee teknisiä haasteita, kun rajoittaa kyselyn asianmukaisen osajoukko, lajittelu ja pisteytys tulosten osuvuus, ja sitten toimittaa osuvimmat tulokset. Laajentaa tätä lähestymistapaa, Kuva Haku joukkue haki syvä neuroverkkojen parantaa tarkkuutta kuvan hakuja perustuu visuaalisen sisällön kuva ja haettavissa tekstiä.,
Mitä etsiä tarvitsee ymmärtää noin kuvat
Ymmärtäminen valokuvia Facebook on mittakaavassa esittelee eri haaste verrattuna osoittaa alhainen kuva-recognition error hinnat Imagenet Challenge-kilpailu. Soveltava tutkimus on tuottanut huippuluokan syvällisen oppimisen tekniikoita pystyy käsittelemään miljardeja kuvia pura haettavissa semanttinen merkitys valtava mittakaavassa. Jokainen julkisen lähetettyjä kuvia Facebook on käsitelty hajautettu reaaliaikainen järjestelmä nimeltään kuva ymmärrystä moottori.,
image understanding engine on syvä hermoverkko, jossa on miljoonia oppivia parametreja. Moottori rakentaa päälle state-of-the-art syvä jäljellä verkon koulutetut käyttävät kymmeniä miljoonia valokuvia merkintöjä. Se voi automaattisesti ennustaa runsaasti erilaisia käsitteitä, kuten kohtauksia, esineitä, eläimiä, nähtävyyksiä, ja vaatteet. Voimme kouluttaa malleja ja tallentaa hyödyllistä tietoa etukäteen, mikä mahdollistaa matalan viiveen vastaukset käyttäjien kyselyihin.,
kuva ymmärrystä moottori tuottaa korkea-ulotteinen float vektorit semanttisia ominaisuuksia, jotka ovat liian laskennallisesti intensiivinen indeksointi ja etsimällä Facebook mittakaavassa. Hyödyntämällä iteratiivinen kvantisointi ja paikkakunta-herkkä hajautus teknologia, ominaisuudet ovat edelleen puristetaan pieni määrä bittejä, jotka edelleen säilyttää useimmat semantiikkaa. Bit edustus käytetään kompakti Upotus kuvia, jotka voidaan suoraan käyttää ranking, haku, ja valokuva deduplication., Kompaktit upotukset sijoittavat tulosten järjestyksen vastauksena hakukyselyyn. Se on samanlainen tekniikka, jota sovelletaan asiakirjan haku ja haku, josta Yksisarvinen oli alun perin luotu, eri algoritmeja sovelletaan syvä neuroverkon kerrosten erityisesti etsimällä laaja kokoelma kuvia. Objektitunnisteet ja semanttiset upotukset kansoittavat yksisarvisen hakukyselyjen indeksillä. Kehitteillä on päivitys, jossa käytetään kompakteja upotuksia matalan viiveen hakuun.,
Käyttämällä tageja ja embeddings mallintamiseen
monimutkainen ranking malli soveltaa koko kuvan myymälä ei ole mahdollista, koska Facebook on mittakaavassa ja ihmisten odotukset, nopea vastaus kysymyksiin. Merkitystä mallia sovelletaan tunnisteet ja embeddings arvioiden merkitystä ja tuottaa matalan latenssin kyselyn tulokset.
Käsitteen merkitystä
Osuvuus arvioidaan rikas kyselyn ja kuva-käsite signaaleja vertaamalla käsite sarjaa, jossa on samankaltainen toiminto., Esimerkiksi kysely käsitteet ovat suoraan korreloi kuva käsitteitä kyselyn ”Central Park” edistää edelleen-aiheen kuvia ja poistaa off-topic kuvia aikana ranking.
Upottamisen merkitystä
Suoraan mittaamalla käsite korrelaatio kyselyn ja tulos usein ei ole tarpeeksi tarkasti ennustaa merkitystä. Kehitetyssä relevanssimallissa hyödynnetään multimodaalista oppimista, jotta voidaan oppia kyselyn ja kuvan yhteinen Upotus.,
tulot malli ovat upottamisen vektorit kyselyn ja kuva tulos. Koulutuksen tavoitteena on minimoida luokituksen menetys. Jokainen vektori on koulutettu yhdessä ja käsitellään useita kerroksia syvä neuroverkko tuottaa binary signaali, jossa positiivinen tulos tarkoittaa, ottelu ja negatiivinen yksi tarkoittaa ei-ottelussa. Kyselyn ja kuva-tulo vektorit ovat valmistettu eri verkkoja, mahdollisesti eri määrä kerroksia. Verkot voidaan kouluttaa tai hienosäätää yhdessä upotuskerroksen parametrien kanssa.,
Upottamisen kanssa ranking-tappio
edellä kuvattu lähestymistapa määrittää merkitystä välillä kyselyn ja kuva on muotoiltu luokittelun ongelma. Rankingin päätavoite on kuitenkin määrittää paras järjestys valokuvatulosten sarjalle. Meillä meni yli luokitus muotoilu ja käytetään koulutuksen ranking-tappio, joka käsittelee pari relevantteja ja ei-relevantteja tuloksia yhden kyselyn samaan aikaan.
kuten kuvassa näkyy, mallin oikea osa on syvä kopio vasemmasta osasta; eli sillä on sama verkkorakenne ja parametrit., Koulutuksen aikana kysely ja sen kaksi tulosta syötetään vasemmalle ja oikealle komponenteille vastaavasti. Positiivinen kuva on asetettu korkeammalle kuin negatiivisesti sijoittunut kuva tietyssä kyselyssä. Tämä koulutusstrategia osoittaa merkittäviä voittoja paremmuusjärjestykseen laatumittarit.
Kyselyn ymmärrystä soveltaa Kuva Haku
kuva corpus on haettavissa Yksisarvinen, jossa embeddings soveltaa kuvan ymmärrystä moottori., Bitmap on erottaa kysely ja haku lukuun ottamatta indeksi, jota käytetään hakea kuvan, jos kyselyn semantiikka soveltaa embeddings tuottaa suurella todennäköisyydellä merkitystä. Jotkut tärkeimmät signaalit, jotka on rooli käsitys semantiikan kysely on esitetty alla:
Kyselyn linjaukset viittaavat siihen, minkä tyyppisiä kohtauksia meidän pitäisi hakea. Esimerkiksi kyselyssä, jonka tarkoituksena on saada eläin, pitäisi näyttää valokuvatulokset eläimen kanssa keskeisenä aiheena.,
Syntaktinen analyysi auttaa ymmärtämään lause on kieliopin ainesosia, sanaluokat, syntaktisia suhteita, ja semanttinen. Hakukyselyt eivät yleensä noudata kirjoitetun kielen kielioppia, ja nykyiset parserit suoriutuvat huonosti. Käytämme state-of-the-art tekniikoita koulutusta hermo sanaluokka taggers hakukyselyistä.
Entity linking auttaa meitä tunnistamaan kuvia tietyistä käsitteistä, joita usein edustaa sivu, esimerkiksi paikat tai TV-ohjelmat.
kyselytietojen uudelleenkirjoittaminen käsitteiden ottamiseksi tarjoaa semanttisen tulkinnan kyselystä., Käsitteet paitsi laajentavat kyselyn merkitystä myös kaventavat kyselyssä ja tuloksessa käytettyjen eri sanastojen välistä kuilua.
kysely-embedding on kyselyn jatkuva vektoriavaruusesitys. Se on oppinut kautta siirtää oppimisen päälle word2vec vektori edustus sanoja, jotka kartat vastaavia kyselyitä lähellä pistettä.
Toimialallaan ja kyselyn kirjoittamasta
Kun joku tyypit kyselyn ja osumia haku, pyyntö luodaan ja lähetetään meidän palvelimille. Pyyntö menee ensin web-tasolle, joka kerää erilaisia kontekstuaalisia tietoja kyselystä., Kyselyn ja niihin yhteydessä lähetetään ylhäältä aggregator tason, joka kirjoittaa kyselyn osaksi s-lauseke, joka sitten kuvataan, kuinka voit hakea joukko asiakirjoja index server.
Perustuu kyselyn tarkoitus, jokin laukaiseva mekanismi käytetään neuroverkon malli päättää, mikä toimialallaan — esimerkiksi, uutisia, kuvia tai videoita — ovat merkityksellisiä välttämään tarpeettomia pyyntöjä käsitellään vähemmän merkitystä toimialallaan., Esimerkiksi, jos henkilö kyselyt termi ”hauska kissat,” tarkoitus olisi etsiä ja palata enemmän tuloksia kohteesta valokuvia pysty-ja ohittaa hakujen tulokset uutiset pystysuora.
Jos kysely Halloweenista laukaisee sekä aikomuksen julkisiin valokuviin että kavereiden kuviin Halloween-asuissa, etsitään sekä yleisö-että yhteiskuvavertioita. Hakijan ystävien kesken jaetut kuvat sekä asiallisiksi rankatut julkiset kuvat palautetaan. Kaksi itsenäistä pyyntöä tehdään, koska sosiaaliset kuvat ovat erittäin yksilöllisiä ja vaativat omaa erikoistunutta noutoa ja pisteytystä., Photo privacy on suojattu soveltamalla Facebook ’ s systemwide privacy controls tuloksiin. Alla oleva kaavio kuvaa moduulia, jossa yläosa on sosiaalinen ja alaosa Julkinen.
Ensimmäisen vaiheen sijoitus
Kun indeksi palvelimia, hakea asiakirjoja mukaan s-ilmaus, kone-oppi ensimmäisen vaiheen ranker on soveltaa näitä asiakirjoja., Alkuun M asiakirjojen kanssa korkeimmat pisteet lähetetään takaisin telineeseen aggregator tason, joka suorittaa yhdistää tavallaan kaikki asiakirjat, joita se vastaanottaa, ja palaa sitten alkuun N tulokset top-lukijaohjelma tason. Ensimmäisen vaiheen rankingin päätavoitteena on varmistaa, että telineaggregaattorille palautetut asiakirjat säilyttävät merkityksensä kyselylle. Esimerkiksi kyselyssä ”koira” kuvat koirien kanssa tulisi asettaa paremmuusjärjestykseen kuin ilman koiria. Latenssi nouto-ja ranking-vaiheen monimutkaisuudesta on tasapainoinen palvelemaan asiaankuuluvia kuvia millisekuntien järjestyksessä.,
Toisen vaiheen re-ranking
Jälkeen sijoittui asiakirjat palautetaan top-lukijaohjelma, ne menevät läpi toisen kierroksen signaaleja laskettaessa, deduplication, ja ranking. Koko tuloksen jakautumista kuvaavat signaalit lasketaan, jolloin havaitaan ulkotuloksia. Seuraavaksi asiakirjat deduplicated visuaalisesti samanlaisia tuloksia käyttäen kuvan sormenjäljet. Tämän jälkeen syvä hermoverkko tekee maalin ja asettaa kuvan lopputuloksen lopulliseen järjestykseen. Kokoelma rankattu kuvia, kutsutaan moduuli, siirretään sitten tulokset sivu UI.,
hienosäätöä merkitystä ranking Kuva Haku
arviointi kysely on merkitystä kuva ja päinvastoin on ongelman ydin ja Kuva Haku, joka ulottuu pidemmälle kuin teksti-pohjainen kysely uudelleenkirjoitus ja vastaavat. Se vaatii kattavaa ymmärrystä kyselyn, tekijän, postitekstin ja visuaalisen sisällön valokuvatuloksen., Advanced merkitystä mallit, joissa valtion-of-the-art ranking, luonnollisen kielen käsittely, ja konenäkö tekniikoita kehitettiin hienosäätää merkitystä ne tulokset, antaa meille uusi kuva taksonomian järjestelmä, joka kykenee tuottamaan nopeasti asianmukaisia tuloksia mittakaavassa.