End-to-end product search

This is a demo of the end-to-end product search engine developed in FashionBrain work package 6.

Given a full text query such das "rotes Kleid" (eng. "red dress"), our approach retrieves matching product images. You can try different queries in the demo and visually inspect retrieved images. This demo retrieves images from the test split of the Feidegger dataset (10% of data, 879 images) and is trained specifically for queries in German language, but the model is scalable to multilingual queries using the crosslingual embeddings supplied in Flair and multilingual datasets.

The underlying model employs a "two-tower" architecture in which each tower embeds one modality (i.e. full text queries and product images) into a shared embedding space. The embedding network for full text queries in the demo model is a bidirectional Gated Recurrent Unit (GRU) on top of pre-trained character-based LSTM (Long Short-Term Memory) embeddings for words. The embedding network for images is a shallow (3-layer) Convolutional Neural Net (CNN).

The entire architecture is trained "end-to-end" to minimize a similarity cost function with supervised learning over paired image-text datasets. For the demo model, we used a training split of Feidegger (80% of all data, 7034 images) which is open source and thus publicly available, allowing reproduction of our results. The model is implemented and trained in Flair framework.

Ein knielanges, hell pinkes Kleid. Es besitzt einen runden Ausschnitt, keine Ärmel und die Schultern sind frei. Ein schwarzes Hemdkleid. Es hat einen Hemdkragen und ist ärmellos. An der Tallie hat es ein Band. Ein kurzärmliges Kleid , das deutlich über den Knien endet. Der dunkelblaue Stoff ist mit einem weißen, blattähnlichen Muster bedruckt. DerAusschnitt ist rund und breit. Um die Taille ist ein schmales, schwarzes Band geschlungen. Der Rockteil weist zwei aufspringende Abnäherfalten auf. Langes Sommerkleid ohne Ärmeln. Das Kleid ist grau/schwarz, mit rotem Blumenmustern am Rock. Es reicht bis zu den Füßen. Es hat einen V-Ausschnitt. Kurzes sexy Minikleid mit vertikalen schmalen roten und weißen Streifen, schulter frei mit faltigen Absatz auf Brust Höhe und breiten oben offenen Ärmeln. Ein Knie langes Kleid in rot. Es hat einen runden Halsausschnitt und lange Ärmel. Ein Dunkel-Rosa kurzes Minikleid, mit einem geradem Schulterfrei Ausschnitt einer Rüsche und kurzen Ärmeln. Ein hellblaues Kleid mit freien Schultern und mittellangen Ärmeln. Es hat Stickmuster an den Ärmeln und am unteren Ende. Es hat einen dezenten V-Ausschnitt und fällt bis über die Hüfte. ärmelos, mittelweiter Ausschnitt, band oberhalb der hüfte, blau, unterhalb weit geschnitten Es ist ein langes weites weißes Kleid ohne Ärmel und mit einem V-Ausschitt. Rotes Kleid, fast knielang, keine Ärmel. Oben Rüschen, kein Ausschnitt. Nicht tailliert. Es ist ein leichtes kurzes Sommerkleid, vertikal zweifarbig auf der einen Seite weiß mit rotem Muster, auf der anderen Seite anthrazit mit weißem Muster. in Kleid das hinten zu gemacht wird mit einem Hacken. Es hat keine Arme und die Knie sind frei. Ein langes, dunkel blaues Kleid mit silbernem Muster auf dem Oberteil. Es liegt am Hals an, besitzt keine Ärmel und die Schultern sind frei. dunkles kurzes Kleid mit hellem Muster nach unten etwas weiter ausgestellt , kleiner Stehkragen , ärmellos mit passendem schmalen Gürtel Ein olivfarbenes Kleid. Das Kleid aht einen Hemdkragen und halblange Ärmel. Das Kleid reicht etwa bis zur Mitte der Oberschenkel. schönes weißes Kleid mit einem großen Betrachtungshülse Oberteil ist aus Spitze Boden gemacht ist etwas breiter sehr schön und stilvolles Kleid. bunt geblümtes , knie langes damen kleid , eng anliegend mit kurzen ärmeln , schulterfrei und trägerlos Es handelt sich um ein knielanges Kleid mit runden Ausschnitt und es eignet sich ideal für die XXL-Figur. Ein schwarzes Kleid mit rosa Blumenmuster. Es hat einen runden Ausschnitt und sehr kurze Ärmel. Das Kleid reicht etwa bis zur Mitte der Oberschenkel. weißes knielanges leger geschnittenes Kleid in Crepesstruktur mit schwarzen schmalen Bündchen an den langen Ärmeln und am Ausschnitt weißess kleid mit einem sehr schönen blauen blumenmuster,e s geht bis zu den Knie und ist ein weiter Rock Es ist ein Schwarzes Kleid für Damen. Es hat einen runden Ausschnitt und lange Ärmel. Es ist ein weises Muster auf dem Kleid angebracht. Lediglich der untere Teil des Kleides ist komplett schwarz. Knielanges Stoffkleid in blau, tailliert. Schulterfrei mit hohem geradem Kragen. Es handelt sich um ein sehr kurzes und sexy Kleid. Das Kleid ist schwarz hat lange Ämrel und wird zugeknöpft. schöne Damen über dem Knie Farbe dunkelblau in der Mitte Kleid ein schwarzer Gürtel mit kurzen Ärmeln und auf beiden Seiten hat, ist mit weißen langen Streife sehr schön und stilvoll gemacht. weißes Kleid mit Regenbogen und roten Schuhen grüner Taschen, sieht kacke aus Es ist ein blaues knielanges gerade geschnittenes Kleid, das mit Spitze besetzt ist.Es hat kleine Flügelärmel. Das Oberteil sieht aus als ob es separat ist. es hat einen runden Ausschnitt. Ein kurzes, schwarzes Kleid mit silbernem Streifen-Muster. Es besitzt einen tiefen V-Ausschnitt und keine Ärmel. schwarzes kleid mit einer sher großen dekorativen schleife um den halsmit weiß gesäumten rand ansonsten ist es schlicht gehalten Es ist ein dunkelblaues sehr kurzes Ballkleid, das breite Träger aus Spitze hat ,das Oberteil ist aus Spitze und der Rock ist weit schwingend es ist auf Taillie geschnitten um die Taillie sieht es aus wie ein breites Band. Vorne ist ein runder im Rücken ein tiefer spitzer Ausschnitt. ein karoartiges muster bei eienem hemdkleid mit kragen und schwarz weiß .vorne schlaufe in schwarz Langärmliges helles Sommerkleid mit bunten Blumen Muster. Das Kleid ist aus dünnem Stoff und hat einen V-Ausschnitt. Es geht bis zu den Knöcheln. Dunkel graues kurzes Minikleid mit kurzen Ärmeln und breiten runden Ausschnitt, tailliert und mit Spitzen Applikationen über das gesamte Kleid. Ein hummerfarbenes Abendkleid, das vorne knapp knielang ist und hinten lang. Das Oberteil ist anliegend, ärmellos, mit rundem Ausschnitt und tiefen Armausschnitten. Über der Taille sind zwei streifenförmige Aussparungen angebracht, die Haut hervorblitzen lassen, Der Rock schwingt. Ein hellblaues Kleid mit einem runden Ausschnitt und langen Ärmel welche nach vorne weiter geschnitten sind und es hat auf beiden je 3 Schleifen verteilt auf der Armlänge. Es fällt bis über die Hüfte und ist locker geschnitten. Ein Schwarzes kurzes einem T-Shirt ähnliches Minikleid, mit einem Weißem Schriftzug am Saum und den kurzen Ärmeln. Es ist ein kurzes leichtes rosa Kleid, schulterfrei, leicht tailliert und mit raffiniert geschnit4nen Ärmeln. schwarzes Langes kleid welches über den Boden schleift es hat eien riunden engen Ausschnitt und die Träger sind knapp 10 cm Hübsches halblanges helles Damenkleid mit halblangen Ärmeln und hohem runden Ausschnitt. Der Rock wirft Hübsche Falten. Ein kurzes, blaues Kleid mit angeschnittenen, kurzen Ärmeln. Der Stoff wirkt T-Shirt-artig, das Kleid ist weit geschnitten. Der Ausschnitt ist rund. Durch ein schmales Stoffband, das vorne im Mittebereich aus dem Kleid ragt, wird das Kleid im Hüftbereich gerafft, das Stoffband ist zu einer Schleife gebunden. An den Seiten des locker fallenden Rockteils befindet sich je eine Eingrifftasche. Ein Dunkelgraues mit vielen weißen Blumen Bedruckt knielanges Kleid, mit Ziernaht in Bauchhöhe, weitem Rock, halbrundem ausschnitt und kurzen Ärmeln. Knielanges Stoffkleid mit dunkelblauem Faltenrock und weißem Sptzienoberteil mit hohem Kragen und kurzen Ärmeln. schöne Damen kleiden lang über dem Knie Farbe weiß mit schwarzen Blumen und mittlere Gürtel schön und stilvoll. Ein hellgraues, knielanges Kleid mit weißen Punkten. Das Kleid hat kleine Flügelärmel und einen runden Ausschnitt. Ein Stoffband in der Taille kann zur Schleife gebunden werden, der Rock ist weit schwingend. Es ist ein kurzes mehrfarbiges Sommerkleid das auf Taillie geabeitet ist.Es hat keine Ärmel und einen runden Ausschnitt.Die Grundfarbe ist weiss blaue und rote Blumen mit etwas grün.Es hat einen schmalen roten Gürtel. Ein bis etwas unterhalb die Knie reichendes, hemdartiges Kleid. Der weiße Stoff ist mit divers breiten, dunkelblauen Längsstreifen bedruckt, die langen Ärmel haben quer gestreifte Krempen. Das Kleid hat einen schmaler Stehkragen, vorn ist das Kleid bis unter die Brust mit kleinen, weißen Knöpfen zu schließen. Das blind um die Taille gewundene, schmale Stoffband ist in der Mitte zu einer Schleife gebunden. Der Rocksaum ist leicht gerundet,hinten ist der Rock fast eine handbreit länger als vorn. Ein weißes, knielanges Kleid. Es hat einen Rundausschnitt und keine Ärmel. Es ist figurbetont. Der Rock ist ausgestellt und hat Falten. Es hat ein großflächigen blauen Blumenaufdruck. Ein etwas knielanges Shirt-Kleid mit kurzen Ärmeln. Das Kleid ist schwarz, mit Blumenmustern und Schriftzügen am Rock. Es hat einen runden Ausschnitt. Ein schwarz-hellbraun gestreiftes, knielanges Kleid ohne Ärmel und mit rundem Ausschnitt. Das Oberteil ist figurbetont, der Rock weit schwingend. Ein über die Knie reichendes schwarzes Kleid. Es hat einen V-förmigen Ausschnitt. Die Ärmel sind lang und ab dem Ellenbogen sehr stark faltig aufgeweitet. schwarzes mit bunten Blumen bedrucktes Minikleid , nach unten hin leicht ausgestellt , breite Träger , weiter runder Ausschnitt rotes Klied welches an den waden bis zum boden geht aber vorne schon auf knie höhe aufhört ein kleid mit rosa grauem muster. es sit knielang und hat keine ärmel Es ist ein blaues Kasack mit weißen Blumen drauf. Er hat kurze Ärmel und einen spitzen Ausschnitt. Fuchsiafarbenes kurzes Strickkleid. Wickelkleid, links schließbar. V-Ausschnitt. Rock ausgestellt, locker schwingend. Es handelt sich um ein Kleid das dunkelblau ist. Das Kleid hat keine Ärmel und eine runden Ausschnitt. Dieses Kleid hat einen sehr feinen schwarzen Gürtel. hautfarbenes bis hin zu rosa kleid, es besteht wohl aus SPitze und hat einen schlictz an den beienn Langes Kleid ohne Ärmeln. Das Kleid ist rosa ohne Motive am Rock. Es reicht bis zu den Füßen und hat einen weiten V-Ausschnitt. Schulter freies ärmelloses langes rotes Kleid mit aufgesetzten breiten Band im Brust Bereich, sehr tailliert. Knie langes stark gemustertes Kleid da vorne etwas kürzer ist. Es hat einen V-Ausschnitt und halb lange Arme. ein schwarzes kurzes kleid mit langen armen sehr leicht fallend und schön Ein langes, dunkel blaues Kleid mit silbernem Muster auf dem Oberteil. Es liegt am Hals an, besitzt keine Ärmel und die Schultern sind frei. Kurzes Kleid mit dünnen Trägern, schultern sind frei an den Ellenbogen sind Ärmel. Ein hellblaues ärmelloses Kleid mit einem Kragen Band. Es fällt bis über die Hüfte und hat einen dünnen Saum um den Bauch. Enganliegendes weißes Minikleid mit geschlossenem Ausschnitt und langen Ärmel und schmalen vertikalen Streifen. ein graues kleid. ees hat auf der rechten seite einen träger und links einen langen ärmel. der schnitt wirkt figurbetont. der rock hat vorne einen schlitz, der bis zu oberschenkel reicht. der rock geht bis kurz über das knie. Knielanges, schwarzes Kleid. Das Kleid ist schulterfrei. Ärmelende und Rockende sind mit Spitze. Halblanges ärmelloses dunkelblaues Damenkleid mit Spitzen Applikationen im Oberteil und schmalem geknoteten Gürtelband. Ein kurzes, weißes Kleid mit pink, grauen Mustern. Es besitzt einen runden Ausschnitt und kurze Ärmel. Haben Sie ein graues Kleid mit halben Ärmeln. Keine Muster. Unter dem Knie Ein schwarzes Tshirtkleid. Es hat einen runden Ausschnitt und kurze Ärmel. Das Kleid reicht etwa bis zur Mitte der Oberschenkel. Ein kurzes, ärmelloses Kleid. Auf den weißen Stoff des Oberteils mit rundem Ausschnitt sind schwarze, blütenartige Gebilde aufgedruckt, auf den schwarzen Rockteil weiße, derartige Gebilde. Der weite Rock fällt in Wellen. Dunkles knielanges Damenkleid mit weißen Punkten. Ärmellos mit tiefem V Ausschnitt und schmalem Gürtelband. Ärmelloses knielanges schwarzes Damenkleid mit hauchdünnen Trägern und Dekollete betonendem V Ausschnitt. Knielanges Kleid mit langen Ärmeln. Das Kleid ist grau und ohne Motive am Rock. Es wirkt sehr figurbetont. Es hat einen weiten runden Ausschnitt. Extravagantes Minikleid in der Frabe Orange, schulterfrei und lange Ärmel. Die Länge des Kleides endet detlich über dem Knie. ein graues kleid mit kurzen armen. großes runder ausschnit am hals. es iat nicht lang geschnitten . die Knie sind frei. Dies ist ein schwarzes mittellanges Kleid mit bunt aufgedrucktem Blumenmuster. Es hat kurze Ärmel. Oben hat es einen V-förmigen Halsauschnitt. Es ist ein beigefarbenes gerade geschnittenes knielanges Spitzenkleid, das keine Ärmel hat. Es hat einen runden Ausschnitt und am Rock an der seite einen Schlitz.Das Oberteil hat noch weisse Verzierungen. Ein Kleid mit adidas auf Druck vorne auf der Brust. Es hat kurze Arme und die Knie sind frei. Knielanges Stoffkleid mit schwarzem Faltenrock, Ledergürtel und weißem Oberteil mit tiefem rundem Ausschnitt und langen Ärmeln. Ein schwarzes Kleid mit rosa Blumenmuster. Es hat einen runden Ausschnitt und sehr kurze Ärmel. Das Kleid reicht etwa bis zur Mitte der Oberschenkel. Es handelt sich um ein dunkelgraues Kleid mit Rundausschnitt. Es endet auf Höhe der Oberschenkel und bedeckt die Schultern. Ein rotes, knielanges Kleid. Es hat einen U-Boot-förmigen Ausschnitt und ellenbogenlange, weite Ärmel. ein dunkelblaues abendkleid mit einem silberfarbenen muster. der ausschnitt fällt bis über die schultern. es hat dreiviertellange ärmel und der rock geht bis zum boden. Ein schwarz und weiß gestreiftes Kleid. ES hat einen runden Ausschnitt und keine Ärmel. Das Kleid reicht etwa bis zur Mitte der Oberschenkel. Hellbalues kurzes Kleid mit buntem Aufdruck. V-ausschnitt. Rock unter Brust angesetzt. Durchsichtiger Streifen unter Brust und in der selben Höhe auf Armen. Ärmel lang ab Streifen weit ausgestellt. Alles luftig fallend. Boden langes Kleid mit einem transparenten Saum am Ende. Es hat einen gezackten Rundhals und kurze Arme. Das ist ein kurzes rotes Kleid mit kurzen Es handelt sich um ein knielanges beige ohne Ärmel und einen runden Ausschnitt. Ein schwarzes kurzes Kleid mit weißen Punkten und halblangem Arm Langes pinkes Kleid mit Neckholder. Die Schultern sind frei und ohne Ärmel. Tailliert und mit Schlitz am Bein. Jacket ähnliches Minikleid schwarz mit langen Ärmeln und ovalen tiefen Ausschnitt sowie Halsband. Kurzes gerade geschnittenes Kleid. Es hat einen schmalen V-Ausschnitt und kurze faltige Arme. Ein kurzes, weißes Spitzenkleid mit einem Blumenmuster. Es hat einen am Saum weit gezackten Stehkragen. Die Ärmel sind kurz und am Saum ebenfalls gezackt, so wie auch der Rocksaum. Der Rock ist ausgestellt. Unter dem transparent weißen Spitzenstoff ist ein blickdichtes, weißes Unterkleid mit rundem Ausschnitt angebracht. ein schwarzes längeres kleid mit leichtem rock und kurzen armen Waden langes bequemes Kleid .Es hat einen leichten V-Ausschnitt und kurze Ärmel. Ein Kleid mit rundem Hals aus schnitt. Die länge ist bis über den Knie. Ein schwatzes Hemd-Kleid, sehr kurz. Das Modell mit Kent-Kragen wird mit einer durchgehenden versteckten Knopfleiste vorne geschlossen. Lange Ärmel mit Manschetten verleihen dem Kleid das interessante Note durch Spitzeneinsätze an den Seiten. Auch im Brustbereich sind Spitzenstreifen eingearbeitet.
Flair from Zalando Research is available at this link.
Copyright © FashionBrain 2020 Design by Marc Bonne and Iana Gein of Sonic UX