De Google Lens is een slimme camera die objecten, dieren en tekst kan herkennen en vervolgens daar mee aan de slag kan.
Het gaat bijvoorbeeld om populaire plaatsen, waarover de Google Lens dan meer informatie geeft zoals wat het gebouw is en wat bijvoorbeeld de openingsuren zijn. Maar ook planten en dieren kan de slimme camera herkennen, over meubels en kleding geeft de Google suggesties waar je het kan kopen. Ook tekst wordt herkend en kan gelezen en gekopieerd worden.
Maar hoe doet de Google Lens dat allemaal?
Het antwoord is: machine learning en computer vision. Maar een algoritme voor machine learning is maar zo goed als de gegevens waaruit het leert. Daarom maakt de Google Lens ook gebruik van honderden miljoenen zoekopdrachten in Image Search voor een bepaalde term, bijvoorbeeld “zonnebloem”, samen met de duizenden afbeeldingen die voor elke zoekopdracht worden geretourneerd om de basis te vormen voor het trainen van de algoritmen.
Vervolgens gebruikt de Google Lens TensorFlow, het open source machine learning framework van Google, om foto’s van zonnebloemen te verbinden met de woorden “zonnebloem” en “bloem”.
Ten slotte worden die termen verbonden met het Knowledge Graph van Google, dat miljoenen feiten van alles bevat. Dit zorgt ervoor dat de Lens begrijpt dat een zonnebloem een soort bloem is.
Nochtans kan het gebeuren dat de Google Lens het mis heeft. Vaak ziet wat we in ons dagelijks leven zien er behoorlijk anders uit dan de beelden op het web die worden gebruikt om computervisie-modellen te trainen. We richten onze camera’s vanuit verschillende hoeken, op verschillende locaties en onder verschillende soorten verlichting. En de onderwerpen van deze foto’s blijven niet altijd stil. Hun fotografen ook niet. Hierdoor kan de Lens het eens missen.
Google is er volop mee bezig door de algoritmen te trainen met meer foto’s die eruit zien alsof ze zijn genomen met smartphonecamera’s.
Maar soms wil je al eens tekst uit de echte wereld naar je telefoon kopiëren en plakken. Om dit mogelijk te maken, hebben ze de Lens het vermogen gegeven om te lezen en kun je actie ondernemen met de woorden die u ziet. Bijvoorbeeld je telefoon naar een visitekaartje richten en deze toevoegen aan uw contacten, of ingrediënten van een recept kopiëren en deze in uw boodschappenlijst plakken is allemaal mogelijk.
Google is volop bezig (geweest) met haar algoritmen uit te breiden en meer en meer voorwerpen te herkennen. Ondertussen komen ze al aan een miljard voorwerpen die opgenomen zijn in de database. Volgens The Verge komt dat getal van Google Shopping. Dus voorwerpen die gekocht kunnen worden zoals planten, dieren en gebouwen.
