Maatschappij

Wat staat er op die foto? Facebook weet het steeds beter

Software van Facebook kan nu beter ‘zien’ wat er op foto’s staat dan die van de concurrentie. De herkenning gebeurt op basis van de korte karakteriseringen (hashtags) die mensen zelf maken als ze hun foto’s op Instagram zetten.

Het techbedrijf maakte vorige week op zijn eigen congres F8 bekend dat de software 85,4 procent van de beelden in een trainingsset goed beschrijft. Het vorige record was 83,1 procent, dat eerder dit jaar werd behaald door een onderzoeksgroep van Google. Facebookonderzoekers hebben het artikel gepubliceerd op preprintserver arXiv.

Beeldherkenningssoftware gebruikt ‘machine learning’, een vorm van kunstmatige intelligentie. Daarbij wordt doorgaans gebruikgemaakt van grote hoeveelheden foto’s die door mensen zijn gelabeld om de algoritmes te trainen, bijvoorbeeld: op deze foto staat een kat, en op deze foto staat geen kat. Op basis van heel veel voorbeelden leert het algoritme, door analyse van de pixelpatronen op de foto’s, om op nieuwe foto’s katten te herkennen.

Throwbach thursday

Dit nieuwe algoritme van Facebook werd echter niet getraind met gelabelde foto’s, maar met foto’s en hun bijbehorende hastags van dochterbedrijf Instagram. Hashtags kunnen relevante infomatie geven over een afbeelding, maar lang niet altijd. Bij een foto van een kat kan de hashtag #cat staan, maar er zijn ook hashtags die geen informatie over de afbeelding geven, zoals #tbt. Dat staat voor ‘throwback thursday’ en wordt gebruikt voor nostalgische foto’s.

„Door hashtags slim te selecteren kon het effect van deze ‘ruis’ voldoende gereduceerd worden”, schrijft Laurens van der Maaten, een Nederlandse machinelearning-wetenschapper bij Facebook die betrokken was bij het onderzoek, in een e-mail.

Lees ook de serie De Formule: hoe algoritmes het dagelijks leven beïnvloeden