Machine learning maakt jouw iPhone slimmer dan andere telefoons

Als je ieder jaar naar de presentatie van de nieuwe iPhone-modellen kijkt, dan is het je misschien wel opgevallen hoe trots Apple telkens de zogenaamde Neural Engine presenteert. Ook dit jaar was het weer raak.

Er werd een enthousiast verhaal gepresenteerd over 15,8 biljoen berekeningen per seconde en zestien extra snelle rekenkernen, waarbij typisch Apple-taalgebruik als ‘astounding’, ‘life leading’ en ‘empowering’ natuurlijk niet kon ontbreken. Maar wat betekent dit precies?

De Neural Engine is een ‘coprocessor’, oftewel een extra processor die gericht is op een specifieke functie. Deze functie is in dit geval machine learning: een vorm van kunstmatige intelligentie waarbij de computer een taak ‘leert’ uit te voeren. Dit zorgt voor allerlei nieuwe mogelijkheden die met traditioneel programmeerwerk onhaalbaar zijn.

Een simpel voorbeeld: het herkennen van beelden. Stel, je wil dat een computer een koe kan herkennen op een foto. Als je dit op de ‘ouderwetse’ manier zou programmeren, moet je zelf zoeken naar herkenningspunten van de koe. Die moet je vervolgens in een (voor de computer te begrijpen) algoritme zetten zodat, als de computer de herkenningspunten ziet, de koe herkend wordt. Om zo’n algoritme betrouwbaar te maken, is zeer lastig.

Met machine learning is dezelfde taak véél gemakkelijker. Het lijkt dan bijna op opvoeding: als je een kind wilt leren om een koe te herkennen, laat je de koe uit een boerderijboekje zien en de herkenning volgt vanzelf. Je doet hetzelfde met machine learning: je laat een computer foto’s van koeien zien, vertelt hem waar hij naar kijkt, en hij leert vervolgens zelf hoe hij de koe moet herkennen.

Machine learning kun je op ontzettend veel taken toepassen. Handschrift herkennen? Voedt de computer handgeschreven teksten en vertel hem wat er staat. Foto’s verbeteren? Geef de computer foto’s en laat hem een handmatig bewerkte versie zien. Spraakherkenning? Laat de computer naar gesprekken luisteren en geef er geschreven tekst bij.

De mogelijkheden zijn eindeloos, en we staan nog maar aan het begin. Juist daarom vindt Apple zijn Neural Engine zo belangrijk: het maakt de iPhone, iPad en (M1) Mac significant beter in machine learning dan de meeste computers, waardoor ze klaar zijn voor de toekomst.

Maar ook vandaag de dag zijn er al veel gave toepassingen van machine learning te vinden op je Apple-devices, en wij hebben ze in deze Genius voor je verzameld!

Machine learning vormt stiekem al de basis van allerlei functies in iOS. Zo zit het onder andere in Foto’s, Camera en Siri.

Van alle apps van Apple, zit er in Foto’s misschien nog wel het meeste machine learning verwerkt. Het mooiste voorbeeld hiervan is geavanceerde fotoherkenning. De iPhone herkent zelf mensen, dieren, omgevingen en objecten in je foto’s, waardoor je heel gemakkelijk kiekjes terugvindt.

Zoek je naar die ene foto van een pastagerecht dat je ooit hebt gemaakt? Tik op het tabblad ‘Zoek’, vul bovenin ‘pasta’ in en alle foto’s met noedels verschijnen vanzelf!

Machine learning wordt ook gebruikt bij het tabblad ‘Voor jou’ in Foto’s. Hier zie je automatisch gegenereerde filmpjes van jouw foto’s, die met superslimme algoritmes in elkaar worden gezet.

Zo weet je iPhone welke foto’s belangrijk zijn, welke dubbele foto’s niet getoond hoeven te worden, wat voor muziek er bij de foto’s moet, en wat het ritme van de muziek is om het tempo van de overgangen te bepalen.

In Camera zit vanaf de iPhone 11 een functie genaamd Deep Fusion. Dit is een techniek, gebaseerd op machine learning, die negen opnames van verschillende sluitertijden combineert tot één gebalanceerde en gedetailleerde foto.

Je telefoon analyseert ieder hoekje van de foto, en bouwt dan de foto op uit de beste stukken van de verschillende opnames. De Neural Engine is hier zó snel in, dat je zelf niet eens merkt dat de telefoon dit doet.

Toen Siri in 2011 werd aangekondigd, had de iPhone nog niet genoeg rekenkracht om zelf stemherkenning goed uit te kunnen voeren. Hierdoor vond alle stemherkenning plaats op de servers van Apple. Door de Neural Engine en iOS 15 is hier verandering in gekomen.

Nog lang niet alle opdrachten kunnen lokaal uitgevoerd worden, maar Siri kan nu wel (althans, in het Engels) zonder internetverbinding apps openen, instellingen veranderen, wekkers zetten en muziek bedienen.

Op de iPad zit tegenwoordig Scribble ingebouwd. Hiermee kun je op iedere plek waar je normaal gesproken kan typen gebruikmaken van je handschrift. Dit wordt dan door machine learning automatisch omgezet naar getypte tekst.

Helaas werkt deze functie nog niet in het Nederlands, maar eigenlijk kan je iPhone of iPad onze taal wel herkennen: als je een nieuwe notitie aanmaakt en erin schrijft in plaats van typt, zie je dat de titel van de notitie op basis van je geschreven tekst gemaakt wordt.

De App Store staat vol met apps die slim gebruikmaken van de machine learning.

Pixelmator, een beeldbewerkingsapp op de iPad en Mac, zit vol met slimme functies onder de noemer ‘ML’ (Machine Learning). Zo heb je ML Crop, waarmee je foto automatisch bijgesneden wordt. De app past dan een algoritme toe om je onderwerp goed te framen, en houdt daarbij rekening met de juiste verhouding en de regel van derden. Ook is er ML Enhance, die automatisch witbalans, licht- en kleurinstellingen aanpast om je foto te optimaliseren.

Maar het meest indrukwekkende is wel ML Super Resolution. Deze past een machine learning-algoritme toe om de resolutie van de foto significant te vergroten. Dit hebben we ook toegepast op de iCandy van iCreate 131!

Stel je loopt in het park, en je ziet een prachtige plant die je eigenlijk wel in je tuin zou willen hebben. Maar hoe heet deze soort precies? Met PictureThis kom je erachter.

De app maakt gebruik van machine learning om allerlei planten te herkennen, en doet dit verbazingwekkend snel. Richt je iPhone op flora, klik op de groene knop, wacht een paar seconden en alle informatie over de plant verschijnt in beeld.

Je kunt ook aangeven of de match klopt of niet. Door deze data te verzamelen, wordt PictureThis alsmaar beter in herkennen.

Misschien heb je al eens een filmpje van Wombo voorbij zien komen op social media. Met deze app kun je met een enkele foto van een gezicht een heuze meezingvideo maken.

De app herkent alle aspecten van het gezicht: waar de ogen zitten, de mond, wat de vorm van het hoofd is en meer. Vervolgens wordt deze informatie gebruikt om de gefotografeerde persoon mee te laten zingen met de meest vreselijke nummers, wat tot veel hilariteit leidt.

De techniek is trouwens niet superovertuigend: je ziet zo dat het een Wombo-filmpje betreft, dus waarschijnlijk gaat niemand denken dat die persoon werkelijk het liedje heeft gezongen!

Op social media, met name in Snapchat, Instagram en TikTok, zijn verticale filmpjes erg populair. En dat is begrijpelijk: je houdt de telefoon meestal verticaal vast tijdens het scrollen, dus als je filmpje het beeld vult in die stand ziet dat er extra leuk uit. Maar als je filmt doe je dat (hopelijk) met name in de landschapsmodus, wat dus niet goed past.

Final Cut Pro kan tegenwoordig echter met machine learning automatisch je filmbeelden knippen voor verticale filmpjes. Hij houdt daarbij rekening met het onderwerp, en houdt dit altijd in beeld.