Waarom Generatieve AI
“Genratieve AI kunnen we zien als infrastructuur om complexe relaties in systemen te herkennen en te gebruiken in een logische output”
Generatieve AI is een onderwerp binnen het vakgebied AI. Door snelle technologische vooruitgang zijn de mogelijkheden met machine learning enorm gegroeid, betere processoren en computerchips maken het mogelijk om steeds geavanceerdere AI modellen te trainen.
Large Language Models
Grote taal modellen zoals GPT, BARD zijn getraind op grote hoeveelheden data (ongestructureerde tekst).
De data wordt op een bepaalde manier gevoed aan het model om relaties tussen, karakters, woorden, zinnen, pagina's, opmaak, etc.. te herkennen. Het model wordt getraind met voorbeelden om te voorspellen welke output het meest logisch is op basis van de gegeven input. De volgende letter in het woord, in de zin, in de context.
Nieuwe technologie maakt het mogelijk om steeds meer en complexere relaties vast te leggen in een model. Ook de input en output worden groter waardoor steeds complexere 'voorspellingen' mogelijk zijn op basis van meer gedetailleerde input.
Complexiteit
Het mooie is dat uit simpele regels complexiteit ontstaat. In ons alfabet kennen we letters, cijfers, leestekens, etc. De combinatie van deze karakters vormen woorden, zinnen, documenten, boeken, emails, chats, etc.. Er zijn combinaties van karakters die vaker voor komen dan andere combinaties, ook zijn er combinaties die niet voorkomen. Hetzelfde geldt voor woorden, zinnen, etc.
Naast de fysieke combinaties zitten in onze teksten ook andere relaties verstopt. Het is namelijk onze taal waarmee we al millennia communiceren. Bijvoorbeeld kennis, emoties, dromen, etc. Omdat generatieve modellen steeds meer relaties kunnen vastleggen komen ook steeds complexere patronen naar boven. In de complexiteitstheorie spreken we van eigenschappen die ontstaan uit complexe relaties.
Om te beginnen ontstaan deze systemen uit interacties tussen ‘actoren’, die op het niveau van het systeem als geheel leiden tot ‘emergente eigenschappen’ die niet tot de individuele actoren te herleiden zijn. Zo is een file een eigenschap van ‘het verkeer’ en niet van één auto. Een tweede kenmerk is dat die emergente eigenschappen niet-lineair gedrag vertonen: bij precies hetzelfde aantal auto’s op een weg is de ene keer wel en de andere keer geen sprake van een file.
MULTI MODEL
Bij een taal moeten we niet alleen denken aan tekst. Een afbeelding heeft ook eigenschappen en is opgebouwd uit een verzameling van pixels die een positie en een kleur hebben. Ook programmeertalen hebben eigenschappen en zijn verzamelingen van relaties tussen karakters.
Het zijn allemaal verzamelingen van combinaties die mogelijk zijn en combinaties die niet mogelijk zijn bij een gegeven scenario (output). Bij hele grote verzamelingen is het niet mogelijk om alle combinaties en relaties op te slaan en moeten die worden gewogen in een model. Wellicht kan een quantum computer ons hier in de toekomst mee gaan helpen.
De nieuwe generatie modellen (Multi model) worden daarom ook getraind met meerdere soorten data. Naast tekst worden ze ook getraind met afbeeldingen, geluiden, video's (reeks van afbeeldingen), muziek, programmeercode, etc. Hierdoor is het herkennen van nog meer complexe relaties mogelijk en dat geeft weer inzicht in nieuwe eigenschappen. Generatieve AI kunnen we daarom ook zien als infrastructuur om complexe relaties in systemen te herkennen en te gebruiken in een logische output.
Geert Quint, Intellicare
29-3-2024
Afbeeldingen gegenereerd met DeepAI.org