ChatGPT luidt een nieuw tijdperk in de generatieve kunstmatige intelligentie-industrie in. Met het succes van ChatGPT zijn er steeds meer tools voor kunstmatige intelligentie verschenen. De afgelopen jaren heeft Microsoft stappen ondernomen om generatieve AI-tools te verbeteren. ChatGPT is echter een op tekst gebaseerd taalmodel, dat niet dezelfde mogelijkheden heeft als DALL-E 2 of Wombo Dream. Met de lancering van Visual ChatGPT zal dat echter veranderen.
Wat is Visual ChatGPT?
ChatGPT is een chatbot met alleen tekst zonder de mogelijkheid om afbeeldingen of video's te genereren, en GPT-4 zal daar verandering in brengen. Visual ChatGPT kan afbeeldingen genereren, wijzigen of bijsnijden. Het combineert functies van ChatGPT en andere VFM's, zoals Stable Diffusion, Connecting ChatGPT en een reeks Visual Foundation-modellen om afbeeldingen te verzenden en te ontvangen tijdens chatten.
Visual ChatGPT helpt gebruikers afbeeldingen te genereren op basis van tekstprompts. Hoewel het op dit moment functies mist die andere AI-tools zoals Stable Diffusion hebben.
Microsoft verklaarde: "In plaats van een nieuwe multimodale ChatGPT vanaf nul te trainen, hebben we Visual ChatGPT rechtstreeks op basis van ChatGPT gebouwd en verschillende VFM's gecombineerd."
GPU-geheugengebruik
Visual ChatGPT vereist een hoge GPU en rekenkracht. Het GPU-geheugengebruik van elk vision-basismodel is als volgt:
Stichting Model
Geheugengebruik
AfbeeldingBijschrift
1755
Foto bewerken
6667
T2I
6677
lijn2afbeelding
6679
canny2afbeelding
5540
hed2afbeelding
6679
pose2afbeelding
6681
krabbel2afbeelding
6679
BLIPVQA
2709
diepte2beeld
6677
seg2afbeelding
5540
normaal2afbeelding
3974
InstrueerPix2Pix
2795
Zoals we hierboven vermeldden, hoewel ChatGPT is getraind om gebruikers op tekst gebaseerde antwoorden te geven, ontbreekt het aan het maken van afbeeldingen of video's. En Visual ChatGPT kan dit veranderen:
Er worden niet alleen woorden verzonden en ontvangen, maar ook beelden.
Het bieden van complexe visuele vragen of visuele bewerkingsinstructies vereist samenwerking in meerdere stappen van meerdere AI-modellen.
Feedback geven en correcties op resultaten aanvragen.
Wanneer wordt GPT-4 uitgebracht?
De CTO van Microsoft Duitsland heeft op 9 maart een verklaring afgegeven dat GPT-4 "volgende week" zal worden uitgebracht. GPT-4 wordt een multimodale LLM die in staat is om afbeeldingen en video's te maken van tekstaanwijzingen bovenop de mogelijkheden van GPT-3.5 voor tekstaanwijzingen. Klik hier voor meer informatie over Visual ChatGPT op de officiële Github.
