Vad är Visual ChatGPT och hur man använder det

ChatGPT inleder en ny era i den generativa artificiella intelligensbranschen. Med framgången med ChatGPT har fler och fler verktyg för artificiell intelligens dykt upp. Under de senaste åren har Microsoft vidtagit åtgärder för att förbättra generativa AI-verktyg. ChatGPT är dock en textbaserad språkmodell som inte har samma möjligheter som DALL-E 2 eller Wombo Dream. Men med lanseringen av Visual ChatGPT kommer det att förändras.

Vad är Visual ChatGPT?

ChatGPT är en chatbot för endast text utan möjlighet att generera bilder eller videor, och GPT-4 kommer att ändra på det. Visual ChatGPT kan generera, ändra eller beskära bilder. Den kombinerar funktioner från ChatGPT och andra VFM:er, såsom stabil diffusion, ansluter ChatGPT och en serie Visual Foundation-modeller för att skicka och ta emot bilder under chatten.

Visual ChatGPT hjälper användare att skapa bilder från textmeddelanden. Även om den just nu saknar funktioner som andra AI-verktyg som Stable Diffusion har.

Microsoft sa att "Istället för att träna en ny multimodal ChatGPT från grunden, byggde vi Visual ChatGPT direkt baserat på ChatGPT och kombinerade olika VFM."

GPU-minnesanvändning

Visual ChatGPT kräver hög GPU och datorkraft. GPU-minnesanvändningen för varje visionbasmodell är som följer:

Grundmodell	Minnesanvändning
ImageCaption	1755
Bildredigering	6667
T2I	6677
linje2bild	6679
canny2image	5540
hed2bild	6679
pose2image	6681
scribble2image	6679
BLIPVQA	2709
depth2image	6677
seg2image	5540
normal2bild	3974
InstructPix2Pix	2795

Som vi nämnde ovan, medan ChatGPT är utbildad för att ge användarna textbaserade svar, saknar den bild- eller videoskapande. Och Visual ChatGPT kan ändra detta:

Inte bara ord skickas och tas emot, utan även bilder.
Att tillhandahålla komplexa visuella frågor eller visuella redigeringsinstruktioner kräver samarbete i flera steg av flera AI-modeller.
Ge feedback och begär korrigeringar av resultat.

När släpps GPT-4?

CTO för Microsoft Tyskland utfärdade ett uttalande den 9 mars att GPT-4 kommer att släppas "nästa vecka". GPT-4 kommer att vara en multimodal LLM som kan skapa bilder och videor från textsignaler utöver GPT-3.5:s textledningsfunktioner. Klicka här för att se mer information om Visual ChatGPT på den officiella Github.