Microsofts VisualGPT lanserer en ny teknologi ' VisualGPT ” som er en fremgang av AI og åpner for muligheter for mer tiltalende og interaktive AI-opplevelser ved å bygge bro mellom det visuelle og språket.
Hva er VisualGPT?
VisualGPT er en utvidet versjon av ChatGPT som er basert på NLP (Natural Language Processing) modeller, men i VisualGPT brukes VFMS som kan konvertere tekstspørringer til bildeform. Det er slik at det er en kombinasjon/integrasjon av tekst- og bildespørringer.
Formålet med VisualGPT
Etter lanseringen av ChatGPT på markedet, som jobbet med tekstformatet som det eneste, for å oppnå neste utviklingsnivå er det perfekte verktøyet som vil fungere på tekstlig til grafisk format, etter alle disse grunnene og i kappløpet om AI fremskritt Microsoft lanserer VisualGPT hovedformålet med VisualGPT er å lage AI-bilder etter brukerens behov eller analysere bildet
Arkitektur av VisualGPT
VisualGPT inneholder User Query, Prompt Manager, Visual Foundation Models (VFMs), System Principle, History of Dialogue, History of Reasoning og Intermediate Answer.
Hvis vi spesifikt snakker om modellen, dvs. ' VFM-er (Visual Foundation Models) ”, nesten 22 VFM-er brukes, som BLIP (Bootstrapping Language-Image Pre-training), og Stable Diffusion.
Hvordan kjøre en Visual ChatGPT?
For å kjøre en Visual ChatGPT, vurder følgende trinn:
Trinn 1: Lag et miljø
For det første må du lage et miljø med Python versjon 3.8:
import sys
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
Trinn 2: Klon Visual ChatGPT-fil
Klon nå den visuelle ChatGPT-filen fra GitHub ved å bruke følgende kommando:
! git klone https: // github.com / deepanshu88 / visual-chatgpt.git 
Trinn 3: Sett opp en ny katalog
Sett deretter opp en ny katalog via kommandoen nedenfor:
% cd visual-chatgptTrinn 4: Installer de nødvendige pakkene
Installer nå de nødvendige pakkene ved å bruke ' pip ' cmdlet:
! krøll https: // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python3.8 -m pip installere -r krav.txt
Trinn 5: Få tilgang til OpenAI API
Etter å ha installert innledende pakker, få tilgang til OpenAI API ved å skaffe en API-nøkkel fra 'platform.openai.com' og foreta autentiserte API-kall:
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxTrinn 6: Velg modell
Til slutt, etter å ha tilgang til Openai velg modellen, er det mer enn 20 modeller som brukes i visualGPT, du kan velge i henhold til dine krav:
! python3.8. / visual_chatgpt.py --laste Text2Image_cuda: 0I kommandoen ovenfor, ' Text2Image ” tilsvarer modellen som skal brukes. For mer informasjon sjekk denne Google Colab notisbok .
Konklusjon
ChatGPT ble introdusert for å få spesifikke svar om ethvert spørsmål, og nå har Microsoft lansert VisualGPT som er i stand til å håndtere tekstlige så vel som billeddata. Det er slik at brukeren ganske enkelt kan legge til sine krav i tekstform og få dens grafiske utdata.