LangChain er et rammeverk for å bygge store språkmodeller ved hjelp av kunstig intelligens slik at den kan generere tekst og samhandle med mennesker. Asyncio er biblioteket som kan brukes til å kalle en modell som LLM flere ganger ved å bruke samme kommando eller spørring. Det gir også et løft i arbeidshastigheten til vår LLM-modell for å generere tekst effektivt.
Denne artikkelen viser hvordan du bruker 'asyncio'-biblioteket i LangChain.
Hvordan bruke/utføre 'asyncio'-biblioteket i LangChain?
Async API kan brukes som støtte for LLM-er, så for å bruke asyncio-biblioteket i LangChain, følg ganske enkelt denne veiledningen:
Installer forutsetninger
Installer LangChain-modulen for å begynne å bruke asyncio-biblioteket i LangChain for samtidig å ringe LLMer:
pip installere langkjede
OpenAI-modulen er også nødvendig for å bygge LLM-er ved å bruke OpenAIEmbeddings:
pip installere openai
Etter installasjonene, konfigurer OpenAI API-nøkkelen ved å bruke følgende kode:
importere ossimportere getpass
os.miljø [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'OpenAI API Key:' )
Bruke asyncio for å bygge LLM
Asyncio-biblioteket kan brukes til å støtte LLM-er ettersom følgende kode bruker det i LangChain:
import tidimportere asyncio
#Importerer asyncio-biblioteker fra LangChain for å bruke det
fra langchain.llms importerer OpenAI
#define funksjonen for å få tidsstemplet for seriell generering
def generere_serielt ( ) :
llm = ÅpenAI ( temperatur = 0,9 )
til _ i område ( 5 ) :
resp = llm.generer ( [ 'Hva gjør du?' ] )
skrive ut ( resp.generasjoner [ 0 ] [ 0 ] .tekst )
#definer funksjonen for å få tidsstemplet for synkron generering
async def async_generate ( llm ) :
resp = avvente llm.generere ( [ 'Hva gjør du?' ] )
skrive ut ( resp.generasjoner [ 0 ] [ 0 ] .tekst )
#define funksjonen for å få tidsstemplet for å generere data samtidig
async def generere_samtidig ( ) :
llm = ÅpenAI ( temperatur = 0,9 )
oppgaver = [ async_generate ( llm ) til _ i område ( 10 ) ]
vent asyncio.gather ( * oppgaver )
#konfigurer den resulterende utgangen ved å bruke asyncio for å få samtidig utgang
s = time.perf_counter ( )
vent generere_samtidig ( )
elapsed = time.perf_counter ( ) - s
skrive ut ( «\033[1m» + f 'Samtidig utført på {elapsed:0.2f} sekunder.' + «\033[0m» )
#konfigurer tidsstemplet for resulterende utgang for å få seriell utgang
s = time.perf_counter ( )
generere_serielt ( )
elapsed = time.perf_counter ( ) - s
skrive ut ( «\033[1m» + f 'Serial utført på {elapsed:0.2f} sekunder.' + «\033[0m» )
Koden ovenfor bruker asyncio-biblioteket til å måle tiden for å generere tekster ved å bruke to distinkte funksjoner som f.eks. generere_seriell() og generere_samtidig() :
Produksjon
Følgende skjermbilde viser at tidskompleksiteten for både funksjonene og tidskompleksiteten for samtidig tekstgenerering er bedre enn serietekstgenereringen:
Det handler om å bruke 'asyncio'-biblioteket til å bygge LLM-er i LangChain.
Konklusjon
For å bruke asyncio-biblioteket i LangChain, installer ganske enkelt LangChain- og OpenAI-moduler for å komme i gang med prosessen. Async API kan være nyttig når du bygger en LLM-modell for å lage chatbots for å lære av tidligere samtaler. Denne veiledningen har forklart prosessen med å bruke asyncio-biblioteket for å støtte LLM-ene som bruker LangChain-rammeverket.