Konvertering av PySpark DataFrame til JSON

Emne for innhold:

• PySpark DataFrame til JSON Bruke To_json() med ToPandas()
• PySpark DataFrame til JSON ved hjelp av ToJSON()
• PySpark DataFrame til JSON ved å bruke Write.json()

La oss vurdere en enkel PySpark DataFrame i alle eksemplene og konvertere den til JSON ved å bruke de nevnte funksjonene.

Nødvendig modul:

Installer PySpark-biblioteket i miljøet ditt hvis det ikke er installert ennå. Du kan referere til følgende kommando for å installere den:

PySpark DataFrame til JSON Bruke To_json() med ToPandas()

Metoden to_json() er tilgjengelig i Pandas-modulen som konverterer Pandas DataFrame til JSON. Vi kan bruke denne metoden hvis vi konverterer PySpark DataFrame til Pandas DataFrame. For å konvertere PySpark DataFrame til Pandas DataFrame, brukes toPandas()-metoden. La oss se syntaksen til to_json() sammen med parameterne.

Syntaks:

1. Orient brukes til å vise den konverterte JSON som ønsket format. Det tar 'poster', 'tabell', 'verdier', 'kolonner', 'indeks', 'delt'.
2. Indeks brukes til å inkludere/fjerne indeksen fra den konverterte JSON-strengen. Hvis den er satt til 'True', vises indeksene. Ellers vil ikke indeksene vises hvis orienteringen er 'delt' eller 'tabell'.

Eksempel 1: Orienter som 'Records'

Lag en «skills_df» PySpark DataFrame med 3 rader og 4 kolonner. Konverter denne DataFrame til JSON ved å spesifisere orient-parameteren som 'records'.

Produksjon:

Vi kan se at PySpark DataFrame er konvertert til JSON-matrisen med en ordbok med verdier. Her representerer nøklene kolonnenavnet og verdien representerer rad-/celleverdien i PySpark DataFrame.

Eksempel 2: Orienter som 'Splitt'

JSON-formatet som returneres av 'delt'-orienteringen inkluderer kolonnenavnene som har en liste over kolonner, liste over indeks og liste over data. Følgende er formatet til den 'delte' orienteringen.

Produksjon:

Eksempel 3: Orienter som 'indeks'

Her blir hver rad fra PySpark DataFrame trukket tilbake i form av en ordbok med nøkkelen som kolonnenavn. For hver ordbok er indeksposisjonen spesifisert som en nøkkel.

Produksjon:

Eksempel 4: Orienter som «kolonner»

Kolonner er nøkkelen for hver post. Hver kolonne inneholder en ordbok som tar kolonneverdiene med indeksnummer.

Produksjon:

Eksempel 5: Orienter som «verdier»

Hvis du bare trenger verdiene i JSON, kan du gå for 'verdier'-orienteringen. Den viser hver rad i en liste. Til slutt blir alle listene lagret i en liste. Denne JSON er av typen nestet liste.

Produksjon:

Eksempel 6: Orienter som 'tabell'

'Tabell'-orienteringen returnerer JSON-en som inkluderer skjemaet med feltnavn sammen med kolonnedatatypene, indeksen som primærnøkkel og Pandas-versjonen. Kolonnenavnene med verdier vises som 'data'.

Produksjon:

Eksempel 7: Med indeksparameter

Først sender vi indeksparameteren ved å sette den til 'True'. Du vil se for hver kolonneverdi at indeksposisjonen returneres som en nøkkel i en ordbok.

I den andre utgangen returneres bare kolonnenavnene ('kolonner') og postene ('data') uten indeksposisjonene siden indeksen er satt til 'False'.

Produksjon:

PySpark DataFrame til JSON ved hjelp av ToJSON()

Metoden toJSON() brukes til å konvertere PySpark DataFrame til et JSON-objekt. I utgangspunktet returnerer den en JSON-streng som er omgitt av en liste. De [‘{kolonne:verdi,…}’,…. ] er formatet som returneres av denne funksjonen. Her returneres hver rad fra PySpark DataFrame som en ordbok med kolonnenavnet som nøkkel.

Syntaks:

Det kan være mulig å sende parametere som indeks, kolonneetiketter og datatype.

Eksempel:

Lag en 'skills_df' PySpark DataFrame med 5 rader og 4 kolonner. Konverter denne DataFrame til JSON ved å bruke toJSON()-metoden.

Produksjon:

Det er 5 rader i PySpark DataFrame. Alle disse 5 radene returneres som en ordbok med strenger som er atskilt med komma.

PySpark DataFrame til JSON ved å bruke Write.json()

Write.json()-metoden er tilgjengelig i PySpark som skriver/lagrer PySpark DataFrame til en JSON-fil. Den tar filnavnet/banen som en parameter. I utgangspunktet returnerer den JSON i flere filer (partisjonerte filer). For å slå sammen alle i en enkelt fil, kan vi bruke coalesce()-metoden.

Syntaks:

1. Legg til-modus – dataframe_object.write.mode(‘append’).json(‘filnavn’)
2. Overskrivemodus – dataframe_object.write.mode(‘overwrite’).json(‘file_name’)

Det kan være mulig å legge til/overskrive eksisterende JSON. Ved å bruke write.mode(), kan vi legge til dataene ved å sende 'append' eller overskrive eksisterende JSON-data ved å sende 'overwrite' til denne funksjonen.

Eksempel 1:

Lag en «skills_df» PySpark DataFrame med 3 rader og 4 kolonner. Skriv denne DataFrame til JSON.

JSON-fil:

Vi kan se at skills_data-mappen inkluderer de partisjonerte JSON-dataene.

La oss åpne JSON-filen. Vi kan se at alle radene fra PySpark DataFrame er konvertert til JSON.

Det er 5 rader i PySpark DataFrame. Alle disse 5 radene returneres som en ordbok med strenger som er atskilt med komma.

Eksempel 2:

Lag en 'skills2_df' PySpark DataFrame med én rad. Legg til en rad til forrige JSON-fil ved å spesifisere modusen som 'legg til'.

JSON-fil:

Vi kan se de partisjonerte JSON-filene. Den første filen inneholder de første DataFrame-postene og den andre filen inneholder den andre DataFrame-posten.

Konklusjon

Det er tre forskjellige måter å konvertere PySpark DataFrame til JSON. Først diskuterte vi to_json()-metoden som konverterer til JSON ved å konvertere PySpark DataFrame til Pandas DataFrame med forskjellige eksempler ved å vurdere forskjellige parametere. Deretter brukte vi toJSON()-metoden. Til slutt lærte vi hvordan du bruker write.json()-funksjonen til å skrive PySpark DataFrame til JSON. Tilføying og overskriving er mulig med denne funksjonen.