PySpark SelectExpr()

Pyspark.sql.DataFrame.selectExpr()

Selectexpr()-funksjonen tar kolonnene/settet med uttrykk og returnerer DataFrame basert på de angitte uttrykkene/kolonnene. Flere uttrykk kan spesifiseres i denne funksjonen som er atskilt med komma. For å vise DataFrame kan vi bruke show()/collect()-funksjonene.

Syntaks:

Her er pyspark_DataFrame_object input PySpark DataFrame.

Scenario 1: Velg kolonnene

I dette scenariet vil vi se hvordan du velger de spesielle kolonnene fra PySpark DataFrame ved å bruke funksjonen selectExpr().

Uttrykket som brukes er 'eksisterende_kolonne som nytt_navn'. Her er den eksisterende_kolonnen kolonnenavnet som finnes i DataFrame og det vises som nytt_navn (Aliasing).

Eksempel:

Lag en PySpark DataFrame kalt 'agri_df' med 5 rader og kolonner. Få «Soil_status» og «Soil_Type»-kolonnene som «STATUS» og «TYPE».

Produksjon:

Scenario 2: Spesifisering av de betingede uttrykkene

I dette scenariet vil vi se hvordan vi evaluerer betingelsene i funksjonen selectExpr().

Uttrykket som brukes er 'existing_column operator value'. Her er den eksisterende_kolonnen kolonnenavnet som finnes i DataFrame, og vi sammenligner hver verdi i denne kolonnen med strengen/verdien.

Eksempel 1:

Sjekk om landet er 'USA' eller ikke. Operatoren equalto (=) brukes her.

Produksjon:

Eksempel 2:

Sjekk om Soil_Type er NULL eller ikke. Nøkkelordet NULL sjekker om verdien er NULL eller ikke. Hvis den er null, returneres true. Ellers returneres false. Det endelige uttrykket er 'Soil_Type IS NULL'

Produksjon:

Scenario 3: Evaluering av uttrykkene

I dette scenariet vil vi se hvordan du spesifiserer de matematiske uttrykkene. Uttrykket som brukes er 'existing_column matematisk_uttrykk'.

Eksempel:

1. Vis den faktiske 'Dekar'-kolonnen.
2. Legg til 100 i 'Dekar'-kolonnen.
3. Trekk 100 fra 'Dekar'-kolonnen.
4. Multipliser 100 med 'Dekar'-kolonnen.
5. Del «Dekar»-kolonnen med 100.

Produksjon:

Scenario 4: Bruk av aggregerte funksjoner

SUM(kolonne_navn) – Den evaluerer den totale verdien i den angitte kolonnen.

MEAN(kolonne_navn) – Den evaluerer gjennomsnittsverdien i den angitte kolonnen.

MIN(kolonne_navn) – Den returnerer minimumselementet blant alle elementene i den angitte kolonnen.

MAX(kolonne_navn) – Den returnerer maksimumselementet blant alle elementene i den angitte kolonnen.

Eksempel:

1. Finn total-, gjennomsnitts-, antall-, minimums- og maksimumselementene for 'Acres'.
2. Finn minimums- og maksimumselementene i «Soil_status»-kolonnen.

Produksjon:

Konklusjon

Vi diskuterte om funksjonen selectExpr() som tar kolonnene/settene med uttrykk og returnerer DataFrame basert på de angitte uttrykkene/kolonnene. Som en del av dette lærte vi de fire hovedscenariene der selectExpr() er anvendelig. Flere uttrykk kan spesifiseres i denne funksjonen som er atskilt med komma. Det er ikke nødvendig å lage en TEMPORARY VIEW for å bruke funksjonen selectExpr().