4  Daten umformen

Schlüsselwörter

Statistik, Prognose, Modellierung, R, Datenanalyse, Regression

4.1 Einstieg

4.1.1 Lernziele

  • Sie können folgende Verben des Datenjudo anwenden: arrange, filter, select, summarise, group_by, mutate.
  • Sie können R-Befehle mit der “Pfeife” verketten.

Übungsaufgabe 4.1 (Mariokart importieren) Importieren Sie den Datensatz mariokart, s. . Probieren Sie alle in diesem Kapitel vorgestellten Verben des Datenjudos aus, zunächst, indem Sie einfach den R-Code kopieren und selber ausführen. Danach überlegen Sie sich Varianten.

4.1.2 R-Code zum Copy-Pasten

Sie finden den R-Code für jedes Kapitel hier.

4.1.3 Frag den Bot

🧑‍🎓 Erkläre einem Fünfjährigen, warum Statistik nützlich ist.

🤖 Okay, hör zu. Stell dir vor, du hast viele Spielzeugautos und du willst herausfinden, welches Auto am meisten bespielt wird. Du kannst jeden Tag zählen, wie oft du jedes Auto benutzt hast. Aber das wäre sehr mühsam und könnte schnell durcheinander gebracht werden. Stattdessen kannst du mit Statistik eine einfachere Methode finden. Du kannst zum Beispiel eine Liste machen und jedes Auto mit einer bestimmten Farbe markieren. Dann kannst du jeden Tag einfach zählen, wie oft du jede Farbe verwendet hast. Am Ende kannst du herausfinden, welches Auto am meisten bespielt wurde, indem du siehst, welche Farbe am meisten verwendet wurde. Das ist ein Beispiel dafür, wie Statistik uns dabei helfen kann, Muster in großen Datensätzen zu finden und Entscheidungen zu treffen, ohne alles einzeln zu zählen.

4.1.4 Quiz zum Einstieg

Vielleicht fordert Sie die Lehrkraft zu einem Einstiegsquiz auf, etwa mittels der Plattform antworte.jetzt. Alternativ überlegen Sie sich selber 10 Quiz-Aufgaben zum Stoff des letzten Kapitels.

Definition 4.1 (Datenjudo) Mit Datenjudo meint man den Prozess der Aufbereitens, Umformens oder Zusammenfassen von Daten, sowohl für einzelne Beobachtungen (Zeilen einer Datentabelle) oder Variablen (Spalten einer Datentabelle) oder einer ganzen Datentabelle.

4.1.5 Praxisbezug: Aus dem Alltag des Datenwissenschaftlers

Denkt man an Data Science, stellt man sich coole Leute vor (in San Francisco oder Berlin), die an abgefahrenen Berechnungen mit hoch komplexen statistischen Modellen für gigantische Datenmengen basteln. Laut dem Harvard Business Review, verbringen Data Scientisten allerdings “80%” ihrer Zeit mit dem Aufbereiten von Daten (). Ja: mit uncoolen Tätigkeiten wie Tippfehler aus Datensätzen entfernen oder die Daten überhaupt nutzbar und verständlich zu machen.

Das zeigt zumindest, dass das Aufbereiten von Daten a) wichtig ist und b) dass man allein damit schon weit kommen kann. Eine gute Nachricht ist (vielleicht), dass das Aufbereiten von Daten keine aufwändige Mathematik verlangt, stattdessen muss man ein paar Handgriffe und Kniffe kennen. Daher passt der Begriff Datenjudo vielleicht ganz gut. Kümmern wir uns also um das Aufbereiten bzw. Umformen von Daten, um das Datenjudo. 🔢🤹

Beispiel 4.1 (Beispiel für Datenjudo) Beispiele für typische Tätigkeiten des Datenjudos sind:

  • Zeilen filtern (z.B. nur Studierenden des Studiengangs X)
  • Zeilen sortieren (z.B. Studierenden mit guten Noten in den oberen Zeilen)
  • Spalten wählen (z.B. 100 langweilige Spalten ausblenden)
  • Spalten in eine Zahl zusammenfassen (z.B. Notenschnitt der 1. Klausur)
  • Tabelle gruppieren (z.B. Analyse getrennt nach Standorten)
  • Werte aus einer Spalte verändern oder neue Spalte bilden (z.B. Punkte in Prozent-Richtige umrechnen).

4.1.6 Mach’s einfach

Klingt fast zu schön, um wahr zu sein (s. ).

Abbildung 4.1: Mach’s einfach ()

Es gibt einen (einfachen) Trick, wie man umfangreiche Datenaufbereitung elegant geregelt kriegt. Der Trick besteht darin, komplexe Operationen in mehrere einfache Teilschritte zu zergliedern. (In gewisser Weise besteht das Wesen einer Analyse eben darin: die Zerlegung eines Gegenstands in seine Bestandteile.) Man könnte vom “Lego-Prinzip” sprechen, s. . Im linken Teil von sieht man ein (recht) komplexes Gebilde. Zerlegt man es aber in seine Einzelteile, so sind es deutlich einfachere geometrische Objekte wie Dreiecke oder Kreise (rechter Teil des Diagramms). Damit Sie es selber einfach machen können, müssen Sie selber Hand anlegen. Importieren Sie daher den Datensatz mariokart, s. .

Abbildung 4.2: Das Lego-Prinzip ()

Werfen wir einen Blick hinein (to glimpse):

glimpse(mariokart)

Beispiel 4.2 (Der Datenguru in Aktion) Sie arbeiten immer noch bei dem großen Online-Auktionshaus. Mittlerweile haben Sie sich den Ruf des “Datenguru” erworben. Vielleicht, weil Sie behauptet haben, Data Science sei zu 80% Datenjudo, das hat irgendwie Eindruck geschindet … Naja, jedenfalls müssen Sie jetzt mal zeigen, dass Sie nicht nur schlaue Sprüche draufhaben, sondern auch die Daten ordentlich abbürsten können. Sie analysieren dafür im Folgenden den Datensatz mariokart. Na, dann los.

4.2 Die Verben des Datenjudos

Im R-Paket dplyr, das wiederum Teil des R-Pakets tidyverse ist, gibt es eine Reihe von R-Befehlen, die das Datenjudo in eine Handvoll einfacher Verben herunterbrechen. (Falls Sie das R-Paket tidyverse noch nicht installiert haben sollten, wäre jetzt ein guter Zeitpunkt dafür.) Die wichtigsten Verben des Datenjudos schauen wir uns im Folgenden an. Wir betrachten dazu im Folgenden einen einfachen (Spielzeug-)Datensatz, an dem wir zunächst die Verben des Datenjudos vorstellen, s. .

Tabelle 4.1: Ein einfacher Datensatz von schlichtem Gemüt
id name gruppe note
1 Anni A 2.7
2 Berti A 2.7
3 Charli B 1.7

Die Verben des Datenjudos wohnen im Paket dplyr, welches gestartet wird, wenn Sie library(tidyverse) eingeben. Falls Sie vergessen, das Paket tidyverse zu starten, dann funktionieren diese Befehle nicht.

4.2.1 Tabelle sortieren: arrange

Sortieren der Zeilen ist eine einfache, aber häufige Tätigkeit des Datenjudos, s. .

Abbildung 4.3: Sinnbild für das Sortieren einer Tabelle mit arrange: Hier wurden die Noten aufsteigend sortiert.

Beispiel 4.3 (Was sind die höchsten Preise?) Sie wollen mal locker anfangen. Daher stellen Sie sich folgende Frage: Was sind denn eigentlich die höchsten Preise, für die das Spiel Mariokart über den Online-Ladentisch geht? Die Spalte für den Verkaufsprei heißt offenbar total_pr (s. Datensatz mariokart). In Excel kann die Spalte, nach der man die Tabelle sortieren möchte, einfach anklicken. Ob das in R auch so einfach geht?

Die Funktion arrange macht es uns ziemlich einfach, s. .

arrange(mariokart, total_pr)
Tabelle 4.2: Die Datentabelle, (aufsteigend) sortiert nach total_pr
ABCDEFGHIJ0123456789
id
<dbl>
duration
<int>
n_bids
<int>
cond
<fct>
start_pr
<dbl>
ship_pr
<dbl>
total_pr
<dbl>
ship_sp
<fct>
2.6e+11117used0.990.029standard
1.2e+11112used0.010.030standard
2.6e+1117used0.990.031standard
3.2e+11714used1.990.031media
1.8e+11103used30.000.031priority

Übersetzen wir die R-Syntax ins Deutsche:

Hey R,
arrangiere (sortiere) `mariokart` 
nach der Spalte `total_pr` (aufsteigend).

Gar nicht so schwer.

Übrigens wird in arrange per Voreinstellung aufsteigend sortiert. Setzt man ein Minus vor der zu sortierenden Spalte, wird umgekehrt, also absteigend sortiert:

mario_sortiert <- arrange(mariokart, -total_pr)

Übungsaufgabe 4.2 Sortieren Sie die Mariokart-Daten absteigend nach der Anzahl der beigelegten Lenkräder.

4.2.2 Zeilen filtern: filter

Zeilen filtern bedeutet, dass man nur bestimmte Zeilen (Beobachtungen) behalten möchte, die restlichen Zeilen brauchen wir nicht, weg mit ihnen. Wir haben also ein Filterkriterium im Kopf, anhand dessen wir die Tabelle filern, s. .

Abbildung 4.4: Sinnbild für das Filtern einer Tabelle mit filter: Gruppe B wurde entfernt, also wurde nach Gruppe A gefiltert.

Beispiel 4.4 (Ob ein Foto für den Verkaufspreis nützlich ist?) Als nächstes kommt Ihnen die Idee, mal zu schauen, ob Auktionen mit “Stock-Photo” Ware einen höheren Verkaufspreis erzielen als Auktionen ohne solche Totos.

mariokart_neu <- filter(mariokart, stock_photo == "yes")
mariokart_neu 
ABCDEFGHIJ0123456789
id
<dbl>
duration
<int>
n_bids
<int>
cond
<fct>
start_pr
<dbl>
ship_pr
<dbl>
total_pr
<dbl>
ship_sp
<fct>
1.5e+11320new0.994.052standard
2.6e+11713used0.994.037firstClass
2.8e+11318new0.990.044standard
1.7e+11120new0.010.071media
3.6e+11319new0.994.045standard

Sie filtern also die Tabelle so, dass nur diese Auktionen im Datensatz verbleiben, welche mind. ein Foto haben, mit anderen Worten, Auktionen (Beobachtungen) bei denen gilt: stock_photo == TRUE.

Angestachelt von Ihren Erfolgen möchten Sie jetzt komplexere Hypothesen prüfen: Erzielen Auktionen von neuen Spielen und zwar mit Foto einen höheren Preis als die übrigen Auktionen? Anders gesagt haben Sie zwei Filterkriterien im Blick: Neuheit cond und Foto stock_photo. Nur diejenigen Auktionen, die sowohl Neuheit als auch Foto erfüllen, möchten Sie näher untersuchen (Filtern mit dem logischen UND):

mario_filter1 <- 
  filter(mariokart,  # "&" heißt UND:
         stock_photo == "yes" & cond == "new")
mario_filter1
ABCDEFGHIJ0123456789
id
<dbl>
duration
<int>
n_bids
<int>
cond
<fct>
start_pr
<dbl>
ship_pr
<dbl>
total_pr
<dbl>
ship_sp
<fct>
1.5e+11320new0.994.052standard
2.8e+11318new0.990.044standard
1.7e+11120new0.010.071media
3.6e+11319new0.994.045standard
3.0e+11115new1.003.054upsGround

Hm. Was ist mit den Auktionen, die entweder über (mind.) ein Foto verfügen oder auch neu sind, oder beides (Filtern mit dem logischen ODER)?

mario_filter2 <- 
  filter(mariokart,  # "|" heißt ODER:
         stock_photo == "yes" | cond == "new")
mario_filter2
ABCDEFGHIJ0123456789
id
<dbl>
duration
<int>
n_bids
<int>
cond
<fct>
start_pr
<dbl>
ship_pr
<dbl>
total_pr
<dbl>
ship_sp
<fct>
1.5e+11320new0.994.052standard
2.6e+11713used0.994.037firstClass
3.2e+11316new0.993.546firstClass
2.8e+11318new0.990.044standard
1.7e+11120new0.010.071media

Zur Erinnerung: Logische Operatoren sind in erläutert.

Übungsaufgabe 4.3 Hier könnte man noch viele interessante Hypothesen prüfen, denken Sie sich und tun das auch.

Übungsaufgabe 4.4 Filtern Sie die Spiele mit nur einem Lenkrad und ohne Versandkosten.

Übungsaufgabe 4.5 Filtern Sie die Spiele mit nur einem Lenkrad, die einen überdurchschnittlichen Verkaufspreis erzielen. Tipp: Nutzen Sie die Funktion describe_distribution, um den Mittelwert einer Variable des Datensatzes zu erfahren (diese Funktion wohnt im R-Paket easystats).

4.2.3 Spalten auswählen mit select

Eine Tabelle mit vielen Spalten kann schnell unübersichtlich werden. Da lohnt es sich, eine goldene Regel zu beachten: Mache die Dinge so einfach wie möglich, aber nicht einfacher. Wählen wir also nur die Spalten aus, die uns interessieren und entfernen wir die restlichen, s. als Beispiel.

Abbildung 4.5: Sinnbild für das Auswählen von Spalten mit select

Beispiel 4.5 (Fokus auf nur zwei Spalten) Ob wohl gebrauchte Spiele deutlich geringere Preise erzielen im Vergleich zu neuwertigen Spielen? Sie entschließen sich, mal ein Stündchen auf die relevanten Daten zu starren. Dafür wählen Sie mit select die relevanten Spalten aus.

mario_select1 <- select(mariokart, cond, total_pr)

Der Befehl select erwartet als Input eine Tabelle und gibt (als Output) eine Tabelle zurück – genau wie die meisten anderen Befehle des Datenjudos. Auch wenn Sie nur eine Spalte auswählen, bleibt es eine Tabelle, eben eine Tabelle mit nur einer Spalte.

select erlaubt Komfort; Sie können Spalten auf mehrere Arten auswählen:

select(mariokart, 1, 2)  # Spalten 1 und 2
select(mariokart, 2:5)  #  Spalten 2 *bis* 5 
select(mariokart, -1)  # Alle Spalte *außer* Spalte 1

Übungsaufgabe 4.6 Wählen Sie die Spalten total_pr, cond sowie die zweite Spalte der Tabelle mariokart aus!

Vertiefte Informationen zum Auswählen von Spalten mit select finden sich auf der Hilfeseite der Funktion.

4.2.4 Spalten zu einer Zahl zusammenfassen mit summarise

Beispiel 4.6 (Was ist der mittlere Verkaufspreis?) Mit summarise, s. , können wir den mittleren Verkaufspreis der Mariokart-Spiele berechnen (50).

So eine lange Spalte mit Zahlen – mal ehrlich: Wer blickt da schon durch? Machen wir uns das Leben leichter, indem wir eine lange Spalte mit Zahlen zu einer einzigen Zahl zusammenfassen. Sagen wir, drei Studierende – Anni, Berti, Charli – haben eine Statistikklausur geschrieben. Die Noten waren 2.7, 2.7 und 1.7. Damit lag der Notenschnitt (der Mittelwert) bei 2.4; s. .

Abbildung 4.6: Spalten zu einer einzelnen Zahl zusammenfassen mit summarise: Hier wurden die Noten anhand des Mittelwerts zusammengefasst.

Fassen wir als Nächstes die Spalte total_pr zu einer Zahl zusammen, und zwar zum Mittelwert. Dann wissen wir, für welchen Preis ein Spiel im Durchschnitt verkauft wird, s. .

Listing 4.1: Die R-Funktion summarise fasst einen Vektor zu einer einzelnen Zahl zusammen.
mariokart_mittelwert <- summarise(mariokart,
                                  preis_mw = mean(total_pr))
mariokart_mittelwert
ABCDEFGHIJ0123456789
preis_mw
<dbl>
50

Aha! Etwa 50 Dollar erzielte so eine Auktion im Durchschnitt. Ein bisschen abstrakter gesprochen fasst summarise eine Spalte zu einer (einzelnen) Zahl zusammen, s. .

Eine Alternative, um eine Spalte zu einer Zahl zusammenzufassen, bietet der “Dollar-Operator” ($): mean(mariokart$total_pr). Der Dollar-Operator trennt hier die Tabelle von der Spalte: tibble$spalte. Im Gegensatz zu den Verben des Tidyverse (die immer einer Tabelle zurückliefern), liefert der Dollar-Operator einen Vektor (Spalte) zurück. (Diese wird von mean dann zu einer einzelnen Zahl zusammengefasst.)

Auf welche Art zusammengefasst werden soll, z.B. anhand des Mittelwerts oder Maximalwerts, muss noch zusätzlich innerhalb von summarise angegeben werden.

Übungsaufgabe 4.7 Identifizieren Sie den höchsten Kaufpreis eines Mariokart-Spiels!

Übungsaufgabe 4.8 Identifizieren Sie den Mittelwert der Versandkostenpauschale!

4.2.5 Tabelle gruppieren

Es ist ja gut und schön, zu wissen, was so ein Spiel im Schnitt kostet. Aber viel interessanter wäre es doch, denken Sie sich, zu wissen, ob die neuen Spiele im Schnitt mehr kosten als die alten? Ob R Ihnen so etwas ausrechnen kann?

🧑‍🎓 Hallo R, kannst du mir die mittleren Verkaufspreise von alten und neuen Spielen ausrechnen?

🤖 Ich tue fast alles für dich. 🧡

Also gut, R, dann gruppiere die Tabelle, s. .

Abbildung 4.7: Gruppieren von Datensätzen mit group_by: Hier wurde anhand der Variable gruppe gruppiert.

Durch das Gruppieren wird die Tabelle in “Teiltabellen” – entsprechend der Gruppen – aufgeteilt. Das sieht man der R-Tabelle aber nicht wirklich an. Aber alle nachfolgenden Berechnungen werden für jede Teiltabelle einzeln ausgeführt.

Beispiel 4.7 (Mittlerer Preis pro Gruppe) Gruppieren alleine liefert Ihnen zwei (oder mehrere) Teiltabellen, etwa neue Spiele (Gruppe 1, new) vs. gebrauchte Spiele (Gruppe 2, used). Mit anderen Worten: Wir gruppieren anhand der Variable cond.

mariokart_gruppiert <- group_by(mariokart, cond)

Wenn Sie die neue Tabelle betrachte, sehen Sie wenig Aufregendes, nur einen Hinweis, dass die Tabelle gruppiert ist. Jetzt können Sie an jeder Teiltabelle Ihre weiteren Berechnungen vornehmen, etwa die Berechnung des mittleren Verkaufspreises.

summarise(mariokart_gruppiert, preis_mw = mean(total_pr))
ABCDEFGHIJ0123456789
cond
<fct>
preis_mw
<dbl>
new54
used47

Ah, die neuen Spiele sind teuerer, wer hätt’s gedacht! Langsam fühlen Sie sich wie ein Datenchecker … 🥷 🦹‍♀

Übungsaufgabe 4.9  

Berechnen Sie den mittleren und maximalen Verkaufspreis getrennt für Spiele mit und ohne Foto!

mariokart_gruppiert_foto <- group_by(mariokart, stock_photo)

mariokart_verkaufspreis_foto <- 
  summarise(mariokart_gruppiert_foto,
            total_pr_avg = mean(total_pr),
            total_pr_max = max(total_pr))

mariokart_verkaufspreis_foto
ABCDEFGHIJ0123456789
stock_photo
<fct>
total_pr_avg
<dbl>
total_pr_max
<dbl>
no54327
yes4875

Bei Auktionen mit Foto wird im Schnitt ein höherer Preis erzielt als ohne Foto.

4.2.6 Spalten verändern mit mutate

Immer mal wieder möchte man Spalten verändern, bzw. deren Werte umrechnen, s. .

Abbildung 4.8: Spalten verändern/neu berechnen mit mutate

Beispiel 4.8 Der Hersteller des Computerspiels Mariokart kommt aus Japan; daher erscheint es Ihnen opportun für ein anstehendes Meeting mit dem Hersteller die Verkaufspreise von Dollar in japanische Yen umzurechnen. Nach etwas Googeln finden Sie einen Umrechnungskurs von 1:133.

mariokart_yen <- 
  mutate(mariokart, total_pr_yen = total_pr * 133)
mariokart_yen <- select(mariokart_yen, total_pr_yen, total_pr)
mariokart_yen |> head()  # nur die ersten paar Zeilen
ABCDEFGHIJ0123456789
total_pr_yen
<dbl>
total_pr
<dbl>
685652
492637
605246
585244
944371

Sicherlich werden Sie Ihre Gesprächspartner beeindrucken.

Mit mutate berechnen Sie eine Spalte x (in einer Tabelle) neu. Die Funktion, die Sie in mutate benennen wird für jede Zeile der Spalte x angewendet.

Beispiel 4.9 (Beispiele für Funktionen für mutate) mutate eignet sich, z.B. um Spalten zu addieren, zu multiplizieren oder sonst wie zu transformieren (z.B. den Logarithmus anwenden oder den Mittelwert der Spalte von jeder Zeile abziehen).

Übungsaufgabe 4.10  

Rechnen Sie die Dauer der Auktionen von Tagen in Wochen um.

mariokart_duration_wochen <- 
  mutate(mariokart, duration_week = duration / 7)

mariokart_duration_wochen <-
   select(mariokart_duration_wochen, duration, duration_week)
mariokart_duration_wochen |> head()  # nur die ersten paar Zeilen
ABCDEFGHIJ0123456789
duration
<int>
duration_week
<dbl>
30.43
71.00
30.43
30.43
10.14

Übungsaufgabe 4.11  

Rechnen Sie wieder die Dauer der Auktionen von Tagen in Wochen um, aber runden Sie die Wochen auf ganze Wochen.

mariokart_duration_wochen <- 
  mutate(mariokart, duration_week = duration / 7)

mariokart_duration_wochen_gerundet <-
  mutate(mariokart_duration_wochen, duration_week_gerundet =
           round(duration_week, digits = 0))

mariokart_duration_wochen_schmal <-
  select(mariokart_duration_wochen_gerundet, duration, 
         duration_week, duration_week_gerundet)
mariokart_duration_wochen_schmal |> head()
ABCDEFGHIJ0123456789
duration
<int>
duration_week
<dbl>
duration_week_gerundet
<dbl>
30.430
71.001
30.430
30.430
10.140

🧟‍♀️️ Statist – wann braucht man schon sowas!?

🤖 Eigentlich nur dann, wenn man die Fakten gut verstehen will, sonst nicht.

4.2.7 Zeilen zählen mit count

Arbeitet man mit nominalskalierten Daten, ist (fast) alles, was man mit den Daten tun kann, die entsprechenden Zeilen der Tabelle zu zählen: Man könnte z.B. fragen, wie viele neue und wie viele alte Spiele in der Tabelle (Dataframe) mariokart vorhanden sind.

Beispiel 4.10 Nach der letzten Präsentation Ihrer Analyse hat Ihre Chefin gestöhnt: “Oh nein, alles so kompliziert. Statistik! Himmel hilf! Kann man das nicht einfacher machen?” Anstelle von irgendwelchen komplizierten Berechnungen (Mittelwert?) möchten Sie ihr beim nächsten Treffen nur zeigen, wie viele Computerspiele neu und wie viele gebraucht sind (in Ihrem Datensatz). Schlichte Häufigkeiten also. Hoffentlich ist Ihre Chefin nicht wieder überfordert …

mariocart_counted <- count(mariokart, cond)
mariocart_counted
ABCDEFGHIJ0123456789
cond
<fct>
n
<int>
new59
used84

Aha! Es gibt mehr gebrauchte als neue Spiele.

Jetzt könnte man noch den Anteil (engl. proportion) ergänzen: Welcher Anteil (der 143 Spiele in mariokart) ist neu, welcher gebraucht?

mutate(mariocart_counted, Anteil = n / sum(n))
ABCDEFGHIJ0123456789
cond
<fct>
n
<int>
Anteil
<dbl>
new590.41
used840.59

Übungsaufgabe 4.12 Zählen Sie, wie viele der Auktionen ein Stock-Foto enthalten.

Übungsaufgabe 4.13 Zählen Sie Sie, wie viele Auktionen ein Foto enthalten – innerhalb der gebrauchten Spiele und innerhalb der neuen Spiele. Anders gesagt: Teilen Sie den Datensatz sowohl nach Zustand als auch nach Foto auf und zählen Sie jeweils, wie viele Spiele/Auktionen in die jeweilige Gruppe gehören.

4.2.8 Verben am Fließband

Die Befehle (“Verben”) des Tidyverse sind jeweils für einzelne, typische Aufgaben des Datenaufbereitens (“Datenjudo”) zuständig. Typischerweise erwarten diese Befehle eine Tabelle () als Input und liefern eine Tabelle aus Output zurück, s. . Die Verben des Datenjudos werden beim “Tidydatatutor” anschaulich illustriert.

tidyverse-Befehl

Abbildung 4.9: Tidyverse-Befehle erwarten normalerweise eine Tabelle (“Tibble”) als Input und geben auch eine Tabelle zurück als Output

4.3 Die Pfeife

🚬 👈Das ist keine Pfeife, wie René Magritte 1929 in seinem berühmten Bild schrieb, s. .

%>%

|>

Abbildung 4.10: So sieht die Pfeife in R aus (Jaja, das ist keine Pfeife, sondern ein Symbol einer Pfeife …). Links: Ein Bild einer Pfeife (). Mitte und Rechts: Die zwei R-Symbole für eine “Pfeife” (pipe).

4.3.1 Russische Puppen

Computerbefehle, und im Speziellen R-Befehle, kann man “aufeinander” – oder vielmehr: ineinander – stapeln, so ähnlich wie eine russische Puppe (vgl. ). Schauen wir uns das in einem Beispiel an. Dazu definieren wir zuerst einen Vektor x aus drei Zahlen:

x <- c(1, 2, 3)

Und dann kommt unser verschachtelter Befehl:

sum(x - mean(x))
## [1] 0

Wie schon erwähnt, arbeitet R so einen “verschachtelten” Befehl von innen nach außen ab:

Start: sum(x - mean(x))

⬇️

Schritt 1: sum(x - 2)

⬇️

Schritt 2: sum(-1, 0, 1)

⬇️

Schritt 3: 0. Fertig. Ganz schön kompliziert!

Soweit kann man noch einigermaßen folgen. Aber das Verschachteln kann man noch extremer machen, dann wird’s wild. Schauen Sie sich mal folgende (Pseudo-)Syntax an:

Listing 4.2: Eine wild verschachtelte Sequenz von Pseudo-Befehlen
fasse_zusammen(
  gruppiere(
    wähle_spalten(
      filter_zeilen(meine_daten))))

Ein beliebter Fehler ist es übrigens, nicht die richtige Zahl an schließenden Klammern hinzuschreiben, z.B. d(c(b(a(meine_daten)). Falsche Zahl an Klammern!

4.3.2 Die Pfeife zur Rettung

ist schon harter Tobak, was für echte Fans. Wäre es nicht einfacher, man könnte wie folgt schreiben:

Nimm "meine_daten" *und dann*
  filter die gewünschte Zeilen *und dann*
  wähle die gewünschte Spalten *und dann*
  teile in Subgruppen *und dann*
  fasse diese zusammen.

Definition 4.2 (Pfeife) “Und dann” heißt auf Errisch %>% oder (synonym) |>. Man nennt diesen Befehl “Pfeife” (engl. pipe).

Hinweis

Der Befehl %>% verknüpft Befehle. Der Shortcut für diesen Befehl ist Strg-Shift-M. Die Pfeife %>% “wohnt” im Paket tidyverse.

Mittlerweile (Seit R 4.1) ist auch im Standard-R eine Pfeife eingebaut. Die sieht so aus: |>. Die eingebaute Pfeife funktioniert praktisch gleich zur anderen Pfeife, %>%, hat aber den Vorteil, dass Sie nicht tidyverse starten müssen. Da wir tidyverse aber sowieso praktisch immer starten werden, bringt es uns keinen Vorteil, die neuere Pfeife des Standard-R |> zu verwenden. Aber auch keinen Nachteil. Unter Tools > Global Options … können Sie einstellen, welche der beiden Pfeifen-Varianten der Shortcut Strg-Shift-M verwenden soll.

filter
zeilen

wähle
spalten

gruppiere

fasse
zusammen

Abbildung 4.11: Illustration für eine Pfeifensequenz, es geht vorwärts wie am Fließband.
Listing 4.3: Eine Pfeifen-Befehlssequenz (Pseudo-Syntax)
meine_daten %>%
  filter_gewünschte_zeilen() %>%
  wähle_gewünschte_spalten() %>%
  gruppiere() %>%
  fasse_zusammen() 

Und jetzt kommt’s: So eine Art von Befehls-Verkettung gibt es in R. Schauen Sie sich mal an im Vergleich zu . So eine Pfeifen-Befehlsequenz ist ein wie ein Fließband, an dem es mehrere Arbeitsstationen gibt, s. . Unser Datensatz wird am Fließband von Station zu Station weitergereicht und an jeder Stelle weiterverarbeitet. So könnte Ihre “Pfeifen-Sequenz” für den Mariokart-Datensatz aussehen, s. .

Listing 4.4: Mariokart am Fließband: Die ‘Pfeifen-Syntax’
# Hey R, nimm die Tabelle "mariokart":
mariokart %>%  
   # filter nur die günstigen Spiele:
  filter(total_pr < 100) %>% 
  # wähle die zwei Spalten:
  select(cond, total_pr) %>%  
  # gruppiere die Tabelle nach Zustand des Spiels:
  group_by(cond) %>%  
  # fasse beide Gruppen nach dem mittleren Preis zusammen:
  summarise(total_pr_mean = mean(total_pr))  

Endprodukt einer Pfeifen-Syntax

ABCDEFGHIJ0123456789
cond
<fct>
total_pr_mean
<dbl>
new54
used43

Die Syntax filter(mariokart, total_pr < 100) und die Syntax mariokart |> filter(total_pr < 100) sind identisch. Allgemeiner: d |> f(x) = f(d, x).

4.4 Beispiele für Forschungsfragen

Bevor Sie die Lösungen der folgenden Fallbeispiele lesen, versuchen Sie die Aufgaben selbst zu lösen. Ja, ich weiß, es ist hart, nicht gleich auf die Lösungen zu schauen!

Übungsaufgabe 4.14 (Das teuerste Spiel?) Sie arbeiten als strategischer Assistent der Geschäftsführerin und sind für Faktenchecks und andere Daten-Aufgaben zuständig. Heute sollen Sie zeigen, was Sie können (Schluck).

👩 Ich würde von Ihnen gerne wissen, was das teuerste Spiel ist, aber jeweils für neue und gebrauchte Spiele. Aber nur für Spiele, die mit Foto verkauft wurden!

Lösung

mariokart %>% 
  filter(stock_photo == "yes") %>% 
  group_by(cond) %>% 
  summarise(total_pr_max = max(total_pr))
ABCDEFGHIJ0123456789
cond
<fct>
total_pr_max
<dbl>
new75
used62

Die Funktion max liefert den größten Wert eines Vektors zurück:

x <- c(1, 2, 10)
max(x)
## [1] 10

Das teuerste Spiel mit Foto kostet 75 Dollar, wenn es neu ist und 62, wenn es gebraucht ist.

Übungsaufgabe 4.15 (Die mittlere Versandpauschale?)  

👩 Ich würde gerne die mittlere Versandpauschale wissen, aber getrennt nach Anzahl der Lenkräder, die dem Spiel beigelegt sind. Und ich will nur Gruppen berücksichtigen, die aus mindestens 10 Spielen bestehen!

Lösung

Wenn wir die Anzahl der Spiele zählen in Abhängigkeit der beigelegten Lenkräder (wheels), bekommen wir eine Tabelle mit zwei Spalten: wheels und n. n zählt, wie viele Spiele (Zeilen) in der jeweiligen Gruppe (“Teiltabelle”) von wheels sind.

mariokart %>%
  count(wheels)
ABCDEFGHIJ0123456789
wheels
<int>
n
<int>
037
152
251
32
41

Aus dieser Tabelle sehen wir, dass 3 oder 4 Lenkräder nur selten (2 bzw. 1 Mal) beigelegt wurden und wir solche Spiele herausfiltern sollten, bevor wir den Mittelwert der Versandkosten ausrechnen:

mariokart %>%
  filter(wheels < 3) %>% 
  group_by(wheels) %>% 
  summarise(mittlere_versandkosten = mean(ship_pr),
            anzahl_spiele = n())
ABCDEFGHIJ0123456789
wheels
<int>
mittlere_versandkosten
<dbl>
anzahl_spiele
<int>
02.737
13.652
22.951

Die Funktion n gibt die Anzahl der Zeilen pro Teiltabelle zurück.

Die mittleren Versandkosten bewegen sich also zwischen 2.7 Dollar und 3.6 Dollar, je nach Anzahl der beigelegten Lenkräder.

Übungsaufgabe 4.16 (Verkaufspreis in Yen?)  

👩 Ich würde gerne den Verkaufspreis in Yen wissen, nicht in Euro. Dann rechne mal den mittleren Verkaufspreis aus und ziehe 10 % ab, die wir als Provision unseren Verkäufern zahlen müssen.

Lösung

mariokart %>% 
  select(total_pr) %>% 
  mutate(total_pr_yen = total_pr * 133) %>% 
  summarise(
    preis_yen_mw = mean(total_pr_yen),
    preis_yen_mw_minus_10proz = preis_yen_mw - 0.1*preis_yen_mw)
ABCDEFGHIJ0123456789
preis_yen_mw
<dbl>
preis_yen_mw_minus_10proz
<dbl>
66345971

Wie man sieht kann man in summarise auch mehr als eine Berechnung einstellen. In diesem Fall haben wir zwei Berechnungen angestellt: Einmal den Mittelwert und einmal den Mittelwert minus 10% (des Mittelwerts).

Übungsaufgabe 4.17 (Do It Yourself) Denken Sie sich selber ähnliche Forschungsfragen aus. Stellen Sie diese einer vertrauenswürdigen Kommilitonen bzw. einem vertrauenswürdigen Kommilitonen. DIY! Schauen Sie, ob Ihre Aufgabe richtig gelöst wird. Prüfen Sie streng …

4.5 Praxisbezug

Die Covid19-Epidemie hatte weltweit massive Auswirkungen; auch psychologischer Art wie Vereinsamung, Angst oder Depression. Mulukom et al. () berichten eine Studie, die die psychologischen Auswirkungen untersucht; die Studie ist unter der Projekt-ID tsjnb bei der Open Science Foundation (OSF), <https://osf.io/tsjnb/>, angemeldet. Die Daten wurden mit R ausgewertet. Beispielhaft ist unter https://osf.io/4b9p2 die R-Syntax zu sehen, die die Autoren zur Datenaufbereitung verwendet haben. Einen guten Teil dieser Syntax kennen Sie aus diesem Kapitel. Diese Studie ist, neben einigen vergleichbaren, ein schönes Beispiel, wie Forschung und Praxis ineinander greifen können: Angewandte Forschung als Beitrag zur Lösung eines akuten Problems, der Corona-Pandemie.

4.6 Wie man mit Statistik lügt

Ein (leider) immer mal wieder zu beobachtender “Trick”, um Daten zu frisieren ist, nur die Daten zu berichten, die einem in den Kram passen.

Beispiel 4.11 Eine Analystin 👩 möchte zeigen, dass der Verkaufspreis von Mariokart-Spielen “viel zu niedrig” ist. Es muss ein höherer Wert rauskommen, findet die Analystin. Der mittlere Verkaufspreis (im Datensatz mariokart) liegt bei 50 Euro.

👩 Kann man den Wert nicht … “kreativ verbessern”? Ein paar Statistik-Tricks anwenden?

Um dieses Ziel zu erreichen, teilt die Analystin den Datensatz in Gruppen nach Anzahl der dem Spiel beigelegten Lenkräder (wheels). Dann wird der Mittelwert pro Gruppe berechnet.

mariokart_wheels <- 
mariokart %>% 
  group_by(wheels) %>% 
  summarise(pr_mean = mean(total_pr),
            count_n = n())  # `n` gibt die Anzahl der Zeilen pro Gruppe an

mariokart_wheels
ABCDEFGHIJ0123456789
wheels
<int>
pr_mean
<dbl>
count_n
<int>
04137
14452
26151
3702
4651

Schließlich berechnet unsere Analystin den ungewichteten Mittelwert über diese 5 Gruppen:

mariokart_wheels %>% 
  summarise(mean(pr_mean))
ABCDEFGHIJ0123456789
mean(pr_mean)
<dbl>
56

Und das Ergebnis lautet: 56 Euro! Das ist doch schon etwas “besser” als 50 Euro.

Natürlich ist es falsch und irreführend, hier einen ungewichteten Mittelwert zu berechnen. Der gewichtete Mittelwert würde wiederum zum korrekten Ergebnis, 50 Euro, führen.

4.7 Fallstudien

4.7.1 Die Pinguine

Abbildung 4.12: Possierlich: Die Pinguine ()

Übungsaufgabe 4.18 Machen Sie sich zunächst mit dem Pinguin-Datensatz vertraut. Sie finden den Datensatz penguins im R-Paket palmerpenguins, das Sie auf gewohnte Art installieren können (vgl. ); im Internet findet man den Datensatz auch als CSV-Datei. Fokussieren Sie Ihre Analyse auf die Zielvariable Gewicht.

Die folgende Datenapp ermöglicht Ihnen, die Verteilung des Körpergewichts zu betrachten, wobei sie die Pinguin-Spezies filtern können sowie eine Mindestlänge des Schnabels verlangen können.

bill_length_min = 35
islands = Array(2) ["Torgersen", "Biscoe"]
AdelieGentoospeciesNAfemalemalesex051015051015↑ Frequency4,0006,0004,0006,0004,0006,000body_mass_g →
speciesislandbill_length_mmbill_depth_mmflipper_length_mmbody_mass_gsex
1AdelieTorgersen39.118.71813,750male
2AdelieTorgersen39.517.41863,800female
3AdelieTorgersen40.3181953,250female
5AdelieTorgersen36.719.31933,450female
6AdelieTorgersen39.320.61903,650male
7AdelieTorgersen38.917.81813,625female
8AdelieTorgersen39.219.61954,675male
10AdelieTorgersen4220.21904,250NA
11AdelieTorgersen37.817.11863,300NA
12AdelieTorgersen37.817.31803,700NA
13AdelieTorgersen41.117.61823,200female
14AdelieTorgersen38.621.21913,800male
16AdelieTorgersen36.617.81853,700female
17AdelieTorgersen38.7191953,450female
18AdelieTorgersen42.520.71974,500male
20AdelieTorgersen4621.51944,200male
21AdelieBiscoe37.818.31743,400female
22AdelieBiscoe37.718.71803,600male
23AdelieBiscoe35.919.21893,800female
24AdelieBiscoe38.218.11853,950male
25AdelieBiscoe38.817.21803,800male
26AdelieBiscoe35.318.91873,800female
27AdelieBiscoe40.618.61833,550male
data = Array(344) [Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, …]
filtered = Array(210) [Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, Object, …]

Bearbeiten Sie die Fallstudie zu Pinguinen von Allison Horst. Sie können die Teile auslassen, die Themen beinhalten, die nicht in diesem Kapitel vorgestellt wurden.

Forschungsfragen:

  1. Was ist das mediane Gewicht von Pinguinen, gruppiert nach Spezies und nach Gewicht?
  2. Wie viele Pinguine gibt es pro Spezies?
  3. Wie viel wiegt der schwerste und der leichteste Pinguin pro Spezies?

4.7.2 Fallstudie COVIDiSTRESS

Studie COVIDiSTTRESS ()

Lesen Sie die Beschreibung der Studie COVIDiSTRESS (). Hier ist ein Abstract:

The COVIDiSTRESS global survey is an international collaborative undertaking for data gathering on human experiences, behavior and attitudes during the COVID-19 pandemic. In particular, the survey focuses on psychological stress, compliance with behavioral guidelines to slow the spread of Coronavirus, and trust in governmental institutions and their preventive measures, but multiple further items and scales are included for descriptive statistics, further analysis and comparative mapping between participating countries. Round one data collection was concluded May 30. 2020. To gather comparable data swiftly from across the globe, when the Coronavirus started making a critical impact on societies and individuals, the collaboration and survey was constructed as an urgent collaborative process. Individual contributors and groups in the COVIDiSTRESS network (see below) conducted translations to each language and shared online links by their own best means in each country.

Die Daten stehen unter https://osf.io/z39us zur freien Verfügung. Sie können diese echten Daten eigenständig analysieren.

Diese Datei beinhaltet die finalen, aufbereiteten Daten. Achtung: Die Datei ist recht groß, ca. 90 MB.

4.8 Aufgaben

ChatGPT

Nutzen Sie einen Chat-Bot wie ChatGPT, um sich Hilfe für die R-Syntax geben zu lassen.

Die Webseite datenwerk.netlify.app stellt eine Reihe von einschlägigen Übungsaufgaben bereit. Sie können die Suchfunktion der Webseite nutzen, um die Aufgaben mit den folgenden Namen zu suchen:

  1. wrangle3
  2. wrangle4
  3. wrangle5
  4. wrangle7
  5. wrangle9
  6. wrangle10
  7. tidydata1
  8. affairs-dplyr
  9. dplyr-uebersetzen
  10. haeufigkeit01
  11. mariokart-mean1
  12. mariokart-mean2
  13. mariokart-mean3
  14. mariokart-mean4
  15. mariokart-max1
  16. mariokart-max2
  17. filter01
  18. affairs-dplyr
  19. summarise01
  20. summarise02
  21. mutate01
  22. wrangle3

4.9 Vertiefung

4.9.1 Fortgeschrittenes R

Hinweis

In weiterführendem Material werden Sie immer wieder auf Inhalte treffen, die Sie noch nicht kennen, die etwa noch nicht im Unterricht behandelt wurden. Seien Sie unbesorgt: In der Regel können Sie diese Inhalte einfach auslassen, ohne den Anschluss zu verlieren. Einfach ignorieren.

Häufig ist es nützlich, die Werte einer Variablen umzukodieren, z.B. “weiblich” in “w” oder in 0. Eine gute Möglichkeit, dies in R umzusetzen, bietet der Befehl case_when; der Befehl wohnt im Tidyverse. Im Datenwerk finden Sie dazu Übungen, etwa mutate03.

4.9.2 Hilfe?! Erbie!

R will nicht, so wie Sie wollen? Sie haben das Gefühl, R verweigert störrisch den Dienst, vermutlich rein aus Boshaftigkeit, rein um Sie zu ärgern? Ausführliches Googeln und ChatGPT befragen hat keine Lösung gebracht? Kurz, Sie brauchen die Hilfe eines kundigen Menschens? Sie sollten Ihren Hilfeschrei so artikulieren, dass er nicht nur gehört, sondern auch verstanden wird und einen anderen Menschen veranlasst und ermöglicht, Ihnen zu helfen.

Also: Sie müssen Ihr Problem nachvollziehbar, aber prägnant formulieren. Das nennt man auch ein ERBie: ein einfaches, reproduzierbares Beispiel Ihres Problems mit (R-)Syntax:

  • einfach: die einfachste Syntax, die Ihr Problem bzw. die Fehlermeldung produziert. Es bietet sich an, einen einfachen, allgemein bekannten Datensatz zu verwenden, etwa mtcars
  • reproduzierbar: Code (z.B. als Textdatei oder in einem Post), der die Fehlermeldung entstehen lässt

Beispiel 4.12 (Beispiel für ein Erbie) Problem: Ich verstehe nicht, warum folgende Fehlermeldung kommt.

Ziel: Ich möchte die Automatikautos filtern (am = 0).

Was ich schon versucht habe: Ich habe folgende Posts gelesen …, aber ohne Erfolg.

Erbie:

data(mtcars)
library(dplyr)  # nicht "tidyverse", denn "dplyr" reicht

mtcars %>% 
  filter(am = 0)  # den kürzesten Code, der Ihren Fehler entstehen lässt!

sessionInfo()  # gibt Infos zur R-Version etc. aus
Error in `filter()`

Mit dem Paket reprex kann man sich R-Syntax schön formuliert ausgeben lassen. Das ist perfekt, um den Code dann in einem Forum (oder Mail) einzustellen. Dafür müssen Sie nur den Code auswählen, Strg-c drücken und dann reprex::reprex ausführen. Mit Strg-v können Sie die schön formatierte Syntax (sowie die Ausgabe, auch schön formatiert) dann irgendwohin pasten.

Help me help you ()
Tipp

Posten Sie Ihr Erbie bei https://gist.github.com/ als “public gist”. Hier ist ein Beispiel.

4.9.3 Zertifikate und Online-Kurse

Sie können zu den Inhalten dieses Kapitels Zertifikate erwerben (teilweise kostenlos), indem Sie einen Online-Kurs absolvieren, bei z.B. folgenden Anbietern – Das ist keine Werbung für spezifische Anbieter und kein umfassender Überblick und keine Kaufempfehlung.

4.10 Exkurs

Dall-E 2 ist eine KI, die “realistische Bilder und Kunst aus einer Beschreibung in natürlicher Sprache” erstellt.

👨‍🏫 I’d like a mixture between robot und professor, in oil painting

🤖 … s.

Abbildung 4.13: Bild erzeugt von künstlicher Intelligenz, Quelle: DALL-E 2, 2023-02-09

Der Nutzen künstlicher Intelligenz für die Datenanalyse ist natürlich breiter: Wenn Sie sich z.B. über die Syntax eines bestimmten Befehls (oder allgemeiner: Vorhabens) nicht sicher sind, fragen Sie sich doch mal einen Bot wie ChatGPT.

4.11 Literaturhinweise

Sauer (), Kap. 7, gibt eine Einführung in die Datenaufbereitung (mit Hilfe von R), ähnlich zu den Inhalten dieses Kapitels. Mehr in die Tiefe des “Datenjudo” führen; der Autor Hadley Wickham ist in der R-Community sehr bekannt. Er ist einer der Hauptautoren von beliebten R-Paketen wie dplyr und ggplot2. Wickham & Grolemund () Kap. 5 behandeln (etwas ausführlicher) die Themen dieses Kapitels.

Wer sich tiefer in das Datenjudo mit dem Tidyverse einarbeiten möchte, dem sei z.B. dieser Kurs empfohlen.


  1. Quelle: ChatGTP 3.5, 2023-02-09↩︎

  2. select(mariokart, total_pr, cond, 2)↩︎

  3. https://tidyr.tidyverse.org/reference/tidyr_tidy_select.html↩︎

  4. summarise(mariokart, hoechster_preis = max(total_pr))↩︎

  5. summarise(mariokart, mw_versand = mean(total_pr))↩︎

  6. count(mariokart, stock_photo)↩︎

  7. count(mariokart, stock_photo, cond)↩︎

  8. https://tidydatatutor.com↩︎

  9. Genauer gesagt im Paket magrittr, welches aber von tidyverse geladen wird. Also nichts, um das Sie sich kümmern müssten.↩︎

  10. https://www.statology.org/dplyr-case_when/↩︎