R: Split lista sbilanciato in data.frame colonna
Domanda
Si supponga di avere un frame di dati con la seguente struttura:
df <- data.frame(a=c(1,2,3,4), b=c("job1;job2", "job1a", "job4;job5;job6", "job9;job10;job11"))
dove il b
colonna è una lista virgola-delimitato (sbilanciato per riga). Il data.frame ideale sarebbe:
id,job,jobNum
1,job1,1
1,job2,2
...
3,job6,3
4,job9,1
4,job10,2
4,job11,3
Ho una soluzione parziale che richiede circa 2 ore (170K righe):
# Split the column by the semicolon. Results in a list.
df$allJobs <- strsplit(df$b, ";", fixed=TRUE)
# Function to reshape column that is a list as a data.frame
simpleStack <- function(data){
start <- as.data.frame.list(data)
names(start) <-c("id", "job")
return(start)
}
# pylr!
system.time(df2 <- ddply(df, .(id), simpleStack))
Sembra essere un problema di dimensioni, perché se corro
system.time(df2 <- ddply(df[1:4000,c("id", "allJobs")], .(id), simpleStack))
ci vogliono solo 9 secondi. In primo luogo la conversione in una serie di data.frames con sapply (con una funzione diversa) è veloce, ma la richiesta `rbind' prende anche di più.
Soluzione
#Split by ; as before
allJobs <- strsplit(df$b, ";", fixed=TRUE)
#Replicate a by the number of jobs in each case
n <- sapply(allJobs, length)
id <- rep(df$a, times = n)
#Turn allJobs into a vector
job <- unlist(allJobs)
#Retrieve position of each job
jobNum <- unlist(lapply(n, seq_len))
#Combine into a data frame
df2 <- data.frame(id = id, job = job, jobNum = jobNum)
Altri suggerimenti
cSplit
dal mio pacchetto "splitstacksahpe" è progettato per gestire questo tipo di manipolazione dei dati.
Qui è in azione su questa domanda:
df <- data.frame(a=c(1,2,3,4),
b=c("job1;job2", "job1a", "job4;job5;job6", "job9;job10;job11"))
# install.packages("splitstackshape")
library(splitstackshape)
cSplit(df, "b", ";", "long", makeEqual = FALSE)
# a b_new
# 1: 1 job1
# 2: 1 job2
# 3: 2 job1a
# 4: 3 job4
# 5: 3 job5
# 6: 3 job6
# 7: 4 job9
# 8: 4 job10
# 9: 4 job11
È inoltre possibile utilizzare strsplit
all'interno di "dplyr", e poi seguire con unnest
da "tidyr", in questo modo:
library(dplyr)
library(tidyr)
df %>%
mutate(b = strsplit(as.character(b), ";", fixed = TRUE)) %>%
unnest(b)
# a b
# 1 1 job1
# 2 1 job2
# 3 2 job1a
# 4 3 job4
# 5 3 job5
# 6 3 job6
# 7 4 job9
# 8 4 job10
# 9 4 job11