Idata.frame: Почему ошибка "is.data.frame (df) не правда"?
-
09-10-2019 - |
Вопрос
Я работаю с большим кадром данных называется Exp (Файл здесь) В Р. В интересах производительности было предложено проверить функцию Idata.rame () из Plyr. Но я думаю, что я использую это неправильно.
Мой оригинальный звонок, медленно, но это работает:
df.median<-ddply(exp,
.(groupname,starttime,fPhase,fCycle),
numcolwise(median),
na.rm=TRUE)
С iData.frame, Error: is.data.frame(df) is not TRUE
library(plyr)
df.median<-ddply(idata.frame(exp),
.(groupname,starttime,fPhase,fCycle),
numcolwise(median),
na.rm=TRUE)
Итак, я думал, возможно, это мои данные. Поэтому я попробовал baseball
набор данных. То idata.frame
Пример работает нормально: dlply(idata.frame(baseball), "id", nrow)
Но если я попробую что-то похожее на желаемый звонок, используя baseball
, это не работает:
bb.median<-ddply(idata.frame(baseball),
.(id,year,team),
numcolwise(median),
na.rm=TRUE)
>Error: is.data.frame(df) is not TRUE
Возможно, моя ошибка в том, как я указываю группировки? Кто-нибудь знает, как сделать мой пример работы?
ETA:
Я также пробовал:
groupVars <- c("groupname","starttime","fPhase","fCycle")
voi<-c('inadist','smldist','lardist')
i<-idata.frame(exp)
ag.median <- aggregate(i[,voi], i[,groupVars], median)
Error in i[, voi] : object of type 'environment' is not subsettable
которые используют более быстрый способ получения медианов, но дает другую ошибку. Я не думаю, что понимаю, как использовать iData.rame вообще.
Решение
Учитывая, что работают с «большими» данными и ищем перфоманс, это кажется идеальной подходящей для data.table
.
Конкретно то lapply(.SD,FUN)
и .SDcols
аргументы с by
Настройка data.table
library(data.table)
DT <- as.data.table(exp)
iexp <- idata.frame(exp)
Какие столбцы есть numeric
numeric_columns <- names(which(unlist(lapply(DT, is.numeric))))
dt.median <- DT[, lapply(.SD, median), by = list(groupname, starttime, fPhase,
fCycle), .SDcols = numeric_columns]
некоторое бенчмаркинг
library(rbenchmark)
benchmark(data.table = DT[, lapply(.SD, median), by = list(groupname, starttime,
fPhase, fCycle), .SDcols = numeric_columns],
plyr = ddply(exp, .(groupname, starttime, fPhase, fCycle), numcolwise(median), na.rm = TRUE),
idataframe = ddply(exp, .(groupname, starttime, fPhase, fCycle), function(x) data.frame(inadist = median(x$inadist),
smldist = median(x$smldist), lardist = median(x$lardist), inadur = median(x$inadur),
smldur = median(x$smldur), lardur = median(x$lardur), emptyct = median(x$emptyct),
entct = median(x$entct), inact = median(x$inact), smlct = median(x$smlct),
larct = median(x$larct), na.rm = TRUE)),
aggregate = aggregate(exp[, numeric_columns],
exp[, c("groupname", "starttime", "fPhase", "fCycle")],
median),
replications = 5)
## test replications elapsed relative user.self
## 4 aggregate 5 5.42 1.789 5.30
## 1 data.table 5 3.03 1.000 3.03
## 3 idataframe 5 11.81 3.898 11.77
## 2 plyr 5 9.47 3.125 9.45
Другие советы
Странное поведение, но даже в документах написано, что iData.rame - экспериментал. Вы, вероятно, нашли ошибку. Возможно, вы можете переписать чек на вершине DDPLY, которые тесты is.data.frame ().
В любом случае, это сокращает около 20% от времени (в моей системе):
system.time(df.median<-ddply(exp, .(groupname,starttime,fPhase,fCycle), function(x) data.frame(
inadist=median(x$inadist),
smldist=median(x$smldist),
lardist=median(x$lardist),
inadur=median(x$inadur),
smldur=median(x$smldur),
lardur=median(x$lardur),
emptyct=median(x$emptyct),
entct=median(x$entct),
inact=median(x$inact),
smlct=median(x$smlct),
larct=median(x$larct),
na.rm=TRUE))
)
Шейн спросил вас в другом посте, если вы можете кэшировать результаты вашего сценария. У меня на самом деле не имею представление о вашем рабочем процессе, но может быть лучше настроить Chron, чтобы запустить это и хранить результаты, ежедневно / почасовые.