Как переписать команду «Sapply», чтобы повысить производительность?
-
24-10-2019 - |
Вопрос
У меня есть Data.frame с именем «D» из ~ 1 300 000 строк и 4 столбца и еще один Data.frame назван «GC» из ~ 12 000 строк и 2 столбца (но см. Меньший пример ниже).
d <- data.frame( gene=rep(c("a","b","c"),4), val=rnorm(12), ind=c( rep(rep("i1",3),2), rep(rep("i2",3),2) ), exp=c( rep("e1",3), rep("e2",3), rep("e1",3), rep("e2",3) ) )
gc <- data.frame( gene=c("a","b","c"), chr=c("c1","c2","c3") )
Вот как выглядит "D":
gene val ind exp
1 a 1.38711902 i1 e1
2 b -0.25578496 i1 e1
3 c 0.49331256 i1 e1
4 a -1.38015272 i1 e2
5 b 1.46779219 i1 e2
6 c -0.84946320 i1 e2
7 a 0.01188061 i2 e1
8 b -0.13225808 i2 e1
9 c 0.16508404 i2 e1
10 a 0.70949804 i2 e2
11 b -0.64950167 i2 e2
12 c 0.12472479 i2 e2
А вот "GC":
gene chr
1 a c1
2 b c2
3 c c3
Я хочу добавить 5 -й столбец в «D», включив данные из «GC», которые соответствуют 1 -м столбцу «D». На данный момент я использую сапли.
d$chr <- sapply( 1:nrow(d), function(x) gc[ gc$gene==d[x,1], ]$chr )
Но на реальных данных это требуется «очень долгое» время (я запускаю команду с «System.Time ()», так как более 30 минут, и оно все еще не закончено).
У вас есть представление о том, как я мог бы переписать это умным образом? Или я должен рассмотреть возможность использования плир, может быть, с опцией «Параллель» (у меня есть четыре ядра на моем компьютере)? В таком случае, что будет лучшим синтаксисом?
Заранее спасибо.
Решение
Я думаю, что вы можете просто использовать фактор в качестве индекса:
gc[ d[,1], 2]
[1] c1 c2 c3 c1 c2 c3 c1 c2 c3 c1 c2 c3
Levels: c1 c2 c3
делает так же, как:
sapply( 1:nrow(d), function(x) gc[ gc$gene==d[x,1], ]$chr )
[1] c1 c2 c3 c1 c2 c3 c1 c2 c3 c1 c2 c3
Levels: c1 c2 c3
Но намного быстрее:
> system.time(replicate(1000,sapply( 1:nrow(d), function(x) gc[ gc$gene==d[x,1], ]$chr )))
user system elapsed
5.03 0.00 5.02
>
> system.time(replicate(1000,gc[ d[,1], 2]))
user system elapsed
0.12 0.00 0.13
Редактировать:
Чтобы немного расширить мой комментарий. А gc
DataFrame требует одной строки для каждого уровня gene
В порядке уровня для работы:
d <- data.frame( gene=rep(c("a","b","c"),4), val=rnorm(12), ind=c( rep(rep("i1",3),2), rep(rep("i2",3),2) ), exp=c( rep("e1",3), rep("e2",3), rep("e1",3), rep("e2",3) ) )
gc <- data.frame( gene=c("c","a","b"), chr=c("c1","c2","c3") )
gc[ d[,1], 2]
[1] c1 c2 c3 c1 c2 c3 c1 c2 c3 c1 c2 c3
Levels: c1 c2 c3
sapply( 1:nrow(d), function(x) gc[ gc$gene==d[x,1], ]$chr )
[1] c2 c3 c1 c2 c3 c1 c2 c3 c1 c2 c3 c1
Levels: c1 c2 c3
Но это не сложно исправить:
levels(gc$gene) <- levels(d$gene) # Seems redundant as this is done right quite often automatically
gc <- gc[order(gc$gene),]
gc[ d[,1], 2]
[1] c2 c3 c1 c2 c3 c1 c2 c3 c1 c2 c3 c1
Levels: c1 c2 c3
sapply( 1:nrow(d), function(x) gc[ gc$gene==d[x,1], ]$chr )
[1] c2 c3 c1 c2 c3 c1 c2 c3 c1 c2 c3 c1
Levels: c1 c2 c3
Другие советы
Альтернативное решение, которое не превышает подход Саши по срокам, но более обобщаемо и читается,-это просто merge
Два рамки данных:
d <- merge(d, gc)
У меня более медленная система, так что вот мое время:
> system.time(replicate(1000,sapply( 1:nrow(d), function(x) gc[ gc$gene==d[x,1], ]$chr )))
user system elapsed
11.22 0.12 11.86
> system.time(replicate(1000,gc[ d[,1], 2]))
user system elapsed
0.34 0.00 0.35
> system.time(replicate(1000, merge(d, gc, by="gene")))
user system elapsed
3.35 0.02 3.40
Преимущество заключается в том, что у вас может быть несколько ключей, прекрасный контроль над несуществующими элементами и т. Д.