Замена LD с золотом - любой опыт?

https://stackoverflow.com/questions/3476093

28-09-2019
|

Вопрос

Кто-нибудь пытался использовать gold вместо ld?

gold обещания быть намного быстрее, чем ld, Таким образом, это может помочь ускорить тестовые циклы для больших приложений C ++, но его можно использовать в качестве замены для LD?

Могу gcc/g++ напрямую звонить gold.?

Есть ли какие-нибудь ошибки или проблемы?

Несмотря на то что gold Является частью GNU Binutils с некоторого времени, я почти не нашел «истории успеха» или даже «Howtos» в сети.

(Обновление: добавленные ссылки на запись золота и блога, объясняя его)

Решение

На данный момент он компилирует большие проекты на Ubuntu 10.04. Здесь вы можете легко установить и интегрировать его с помощью binutils-gold пакет (если вы удалите этот пакет, вы получите свой старый ld). GCC будет автоматически использовать золото тогда.

Некоторые опыты:

Золото не ищет в /usr/local/lib
Золото не предполагает, что Libs, как Pthread или RT, пришлось добавить их вручную
Это быстрее и нужно меньше памяти (позже важно на крупных проектах C ++ с большим количеством повышения и т. Д.)

Что не работает: он не может скомпилировать материал ядра и, следовательно, никаких модулей ядра. Ubuntu делает это автоматически через DKMS, если он обновляет запатентованные драйверы, такие как FGLRX. Это терпит неудачу с ld-gold (Вы должны удалить золото, перезапустить DKMS, переустановить ld-gold.

Другие советы

Поскольку мне немного потребовалось, чтобы узнать, как избирательно использовать золото (то есть не в системе, используя SymLink), я опубликую это решение здесь. Это основано на http://code.google.com/p/chromium/wiki/linuxfasterbuilds#linking_using_gold. .

Сделайте каталог, где вы можете поместить сценарий золотого клея. я использую ~/bin/gold/.
Поместите следующий скрипт клея и назовите его ~/bin/gold/ld:
```
#!/bin/bash
gold "$@"
```
Очевидно, сделайте его исполняемым, chmod a+x ~/bin/gold/ld.
Изменить ваши звонки в gcc к gcc -B$HOME/bin/gold что делает GCC просматривать в данном каталоге для программ вспомогательных программ, таких как ld И таким образом использует скрипт клея вместо системы-по умолчанию ld.

Can GCC / G ++ напрямую называют золото.?

Просто дополнить ответы: есть вариант GCC -fuse-ld=gold (видеть GCC DOC.). Хотя AFAIK, можно настроить GCC во время сборки таким образом, чтобы опция не будет иметь никакого эффекта.

Как разработчик Samba, я использовал золотой линкер почти исключительно на Ubuntu, Debian и Fedora с нескольких лет. Моя оценка:

Золото много раз (ощущается: 5-10 раз) быстрее, чем классический линкер.
Первоначально произошло несколько проблем, но то поехали с примерно Ubuntu 12.04.
Золотой линкер даже нашел некоторые проблемы на зависимостью в нашем коде, поскольку, поскольку кажется более правильным, чем классический по отношению к некоторым деталям. Смотри, например, Эта самба фиксируется.

Я не использовал золото избирательно, но использовал SymLinks или механизм альтернатив, если распределение предоставляет ему.

Вы могли бы связать ld к gold (в локальном двоичном каталоге, если у вас есть ld установлен, чтобы избежать перезаписи):

ln -s `which gold` ~/bin/ld

или

ln -s `which gold` /usr/local/bin/ld

Минимальный синтетический ориентир

Результат: золото было около 2x до 3 раза быстрее для всех значений, которые я пробовал.

генерировать- объекты

#!/usr/bin/env bash
set -eu

# CLI args.

# Each of those files contains n_ints_per_file ints.
n_int_file_is="${1:-10}"
n_ints_per_file="${2:-10}"

# Each function adds all ints from all files.
# This leads to n_int_file_is x n_ints_per_file x n_funcs relocations.
n_funcs="${3:-10}"

# Do a debug build, since it is for debug builds that link time matters the most,
# as the user will be recompiling often.
cflags='-ggdb3 -O0 -std=c99 -Wall -Wextra -pedantic'

# Cleanup previous generated files objects.
./clean

# Generate i_*.c, ints.h and int_sum.h
rm -f ints.h
echo 'return' > int_sum.h
int_file_i=0
while [ "$int_file_i" -lt "$n_int_file_is" ]; do
  int_i=0
  int_file="${int_file_i}.c"
  rm -f "$int_file"
  while [ "$int_i" -lt "$n_ints_per_file" ]; do
    echo "${int_file_i} ${int_i}"
    int_sym="i_${int_file_i}_${int_i}"
    echo "unsigned int ${int_sym} = ${int_file_i};" >> "$int_file"
    echo "extern unsigned int ${int_sym};" >> ints.h
    echo "${int_sym} +" >> int_sum.h
    int_i=$((int_i + 1))
  done
  int_file_i=$((int_file_i + 1))
done
echo '1;' >> int_sum.h

# Generate funcs.h and main.c.
rm -f funcs.h
cat <<EOF >main.c
#include "funcs.h"

int main(void) {
return
EOF
i=0
while [ "$i" -lt "$n_funcs" ]; do
  func_sym="f_${i}"
  echo "${func_sym}() +" >> main.c
  echo "int ${func_sym}(void);" >> funcs.h
  cat <<EOF >"${func_sym}.c"
#include "ints.h"

int ${func_sym}(void) {
#include "int_sum.h"
}
EOF
  i=$((i + 1))
done
cat <<EOF >>main.c
1;
}
EOF

# Generate *.o
ls | grep -E '\.c$' | parallel --halt now,fail=1 -t --will-cite "gcc $cflags -c -o '{.}.o' '{}'"

Github вверх по течению.

Учитывая вход типа:

./generate-objects [n_int_file_is [n_ints_per_file [n_funcs]]]

Это генерирует основной, который делает:

return f_0() + f_1() + ... + f_(n_funcs)()

где каждая функция определена в отдельном f_n.c Файл и добавляет n_int_file_is времена n_ints_per_file extern ints:

int f_0() { return i_0_0 + i_0_1 + ... + i_(n_int_file_is)_(n_ints_per_file); }

Это ведет к:

n_int_file_is x n_ints_per_file x n_funcs

перевозки по ссылке.

Тогда я сравнил:

gcc -ggdb3 -O0 -std=c99 -Wall -Wextra -pedantic               -o main *.o
gcc -ggdb3 -O0 -std=c99 -Wall -Wextra -pedantic -fuse-ld=gold -o main *.o

Для различных входных триплетов, которые дали:

10000 10 10
nogold: wall=3.70s user=2.93s system=0.75s max_mem=556356kB
gold:   wall=1.43s user=1.15s system=0.28s max_mem=703060kB

1000 100 10
nogold: wall=1.23s user=1.07s system=0.16s max_mem=188152kB
gold:   wall=0.60s user=0.52s system=0.07s max_mem=279108kB

100 1000 10
nogold: wall=0.96s user=0.87s system=0.08s max_mem=149636kB
gold:   wall=0.53s user=0.47s system=0.05s max_mem=231596kB

10000 10 100
nogold: wall=11.63s user=10.31s system=1.25s max_mem=1411264kB
gold:   wall=6.31s user=5.77s system=0.53s max_mem=2146992kB

1000 100 100
nogold: wall=7.19s user=6.56s system=0.60s max_mem=1058432kB
gold:   wall=4.15s user=3.81s system=0.34s max_mem=1697796kB

100 1000 100
nogold: wall=6.15s user=5.58s system=0.57s max_mem=1031372kB
gold:   wall=4.06s user=3.76s system=0.29s max_mem=1652548kB

Некоторые ограничения, которые я пытался смягчить:

При 100K C файлов, оба метода изредка получают неудачные Mallocs
GCC не может скомпилировать функцию с добавлениями 1 м

Испытано на Ubuntu 18.10, GCC 8.2.0, Lenovo ThinkPad P51 ноутбук, Intel Core I7-7820HQ CPU (4 ядра / 8 потоков), 2x Samsung M471A2K43BB1-CRC RAM (2x 16GIB), Samsung MZVLB512HAJQ-000L7 SSD (3000 МБ / с ).

Я также наблюдал 2 раза в отладке сборке GEM5: https://gem5.googlesource.com/public/gem5/+/fafe4e80b76e93e3d0d05797904c19928587f5b5.

Некоторые проекты, похоже, несовместимы с золотом из-за некоторых несовместимых различий между LD и Gold. Пример: OpenFOAM, см. http://www.openfoam.org/mantisbt/view.php?id=685. .

DragonFlybsd переключился на золото в качестве их линкера по умолчанию. Так что, кажется, готов к различным инструментам.
Подробнее:http://phoronix.com/scan.php?page=news_item&px=dragonflybsd-gold-linker.

Лицензировано под: CC-BY-SA с атрибуция

Не связан с StackOverflow