Comment cloner un sous-répertoire uniquement d'un référentiel Git?

https://stackoverflow.com/questions/600079

03-07-2019
|

Question

J'ai mon référentiel Git qui, à la racine, a deux sous-répertoires:

/finisht
/static

Quand cela se trouvait dans SVN , / finisht a été extrait à un endroit, tandis que / static a été extrait ailleurs, comme suit:

svn co svn+ssh://admin@domain.com/home/admin/repos/finisht/static static

Y at-il un moyen de faire cela avec Git?

La solution

MODIFIER : à partir de Git 2.19, cela est enfin possible, comme vous pouvez le constater dans cette réponse: https://stackoverflow.com/a/52269934/2988 .

Pensez à voter contre cette réponse.

Remarque: dans Git 2.19, seule la prise en charge côté client est implémentée. La prise en charge côté serveur est toujours manquante. Elle ne fonctionne donc que lors du clonage de référentiels locaux. Notez également que les grands hébergeurs Git, par exemple GitHub, n'utilisez pas réellement le serveur Git, ils utilisent leur propre implémentation, donc même si le support apparaît sur le serveur Git, cela ne signifie pas automatiquement que cela fonctionne sur les hôtes Git. (OTOH, comme ils n'utilisent pas le serveur Git, ils pourraient le mettre en œuvre plus rapidement dans leurs propres implémentations avant qu'il n'apparaisse dans le serveur Git.)

Non, ce n'est pas possible dans Git.

Implémenter quelque chose comme ceci dans Git représenterait un effort considérable et signifierait que l'intégrité du référentiel côté client ne pourrait plus être garantie. Si vous êtes intéressé, recherchez des discussions sur " clone clairsemé " et " recherche clairsemée " sur la liste de diffusion git.

En général, dans la communauté Git, le consensus est que si plusieurs répertoires sont toujours extraits de manière indépendante, il s’agit en réalité de deux projets différents qui doivent vivre dans deux référentiels différents. Vous pouvez les recoller en utilisant les les sous-modules Git .

Autres conseils

Ce que vous essayez de faire s'appelle une commande fragmentée , et cette fonctionnalité a été ajoutée dans git 1.7.0 (février 2012). Les étapes pour créer un clone clairsemé sont les suivantes:

mkdir <repo>
cd <repo>
git init
git remote add -f origin <url>

Ceci crée un référentiel vide avec votre télécommande et récupère tous les objets mais ne les extrait pas. Alors faites:

git config core.sparseCheckout true

Vous devez maintenant définir les fichiers / dossiers que vous voulez réellement extraire. Ceci est fait en les listant dans .git / info / sparse-checkout , par exemple:

echo "some/dir/" >> .git/info/sparse-checkout
echo "another/sub/tree" >> .git/info/sparse-checkout

Dernier point, mais non le moindre, mettez à jour votre référentiel vide avec l'état de la télécommande:

git pull origin master

Vous allez maintenant avoir les fichiers "extraits" " pour un / répertoire et un autre / sous / arbre sur votre système de fichiers (avec ces chemins toujours), et aucun autre chemin présent.

Vous pouvez consulter le didacticiel détaillé et vous devriez probablement lire la documentation relative au paiement clairsemé .

En tant que fonction:

function git_sparse_clone() (
  rurl="$1" localdir="$2" && shift 2

  mkdir -p "$localdir"
  cd "$localdir"

  git init
  git remote add -f origin "$rurl"

  git config core.sparseCheckout true

  # Loops over remaining args
  for i; do
    echo "$i" >> .git/info/sparse-checkout
  done

  git pull origin master
)

Utilisation:

git_sparse_clone "http://github.com/tj/n" "./local/location" "/bin"

Notez que cela téléchargera tout le référentiel à partir du serveur - seule la taille de la caisse est réduite. Pour le moment, il n'est pas possible de cloner un seul répertoire. Mais si vous n'avez pas besoin de l'historique du référentiel, vous pouvez au moins économiser sur la bande passante en créant un clone peu profond. Voir la réponse d'udondan ci-dessous pour savoir comment combiner une couche peu profonde clone et paiement clairsemé.

Vous pouvez combiner les fonctionnalités Sparse Checkout et shallow clone . Le shallow clone coupe l'historique et la contrôle clairsemé ne récupère que les fichiers correspondant à vos modèles.

git init <repo>
cd <repo>
git remote add origin <url>
git config core.sparsecheckout true
echo "finisht/*" >> .git/info/sparse-checkout
git pull --depth=1 origin master

Vous aurez besoin de minimum Git 1.9 pour que cela fonctionne. Je l’ai testé moi-même uniquement avec 2.2.0 et 2.2.2.

Ainsi, vous pourrez toujours publier , ce qui n'est pas possible avec l'archive git .

clone git --filter depuis Git 2.19

Cette option empêchera effectivement d'extraire des objets inutiles du serveur:

git clone --depth 1 --no-checkout --filter=blob:none \
  "file://$(pwd)/server_repo" local_repo
cd local_repo
git checkout master -- mydir/

Le serveur doit être configuré avec:

git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1

Une extension du protocole distant Git a été réalisée pour prendre en charge cette fonctionnalité dans la version 2.1.0.0, mais aucun serveur n'est actuellement pris en charge. Mais il peut déjà être testé localement.

TODO: - filter = blob: aucun ignore tous les blobs, mais récupère néanmoins tous les objets de l'arborescence. Mais sur un repo normal, cela devrait être minuscule comparé aux fichiers eux-mêmes, donc c'est déjà assez bon. Interrogé à: https://www.spinics.net/lists/git/msg342006.html Les développeurs ont répondu qu'un - filter = tree: 0 est en cours de réalisation. Ce a été ajouté à la version 2.20 .

N'oubliez pas que - profondeur 1 implique déjà - une seule branche , voir aussi: Comment cloner une seule branche dans Git?

fichier: // $ (chemin) est nécessaire pour surmonter les shenanigans de protocole git clone : Comment cloner un dépôt peu profond dans un dépôt git local avec un chemin relatif?

Le format de - filter est documenté dans man git-rev-list .

Docs sur l'arbre Git:

Testez-le

#!/usr/bin/env bash
set -eu

list-objects() (
  git rev-list --all --objects
  echo "master commit SHA: $(git log -1 --format="%H")"
  echo "mybranch commit SHA: $(git log -1 --format="%H")"
  git ls-tree master
  git ls-tree mybranch | grep mybranch
  git ls-tree master~ | grep root
)

# Reproducibility.
export GIT_COMMITTER_NAME='a'
export GIT_COMMITTER_EMAIL='a'
export GIT_AUTHOR_NAME='a'
export GIT_AUTHOR_EMAIL='a'
export GIT_COMMITTER_DATE='2000-01-01T00:00:00+0000'
export GIT_AUTHOR_DATE='2000-01-01T00:00:00+0000'

rm -rf server_repo local_repo
mkdir server_repo
cd server_repo

# Create repo.
git init --quiet
git config --local uploadpack.allowfilter 1
git config --local uploadpack.allowanysha1inwant 1

# First commit.
# Directories present in all branches.
mkdir d1 d2
printf 'd1/a' > ./d1/a
printf 'd1/b' > ./d1/b
printf 'd2/a' > ./d2/a
printf 'd2/b' > ./d2/b
# Present only in root.
mkdir 'root'
printf 'root' > ./root/root
git add .
git commit -m 'root' --quiet

# Second commit only on master.
git rm --quiet -r ./root
mkdir 'master'
printf 'master' > ./master/master
git add .
git commit -m 'master commit' --quiet

# Second commit only on mybranch.
git checkout -b mybranch --quiet master~
git rm --quiet -r ./root
mkdir 'mybranch'
printf 'mybranch' > ./mybranch/mybranch
git add .
git commit -m 'mybranch commit' --quiet

echo "# List and identify all objects"
list-objects
echo

# Restore master.
git checkout --quiet master
cd ..

# Clone. Don't checkout for now, only .git/ dir.
git clone --depth 1 --quiet --no-checkout --filter=blob:none "file://$(pwd)/server_repo" local_repo
cd local_repo

# List missing objects from master.
echo "# Missing objects after --no-checkout"
git rev-list --all --quiet --objects --missing=print
echo

echo "# Git checkout fails without internet"
mv ../server_repo ../server_repo.off
! git checkout master
echo

echo "# Git checkout fetches the missing directory from internet"
mv ../server_repo.off ../server_repo
git checkout master -- d1/
echo

echo "# Missing objects after checking out d1"
git rev-list --all --quiet --objects --missing=print

Sortie dans Git v2.19.0:

# List and identify all objects
c6fcdfaf2b1462f809aecdad83a186eeec00f9c1
fc5e97944480982cfc180a6d6634699921ee63ec
7251a83be9a03161acde7b71a8fda9be19f47128
62d67bce3c672fe2b9065f372726a11e57bade7e
b64bf435a3e54c5208a1b70b7bcb0fc627463a75 d1
308150e8fddde043f3dbbb8573abb6af1df96e63 d1/a
f70a17f51b7b30fec48a32e4f19ac15e261fd1a4 d1/b
84de03c312dc741d0f2a66df7b2f168d823e122a d2
0975df9b39e23c15f63db194df7f45c76528bccb d2/a
41484c13520fcbb6e7243a26fdb1fc9405c08520 d2/b
7d5230379e4652f1b1da7ed1e78e0b8253e03ba3 master
8b25206ff90e9432f6f1a8600f87a7bd695a24af master/master
ef29f15c9a7c5417944cc09711b6a9ee51b01d89
19f7a4ca4a038aff89d803f017f76d2b66063043 mybranch
1b671b190e293aa091239b8b5e8c149411d00523 mybranch/mybranch
c3760bb1a0ece87cdbaf9a563c77a45e30a4e30e
a0234da53ec608b54813b4271fbf00ba5318b99f root
93ca1422a8da0a9effc465eccbcb17e23015542d root/root
master commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
mybranch commit SHA: fc5e97944480982cfc180a6d6634699921ee63ec
040000 tree b64bf435a3e54c5208a1b70b7bcb0fc627463a75    d1
040000 tree 84de03c312dc741d0f2a66df7b2f168d823e122a    d2
040000 tree 7d5230379e4652f1b1da7ed1e78e0b8253e03ba3    master
040000 tree 19f7a4ca4a038aff89d803f017f76d2b66063043    mybranch
040000 tree a0234da53ec608b54813b4271fbf00ba5318b99f    root

# Missing objects after --no-checkout
?f70a17f51b7b30fec48a32e4f19ac15e261fd1a4
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb
?308150e8fddde043f3dbbb8573abb6af1df96e63

# Git checkout fails without internet
fatal: '/home/ciro/bak/git/test-git-web-interface/other-test-repos/partial-clone.tmp/server_repo' does not appear to be a git repository
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.

# Git checkout fetches the missing directory from internet
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.
remote: Enumerating objects: 1, done.
remote: Counting objects: 100% (1/1), done.
remote: Total 1 (delta 0), reused 0 (delta 0)
Receiving objects: 100% (1/1), 45 bytes | 45.00 KiB/s, done.

# Missing objects after checking out d1
?8b25206ff90e9432f6f1a8600f87a7bd695a24af
?41484c13520fcbb6e7243a26fdb1fc9405c08520
?0975df9b39e23c15f63db194df7f45c76528bccb

Conclusions: tous les blobs extérieurs à d1 / sont manquants. Par exemple. 0975df9b39e23c15f63db194df7f45c76528bccb , qui est d2 / b n'est pas là après la vérification de d1 / a .

Notez que root / root et mybranch / mybranch sont également manquants, mais - profondeur 1 les masque dans la liste des fichiers manquants. . Si vous supprimez - profondeur 1 , ils apparaissent dans la liste des fichiers manquants.

J'ai un rêve

Cette fonctionnalité pourrait révolutionner Git.

Imaginez que vous disposiez de tous les codes de votre entreprise dans un même référentiel sans Outils tiers malsains tels que repo .

Imaginez stocker d'énormes blobs directement dans le repo sans aucun tiers laid extensions .

Imaginez si GitHub autoriserait les par métadonnées de fichier / répertoire comme des étoiles et des autorisations, afin vous pouvez stocker toutes vos affaires personnelles sous un seul dépôt.

Imaginez que les soient traités exactement comme des répertoires : il suffit de demander un arbre SHA et un mécanisme de type DNS qui résout votre demande , en recherchant d'abord sur votre code ~ / .git , puis d'abord sur les serveurs les plus proches (cache / miroir de votre entreprise) et ensuite sur GitHub.

Pour les autres utilisateurs qui veulent télécharger un fichier / dossier depuis github, utilisez simplement:

svn export <repo>/trunk/<folder>

par exemple

svn export https://github.com/lodash/lodash.com/trunk/docs

(oui, c'est svn ici. apparemment en 2016, vous avez toujours besoin de svn pour télécharger simplement des fichiers github)

Avec l'aimable autorisation: télécharger un dossier ou un répertoire à partir de un dépôt GitHub

Important : veillez à mettre à jour l'URL de github et à remplacer / tree / master / par "/ trunk /'.

En tant que script bash:

git-download(){
    folder=${@/tree\/master/trunk}
    folder=${folder/blob\/master/trunk}
    svn export $folder
}

Remarque Cette méthode télécharge un dossier, ne le clone pas / ne le contrôle pas. Vous ne pouvez pas repousser les modifications dans le référentiel. Par contre, le téléchargement est moins volumineux que pour les caisses peu volumineuses ou peu profondes.

Si vous n'envisagez jamais d'interagir avec le référentiel à partir duquel vous avez cloné, vous pouvez créer un git clone complet et réécrire votre référentiel à l'aide de git filter-branch --subdirectory-filter . Ainsi, au moins l’histoire sera préservée.

Git 1.7.0 a des «caisses clairsemées». Voir «Core.sparseCheckout» dans la la config git , «Paiement clairsemé» dans la la page de manuel git read-tree , et «Passer le bit de travail» dans le < em> git update-index page de manuel .

L’interface n’est pas aussi pratique que celle de SVN (par exemple, il n’existe aucun moyen de procéder à une extraction clairsemée au moment du clonage initial), mais la fonctionnalité de base sur laquelle des interfaces plus simples pourraient être construites est désormais disponible.

Cela semble beaucoup plus simple:

git archive --remote=<repo_url> <branch> <path> | tar xvf -

Il n'est pas possible de cloner un sous-répertoire uniquement avec Git, mais voici quelques solutions de contournement.

Filtrer le filtre

Vous pouvez réécrire le référentiel pour lui donner l’impression que trunk / public_html / était sa racine de projet et ignorer tout autre historique (en utilisant branche-filtre ), essayez une branche déjà passée à la caisse:

git filter-branch --subdirectory-filter trunk/public_html -- --all

^{Remarques: Le - qui sépare les options de branche de filtre des options de révision, et le - all pour réécrire toutes les branches et les balises. Toutes les informations, y compris les heures de validation ou de fusion d'origine, seront préservées . Cette commande respecte le fichier .git / info / grafts et les références dans l'espace de noms refs / replace / , donc si vous avez des greffes ou un remplacement refs défini, l'exécution de cette commande les rendra permanents.}

Attention! L'historique réécrit aura des noms d'objet différents pour tous les objets et ne convergera pas vers la branche d'origine. Vous ne pourrez pas facilement pousser et distribuer la branche réécrite au-dessus de la branche d'origine. Veuillez ne pas utiliser cette commande si vous ne connaissez pas toutes les implications et évitez de l'utiliser de toute façon, si un simple commit suffit à résoudre votre problème.

Paiement clairsemé

Voici quelques étapes simples avec l’approche Paiement clairsemé qui remplit le répertoire de travail de manière éparse afin que vous puissiez Indiquez à Git quel (s) dossier (s) ou fichier (s) du répertoire de travail valent la peine d'être vérifiés.

Cloner le référentiel comme d'habitude ( - no-checkout est facultatif):

git clone --no-checkout git@foo/bar.git cd bar

^{Vous pouvez ignorer cette étape si votre référentiel est déjà cloné.}

Conseil: pour les pensions de grande taille, pensez à clone superficiel ( - profondeur 1 ) pour extraire uniquement la dernière révision ou / et - une seule branche uniquement.

Activez l'option sparseCheckout :

git config core.sparseCheckout true

Spécifiez le (s) dossier (s) pour le contrôle clairsemé ( sans espace à la fin):

echo "trunk/public_html/*"> .git/info/sparse-checkout

ou éditez .git / info / sparse-checkout .

Vérification de la branche (par exemple, maître ):

git checkout master

Vous devriez maintenant avoir sélectionné des dossiers dans votre répertoire actuel.

Vous pouvez envisager des liens symboliques si vous avez trop de niveaux de répertoires ou de branche de filtrage à la place.

Je viens de écrire un script pour GitHub .

Utilisation:

python get_git_sub_dir.py path/to/sub/dir <RECURSIVE>

Voici un script shell que j’ai écrit pour le cas d’utilisation d’un sous-répertoire fragmenté

coSubDir.sh

localRepo=$1 remoteRepo=$2 subDir=$3 # Create local repository for subdirectory checkout, make it hidden to avoid having to drill down to the subfolder mkdir ./.$localRepo cd ./.$localRepo git init git remote add -f origin $remoteRepo git config core.sparseCheckout true # Add the subdirectory of interest to the sparse checkout. echo $subDir >> .git/info/sparse-checkout git pull origin master # Create convenience symlink to the subdirectory of interest cd .. ln -s ./.$localRepo$subDir $localRepo

Ceci clone un dossier spécifique et supprime tout l'historique qui ne lui est pas lié.

git clone --single-branch -b {branch} git@github.com:{user}/{repo}.git git filter-branch --subdirectory-filter {path/to/folder} HEAD git remote remove origin git remote add origin git@github.com:{user}/{new-repo}.git git push -u origin master

Licencié sous: CC-BY-SA avec attribution

Non affilié à StackOverflow