Question
Quelle est la différence entre le repos WebHDFSAPI et httpfs ?
Si je comprends correctement:
- httpfs est un service indépendant qui expose une API de repos au-dessus de HDFS
- WebHDFS est une API de repos intégrée à HDFS.Il ne faut aucune installation supplémentaire
suis-je correct?
Quand serait souhaitable d'utiliser un au lieu de l'autre?
La solution
J'ai lu un article en rapport avec votre question.Voici le lien.
webhdfs vs httpfs Différence majeure entre WebHDFS et httpfs: WebHDFS a besoin d'un accès à tous les nœuds du cluster et lorsque certaines données sont lues, elles sont transmises directement à partir de ce nœud, alors que dans httpfs, un nœud singulaire agira semblable à une "passerelle" et sera un seulPoint de transfert de données au nœud client.Ainsi, httpfs pourrait être étouffé lors d'un transfert de fichiers volumineux, mais la bonne chose est que nous minimisons l'empreinte de pas nécessaire pour accéder aux HDF.