Criando uma planilha a partir de um arquivo XML

Question

Estou tentando converter um banco de dados XML de 120 MB de incidentes terroristas (o primeiro arquivo para download disponível aqui http://wits.nctc.gov/export.do) para o formulário de planilha para que eu possa mesclá -lo com outros dados e fazer análises estatísticas.

Até agora, trabalhei com o STATA, o que é inútil agora porque não lê o XML. O site oferece arquivos menores por mês, que podem ser abertos via Excel, mas o Excel não os exibe na forma que eu quero e deve haver uma maneira melhor de transformar o arquivo completo em vez de abrir mais de cem arquivos, salvando -os manualmente como a guia se separou e depois mesclá -los.

Estou procurando uma maneira de converter o arquivo completo Wits.xml em uma planilha onde uma linha representa um único incidente terrorista, e nenhuma informação do XML deve estar faltando. Mesmo um XML estruturado de maneira diferente provavelmente está bem. Eu tentei conversores, mas eles não são gratuitos, não executam da maneira que eu quero que eles ou o tamanho do arquivo seja muito grande, e não tenho idéia de como usar o XSLT. Estou estudando economia e meu conhecimento de programação é praticamente inexistente, o que está se tornando cada vez mais uma desvantagem. Vi que existe um pacote para R que eu poderia usar, talvez agora seja o momento certo para começar a aprender r ou algum outro idioma. No entanto, se houver uma maneira rápida e fácil de fazê -lo, eu com certeza prefiro.

Answer 1

Para isso, você vai querer usar a propriedade ListItemCollectionPosition de SPQUERY.

.

splistitemcollectionsition é a classe que ajuda a alcançar paging e classificando os resultados obtidos pela SPQUERY.

veja aqui: http://msdn.microsoft.com/en-us/library/microsoft.sharepoint.splistitemcollectionPosition.aspx

e aqui Para um exemplo mais abrangente

Answer 2

Comecei a usar um produto de código aberto chamado Talend Open Studio Para realizar esse tipo de tarefas de extração/transformação/carga. É uma ferramenta de geração de código baseada na GUI que produz a Perl ou Java portátil e vem com gazilhões de conexões com o banco de dados e os tipos de arquivos.

Isso exigiria uma curva de aprendizado; Não é totalmente intuitivo realizar algumas das tarefas mais complexas. No entanto, suspeito que a configuração para ler seu XML e saída para XLS seria bastante rápida e fácil.