Software de teste de caixa preta
Pergunta
Estamos prestes a receber um pacote enlatado que foi modificado de acordo com nossas necessidades.Faço parte da equipe montada para preparar testes para isso.Possui back-end Oracle e acredito que esteja escrito em C++ .NET.
Minha pergunta é quais ferramentas de teste gratuitas ou de código aberto você recomendaria.
Obrigado
Ken
Solução
Para testes de regressão de nossos aplicativos eu uso uma ferramenta gratuita chamada AutoHotKey http://www.autohotkey.com/.É simples, configurável em lote e pode funcionar para praticamente qualquer aplicativo que você tenha.Não foi exatamente projetado para testes de caixa preta, mas é uma boa ferramenta gratuita para adicionar à sua caixa de ferramentas.
Embora existam alguns bons aplicativos comerciais para testes de caixa preta de aplicativos (HoloDeck http://www.sisecure.com/holodeck/index.shtml, Tempestade de granizo Cénzica http://www.cenzic.com/), os únicos aplicativos de código aberto que conheço apenas testam a segurança da rede (Spike http://www.immunitysec.com/resources-freesoftware.shtml, OWASP WebScarab http://www.owasp.org/index.php/Category:OWASP_WebScarab_Project, e Nikto http://www.cirt.net/nikto2)
Outras dicas
Verificação de valor.Veja se apenas datas válidas estão isentas, campos numéricos exceto o intervalo completo, etc.
O que você espera de tal ferramenta?Não conheço nenhuma ferramenta que possa testar arbitrariamente qualquer software.
Pelo que parece, você já sabe o que deseja verificar.Sendo um aplicativo personalizado, sua melhor aposta seria elaborar um plano de teste e testar manualmente os valores que você gostaria de validar.
Concorde com os outros - uma vez que o aplicativo foi modificado de acordo com suas necessidades, você deve certificar-se de que ele realmente está modificado para suas necessidades.
Se a montagem não estiver ofuscada, você pode usar o FxCop para analisar os binários e ver se há algum bug crítico (nota: se você não estiver familiarizado com o fxcop e a análise estática, encontre alguém que esteja antes de relatar uma tonelada de bugs que não será corrigido).
Além disso, você está analisando mais técnicas vs.ferramentas para realizar o trabalho.
Teste, funcional ou não funcional, sem referência à estrutura interna do componente ou sistema.