Visão Geral

Este mentor de ferramenta descreve como analisar os resultados de execução do teste a partir do Rational Test RealTime. O valor de um teste antecipado e freqüente não poderá ser concretizado se os resultados da atividade de teste não puderem ser interpretados de modo rápido e fácil e, subseqüentemente, postos em prática.

Utilizando a tecnologia de inserção de código fonte e a análise de código fonte, o Rational Test RealTime pode manter o foco em sua funcionalidade de análise do tempo de execução e do teste de componentes diretamente no nível do código fonte. Vários recursos foram incluídos para assegurar a rapidez no isolamento de falhas e a facilidade e eficiência no trabalho com o código fonte associado:

• o código fonte pode ser aberto e modificado no Editor de Texto do Test RealTime.
• os programas de controle de versão (por exemplo, Rational ClearCase) podem ser manipulados em relação a registro de entrada/registro de saída de código com versão.
• os programas de gerenciamento de mudanças (por exemplo, ClearQuest) podem ser acessados diretamente para envios de defeitos e pedidos de aprimoramento

Esses recursos são utilizados em conjunto com os relatórios de análise produzidos pelas ferramentas de teste. Cada função-chave do Test RealTime - teste de componente, teste do sistema, traçado de perfil de memória, traçado de perfil de desempenho, análise de cobertura de código, rastreio de tempo de execução, geração de métrica estática - possui um relatório dedicado. Esses relatórios contêm informações extraídas de vários arquivos de log gerados por analisadores de código fonte, instrumentadores de código fonte, geradores de script de teste, compiladores de script de teste, portas de implementação de destino e geradores de relatórios. Esses arquivos podem ser abertos automaticamente pelo Test RealTime na conclusão de uma execução ou podem ser abertos manualmente.

Cada relatório foi projetado para ser imediatamente interpretável e assegurar que o diagnóstico e a resolução de problemas sejam rápidos e eficientes.

Tipos de Relatórios

A análise de relatórios será discutida para cada recurso do Test RealTime. Quando relevantes, as diferenças dos relatórios em razão da linguagem de programação utilizada serão discutidas:

• Teste de Componente e Teste do Sistema
• Traçado de Perfil de Memória
• Traçado de Perfil de Desempenho do Aplicativo
• Análise de Cobertura de Teste
• Rastreio de Tempo de Execução
• Métricas Estáticas

Teste do Componente e Teste do Sistema

Para abrir esses relatórios utilizando a guia Navegador de Projetos na Janela de Projeto à direita da interface com o usuário do Test RealTime, clique com o botão direito do mouse em um nó de teste e selecione Visualizar Relatório->Teste. Para abrir esses relatórios utilizando o menu do Test RealTime:

1. Selecione o item de menu Arquivo->Procurar Relatórios.
2. Selecione o botão da barra de ferramentas Incluir.
3. Selecione Relatório na lista drop-down Arquivos do Tipo
4. Procure e, em seguida, selecione os arquivos .xrd correspondentes aos relatórios que você gostaria de visualizar
5. Clique no botão Abrir

Para abrir esses relatórios a partir da linha de comandos, simplesmente trate cada arquivo .xrd como um parâmetro na linha de comandos studio.

O relatório é organizado em duas seções principais, uma seção de resumo seguida por uma seção de detalhes.

• Resumo - a seção de resumo contém informações como, por exemplo, os locais dos arquivos de relatório, o tempo de execução do teste e um resumo da contagem de testes aprovados e reprovados.
  
  
• Detalhes do Teste de Componente - para testes de componente, esta seção fornece informações sobre os drivers/serviços/funções/métodos/procedimentos em teste. Para cada item, o relatório contém algumas ou todas as informações a seguir, dependendo do idioma de origem e das opções selecionadas:
  • uma seção de teste que fornece uma visão geral e resume se o teste foi aprovado, ou não.
  • uma seção de valores de variáveis, especificando o valor obtido para cada variável.
  • se a análise de cobertura de código foi desempenhada, uma seção de cobertura de código
  • informações adicionais sobre consultas de validação e verificação de contrato (isto é, asserção) para C++ e Java
  
  
• Detalhes de Teste do Sistema - para testes do sistema, as seguintes subseções são fornecidas:
  • uma seção Inicialização, que detalha as etapas envolvidas na abertura de uma conexão para o componente em teste.
  • uma ou mais seções Cenário, que detalham os testes reais que foram desempenhados. Os blocos de Cenário podem ser aninhados.
  • uma seção Finalização, que detalha as etapas envolvidas na finalização de uma conexão para o componente em teste.
  
  

O Explorer de Relatórios da interface com o usuário do Test RealTime pode ser utilizado para manipular o relatório de teste (dê um clique duplo em qualquer nó de interesse); o item de menu Relatório de Teste e a barra de ferramentas permitem filtrar o relatório a fim de visualizar apenas os defeitos. Várias seções do relatório de teste possuem hyperlink com o script de teste; simplesmente clique com o botão direito do mouse nas seções em que o ícone do mouse assemelha-se a uma mão.

Para obter informações detalhadas sobre como visualizar relatórios de teste, no Rational Test RealTime User Guide, consulte o capítulo Teste Automatizado->Teste de Componente, nas seções que discutem o relatório de teste.

Para obter informações técnicas detalhadas sobre como trabalhar com arquivos de relatório, consulte o Rational Test RealTime Reference Guide, mantendo o foco nas seções que discutem os diversos geradores de relatório de teste. Especificamente, consulte a página Apêndices->Tipos de Arquivos.

Traçado de Perfil de Memória

Os relatórios de traçado de perfil de memória para todas as linguagens suportadas - C, C++ e Java - são armazenados em arquivos baseados em XML na pasta Projeto ou na pasta TDP, dependendo da linguagem.

Para abrir esses relatórios utilizando a guia Navegador de Projetos na Janela de Projeto à direita da interface com o usuário do Test RealTime, clique com o botão direito do mouse em um nó de teste e selecione Visualizar Relatório->Perfil de Memória.

Para abrir esses relatórios utilizando o menu do Test RealTime:

1. Selecione o item de menu Arquivo->Procurar Relatórios.
2. Selecione o botão da barra de ferramentas Incluir.
3. Selecione Traçado de Perfil de Memória na lista drop-down Arquivos do Tipo
4. Procure e, em seguida, selecione os arquivos de seu interesse para visualização.
5. Repita as etapas de 2 a 4, conforme necessário.
6. Clique no botão Abrir na janela Navegador de Relatórios.

Para abrir esses relatórios a partir da linha de comandos, simplesmente trate um ou mais arquivos de seu interesse para visualização como parâmetros na linha de comandos studio.

O relatório é organizado em duas seções principais, uma seção de resumo seguida por uma seção de detalhes.

• Resumo - uma seção Histograma e Relatório Textual que apresenta o número total de blocos e bytes alocados e liberados, bem como o número máximo de blocos/bytes alocados em um determinado momento.
  
  
• Detalhes de C e C++ - cada erro e aviso é listado, com sua pilha de chamada associada. A pilha de chamada é listada primeiramente com o último método/função chamado mencionado; todos os métodos/funções na pilha de chamada possuem hyperlink com o código fonte
  
  
• Detalhes do Java - é apresentada uma listagem de todos os métodos que possuem objetos alocados desde a última captura instantânea. A tabela básica lista o número de objetos e bytes associados alocados desde a última captura instantânea para cada método, bem como o número total de objetos e bytes alocados por método e seus descendentes (isto é, métodos filho).
  
  

O Explorer de Relatórios da interface com o usuário do Test RealTime pode ser utilizado para manipular o relatório de teste (dê um clique duplo em qualquer nó de interesse); o item de menu Relatório de Teste e a barra de ferramentas permitem filtrar o relatório a fim de visualizar apenas os defeitos. Várias seções do relatório de teste possuem hyperlink com o script de teste; simplesmente clique com o botão direito do mouse nas seções em que o ícone do mouse assemelha-se a uma mão.

Para obter informações detalhadas sobre como visualizar relatórios de traçado de perfil de memória, no Rational Test RealTime User Guide, consulte o capítulo Análise de Tempo de Execução->Traçado de Perfil de Memória.

Para obter informações técnicas detalhadas sobre como trabalhar com arquivos de relatório, consulte o Rational Test RealTime Reference Guide, mantendo o foco nas seções que discutem os diversos geradores de relatório de teste. Especificamente, consulte a página Apêndices->Tipos de Arquivos.

Traçado de Perfil de Desempenho do Aplicativo

Os relatórios de traçado de perfil de desempenho para todas as linguagens suportadas - C, C++ e Java - são armazenados em arquivos baseados em XML na pasta Projeto ou na pasta TDP, dependendo da linguagem.

Para abrir esses relatórios utilizando a guia Navegador de Projetos na Janela de Projeto à direita da interface com o usuário do Test RealTime, clique com o botão direito do mouse em um nó de teste e selecione Visualizar Relatório->Perfil de Memória.

Para abrir esses relatórios utilizando o menu do Test RealTime:

1. Selecione o item de menu Arquivo->Procurar Relatórios.
2. Selecione o botão da barra de ferramentas Incluir.
3. Selecione Traçado de Perfil de Desempenho na lista drop-down Arquivos do Tipo.
4. Procure e, em seguida, selecione os arquivos de seu interesse para visualização.
5. Repita as etapas de 2 a 4, conforme necessário.
6. Clique no botão Abrir na janela Navegador de Relatórios.

Para abrir esses relatórios a partir da linha de comandos, simplesmente trate um ou mais arquivos de seu interesse para visualização como parâmetros na linha de comandos studio.

O relatório é organizado da seguinte forma: na parte superior de cada relatório, há um gráfico de setores circulares detalhando cada método/função (até seis) que monopolizam 5 ou mais por cento do tempo total de execução. Abaixo do gráfico de setores circulares, há uma tabela classificável listando cada método/função e várias estatísticas associadas. Um clique do mouse em um cabeçalho da coluna classificará a lista geral pelo conteúdo dessa coluna; um clique do mouse em qualquer método/função nomeado abre o código fonte correspondente. Nenhum valor é necessariamente bom ou ruim - tempos de execução extensos da função, ou função de destino + tempos de execução de descendentes; isso simplesmente realça algoritmos potencialmente ineficientes e, portanto, candidatos à organização.

Para obter informações detalhadas sobre como visualizar relatórios de traçado de perfil de desempenho, no Rational Test RealTime User Guide, consulte o capítulo Análise de Tempo de Execução->Traçado de Perfil de Desempenho.

Para obter informações técnicas detalhadas sobre como trabalhar com arquivos de relatório, consulte o Rational Test RealTime Reference Guide, mantendo o foco nas seções que discutem os diversos geradores de relatório de teste. Especificamente, consulte a página Apêndices->Tipos de Arquivos.

Análise de Cobertura de Teste

Os relatórios de análise de cobertura de código para todas as linguagens - C, C++, Ada e Java - são armazenados em arquivos baseados em XML na pasta Projeto ou na pasta TDP, dependendo da linguagem.

Para abrir esses relatórios utilizando a guia Navegador de Projetos na Janela de Projeto à direita da interface com o usuário do Test RealTime, clique com o botão direito do mouse em um nó de teste e selecione Visualizar Relatório->Perfil de Memória.

Para abrir esses relatórios utilizando o menu do Test RealTime:

1. Selecione o item de menu Arquivo->Procurar Relatórios.
2. Selecione o botão da barra de ferramentas Incluir.
3. Selecione Cobertura de Código na lista drop-down Arquivos do Tipo.
4. Procure e, em seguida, selecione os arquivos de seu interesse para visualização.
5. Repita as etapas de 2 a 4, conforme necessário.
6. Clique no botão Abrir na janela Navegador de Relatórios.

Para abrir esses relatórios a partir da linha de comandos, simplesmente trate um ou mais arquivos de seu interesse para visualização como parâmetros na linha de comandos studio.

O relatório é organizado em dois componentes principais, um componente Origem e um componente Taxas.

• Origem - a guia Origem reflete dois níveis de informações de cobertura de código:
  • Quando a pasta Raiz é selecionada, a guia Origem resume a cobertura de código geral utilizando um gráfico de barras.
  • Quando qualquer outro nó na Janela de Relatório é selecionado, a guia Origem utiliza uma exibição codificada por cor para refletir qual código foi coberto e qual não foi. A guia Origem exibe informações relacionadas ao nó selecionado.
  
  
• Taxas - a guia Taxas divide o nível de cobertura para cada função/método/procedimento em porcentagens.
  
  

Para obter informações detalhadas sobre como visualizar relatórios de Cobertura de Código, no Rational Test RealTime User Guide, consulte o capítulo Análise de Tempo de Execução->Cobertura de Código.

Para obter informações técnicas detalhadas sobre como trabalhar com arquivos de relatório, consulte o Rational Test RealTime Reference Guide, mantendo o foco nas seções que discutem os diversos geradores de relatório de teste. Especificamente, consulte a página Apêndices->Tipos de Arquivos.

Rastreio de Tempo de Execução

Os relatórios de rastreio de tempo de execução para todas as linguagens suportadas - C, C++ e Java - são armazenados em arquivos baseados em XML na pasta Projeto ou na pasta TDP, dependendo da linguagem.

Para abrir esses relatórios utilizando a guia Navegador de Projetos na Janela de Projeto à direita da interface com o usuário do Test RealTime, clique com o botão direito do mouse em um nó de teste e selecione Visualizar Relatório->Perfil de Memória.

Para abrir esses relatórios utilizando o menu do Test RealTime:

1. Selecione o item de menu Arquivo->Procurar Relatórios.
2. Selecione o botão da barra de ferramentas Incluir.
3. Selecione Arquivos de Rastreio na lista drop-down Arquivos do Tipo.
4. Procure e, em seguida, selecione os arquivos de seu interesse para visualização.
5. Repita as etapas de 2 a 4, conforme necessário.
6. Clique no botão Abrir na janela Navegador de Relatórios.

Para abrir esses relatórios a partir da linha de comandos, simplesmente trate um ou mais arquivos de seu interesse para visualização como parâmetros na linha de comandos studio.

O relatório de rastreio de tempo de execução é um diagrama de seqüência de todos os eventos que ocorreram durante a execução do código de teste ou aplicativo. Esse diagrama de seqüência utiliza uma notação extraída do Idioma Unificado de Modelagem, portanto pode ser chamado corretamente de diagrama de seqüência baseado em UML. As linhas verticais são linhas ativas; cada linha ativa representa uma instância de objeto Java. A primeira linha ativa, representada por uma figura de bastão, é considerada o "universo" - ou seja, o sistema operacional. As linhas horizontais conectam uma linha ativa à outra. As linhas verdes são chamadas de construtores, as linhas pretas são chamadas de métodos, as linhas vermelhas são retornos de métodos, as linhas azuis são chamadas de destruidores, as linhas laranjas são exceções. Passar o mouse sobre qualquer método permite ver o texto completo. Cada chamada e retorno de chamada tem um time stamp. Cada linha vertical e horizontal possui um hyperlink para o código fonte monitorado. O item de menu Rastreio de Tempo de Execução->Filtros pode ser utilizado para criar filtros que tornam o relatório de rastreio de tempo de execução mais gerenciável.

Para obter informações detalhadas sobre como visualizar relatórios de rastreio de tempo de execução, no Rational Test RealTime User Guide, consulte o capítulo Análise de Tempo de Execução->Rastreio de Tempo de Execução.

Para obter informações técnicas detalhadas sobre como trabalhar com arquivos de relatório, consulte o Rational Test RealTime Reference Guide, mantendo o foco nas seções que discutem os diversos geradores de relatório de teste. Especificamente, consulte a página Apêndices->Tipos de Arquivos.

Métricas Estáticas

Os relatórios de traçado de perfil de memória para todas as linguagens suportadas - C, C++ e Java - são armazenados em arquivos baseados em XML na pasta Projeto ou na pasta TDP, dependendo da linguagem.

Para abrir esses relatórios utilizando a guia Navegador de Projetos na Janela de Projeto à direita da interface com o usuário do Test RealTime, clique com o botão direito do mouse em um nó de teste e selecione Visualizar Relatório->Perfil de Memória.

Para abrir esses relatórios utilizando o menu do Test RealTime:

1. Selecione o item de menu Arquivo->Procurar Relatórios.
2. Selecione o botão da barra de ferramentas Incluir.
3. Selecione Métrica na lista drop-down Arquivos do Tipo.
4. Procure e, em seguida, selecione os arquivos de seu interesse para visualização.
5. Repita as etapas de 2 a 4, conforme necessário.
6. Clique no botão Abrir na janela Navegador de Relatórios.

Para abrir esses relatórios a partir da linha de comandos, simplesmente trate um ou mais arquivos de seu interesse para visualização como parâmetros na linha de comandos studio.

O relatório é organizado em dois níveis, a visualização Arquivo e a visualização Objeto:

• Visualização Arquivo - quando a pasta Raiz é selecionada, um gráfico de barras de uma de sete métricas de Halstead é apresentado para cada arquivo selecionado. A métrica específica que é exibida pode ser alterada utilizando o menu. Quando qualquer outro nó é selecionado, as métricas estáticas específicas desse nó são apresentadas.
  
  
• Visualização Objeto - quando a pasta Raiz é selecionada, um gráfico é apresentado. Esse gráfico compara determinadas métricas estáticas para cada função/método - isso pode ser alterado utilizando o menu. Quando qualquer outro nó é selecionado, as métricas estáticas específicas desse nó são apresentadas.
  
  

Para obter informações detalhadas sobre como visualizar relatórios de métricas estáticas, no Rational Test RealTime User Guide, consulte o capítulo Análise de Tempo de Execução->Métricas Estáticas.

Para obter informações técnicas detalhadas sobre como trabalhar com arquivos de relatório, consulte o Rational Test RealTime Reference Guide, mantendo o foco nas seções que discutem os diversos geradores de relatório de teste. Especificamente, consulte a página Apêndices->Tipos de Arquivos.