Índice

1. Introdução
2. Resumo de Resultados de Testes
3. Cobertura do Teste
4. Cobertura do Código
5. Análise de Defeitos
6. Ações Sugeridas
7. Diagramas

1. Introdução
1. Objetivo

Este Relatório de Avaliação do Teste descreve os resultados dos testes do Protótipo de Arquitetura do C-Registration em termos de cobertura de teste (tanto cobertura baseada em requisitos quanto baseada em código) e análise de defeitos (isto é, densidade de defeitos).

2. Escopo

Este Relatório de Avaliação do Teste é aplicado ao Protótipo de Arquitetura do C-Registration. Os testes conduzidos estão descritos no Plano de Teste para o Protótipo [5]. Este Relatório de Avaliação deve ser utilizado para o seguinte:

• avaliar a capacidade de aceitação e apropriação do(s) comportamento(s) de desempenho do protótipo
• avaliar a capacidade de aceitação dos testes
• identificar aprimoramentos para aumentar a cobertura do teste e/ou sua qualidade

3. Referências

As referências aplicáveis são:

1. Course Registration System Glossary, WyIT406, V2.0, 1999, Wylie College IT.
2. Course Registration System Software Development Plan, WyIT418, V1.0, 1999, Wylie College IT.
3. Course Registration System Iteration Plan, Elaboration Iteration #E1 , WyIT420, V1.0, 1999, Wylie College IT.
4. Course Registration System Integration Build Plan for the Architectural Prototype, WyIT430, V1.0, 1999, Wylie College IT.
5. Course Registration System Test Plan for the Architectural Prototype, WyIT432, V1.0, 1999, Wylie College IT.

2. Resumo de Resultados de Testes

Os casos de teste definidos no Conjunto de Teste para o Protótipo foram executados seguindo a estratégia de teste definida no Plano de Teste [5].

A Cobertura de teste (consulte a seção 5.0 a seguir) em termos de cobertura dos casos de uso e requisitos de teste definidos no Plano de Teste [5] foi concluída.

A cobertura de código está descrita na seção 6.0 e não foi considerada como uma medida significativa de êxito para o protótipo.

A análise dos defeitos (conforme mostrado na seção 7.0 a seguir) indica que há problemas significativos de desempenho ao acessar o Sistema de Catálogo de Cursos legado. Os testes de desempenho e carga que envolviam acesso de leitura ou gravação ao Sistema de Catálogo de Cursos estão muito abaixo das metas estabelecidas. A Equipe de Gerenciamento designará recursos de engenharia de sistemas para avaliar adicionalmente esses resultados de teste e determinar alternativas de design.

3. Cobertura do Teste

Os testes a serem executados no protótipo estão definidos na seção 5.1 do Plano de Teste [5], juntamente com seus critérios de conclusão. Os resultados da cobertura do teste são as seguintes:

Taxa de Casos de Teste Executados = 40/40 = 100%

Taxa de Casos de Teste com Êxito = 30/40 = 80%

A área de testes com a mais alta taxa de falha foi:

• Testes de desempenho envolvendo acesso ao Sistema de Catálogo de Cursos
• Testes de carga envolvendo acesso ao Sistema de Catálogo de Cursos

Detalhes adicionais sobre a cobertura de teste estão disponíveis utilizando-se o Rational RequisitePro e a matriz de Casos de Teste do Protótipo.

 

4. Cobertura do Código

O Rational Visual PureCoverage foi utilizado para medir a cobertura de código dos testes do Protótipo.

Taxa de LOC executada = 12,874 / 48,916 (aproximadamente 25%)

Aproximadamente 25% do código foi executado durante o teste. Foi determinado que essa cobertura era adequada para os testes do protótipo, pois todas as interfaces foram completamente exercitadas. Iterações posteriores irão requerer uma medida significativamente maior para a cobertura de código.

5. Análise de Defeitos

Esta seção resume os resultados da análise de defeitos gerada utilizando o Rational ClearQuest. A seção 8 recomenda ações para tratar as descobertas da análise de defeitos.

1. Densidade de Defeitos

Foram gerados dados sobre a densidade de defeitos utilizando os dados extraídos dos relatórios do ClearQuest. A seção 9 deste documento inclui gráficos que ilustram:

• Defeitos por Nível de Gravidade (crítica, alta, média e baixa)
• Origem do Defeito (o componente no qual o problema ou falha reside)
• Status do Defeito (registrado, designado, corrigido, testado e fechado).

O gráfico Defeitos por Nível de Gravidade mostra que 4 defeitos de prioridade crítica e 4 de alta foram registrados. A análise detalhada dos logs de defeito mostrou que os defeitos de prioridade crítica e alta estão todos associados aos problemas de desempenho e carga ao acessar o Sistema de Catálogo de Cursos legado. (Nota: Gráfico não incluído.)

O Gráfico de Origem do Defeito mostra uma porcentagem extraordinariamente alta de defeitos que residem nos componentes da Interface do Sistema.

O gráfico Status do Defeito mostra que muitos defeitos se encontram no estado registrado e ainda não estão designados para análise.

2. Tendência de Defeitos

As tendências de defeitos (isto é, contagens de defeitos com o decorrer do tempo) não foi medida para os testes de Protótipo de Arquitetura.

3. Idade dos Defeitos

O monitoramento da idade dos defeitos não é requerida para o Protótipo. O plano atual é iniciar o monitoramento da idade dos defeitos abertos no início da Fase de Construção. O ClearQuest será utilizado para gerar os Gráficos de Idade dos Defeitos.

6. Ações Sugeridas

As ações recomendadas são as seguintes:

1. Designar recursos de engenharia de sistemas adicionais para avaliar adicionalmente os problemas de desempenho e carga associados ao acesso ao Sistema de Catálogo de Cursos legado. As alternativas de design serão revisadas pela Equipe do Projeto antes da implementação de quaisquer soluções de design.
2. Designar recursos de engenharia para resolver os principais defeitos abertos para o Protótipo.
3. Atrasar o início da resolução de Defeitos Críticos e Altos pendentes da próxima iteração.
4. Projetar testes adicionais para testar mais os tempos de acesso e as cargas para o Sistema de Catálogo de Cursos. Tentar utilizar o Rational Visual Quantify para identificar e analisar os gargalos de desempenho.
5. É recomendado que as futuras iterações incluam inspeções de todo o design ou código que envolva interfaces externas. Essas inspeções devem reduzir o número de problemas encontrados durante o Teste.