Por que os desenvolvedores continuam a escolher as técnicas de teste erradas

:::info Autores:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

Tabela de Links

Resumo

1 Introdução

2 Estudo Original: Questões de Pesquisa e Metodologia

3 Estudo Original: Ameaças à Validade

4 Estudo Original: Resultados

5 Estudo Replicado: Questões de Pesquisa e Metodologia

6 Estudo Replicado: Ameaças à Validade

7 Estudo Replicado: Resultados

8 Discussão

9 Trabalhos Relacionados

10 Conclusões e Referências

Resumo

Um problema recorrente no desenvolvimento de software é a tomada de decisões incorretas sobre as técnicas, métodos e ferramentas a serem utilizados. Na maioria das vezes, estas decisões são baseadas nas perceções dos desenvolvedores sobre eles. Um fator que influencia as perceções das pessoas é a experiência passada, mas não é o único. Nesta pesquisa, pretendemos descobrir quão bem as perceções da eficácia de deteção de defeitos de diferentes técnicas correspondem à sua eficácia real na ausência de experiência prévia.

\ Para isso, realizamos um estudo empírico e uma replicação. Durante o estudo original, conduzimos uma experiência controlada com estudantes aplicando duas técnicas de teste e uma técnica de revisão de código. No final da experiência, eles respondem a um inquérito para descobrir qual técnica percecionam como mais eficaz. Os resultados mostram que as perceções dos participantes estão erradas e que esta incompatibilidade é dispendiosa em termos de qualidade.

\ Para obter mais informações sobre os resultados, replicamos a experiência controlada e ampliamos o inquérito para incluir questões sobre as opiniões dos participantes sobre as técnicas e programas. Os resultados do estudo replicado confirmam as descobertas do estudo original e sugerem que as perceções dos participantes podem ser baseadas não nas suas opiniões sobre complexidade ou preferências por técnicas, mas em quão bem eles acham que aplicaram as técnicas.

1. Introdução

Uma prática cada vez mais popular atualmente é que as empresas de desenvolvimento de software permitam que os desenvolvedores escolham o seu próprio ambiente tecnológico. Isso significa que diferentes desenvolvedores podem usar diferentes ferramentas de produtividade (linguagem de programação, IDE, etc.). No entanto, a engenharia de software (ES) é uma disciplina intensiva em humanos onde decisões erradas podem potencialmente comprometer a qualidade do software resultante. Na ES, as decisões sobre quais métodos, técnicas e ferramentas usar no desenvolvimento de software são tipicamente baseadas nas perceções e/ou opiniões dos desenvolvedores em vez de evidências, como sugerido por Dyb˚a et al. [19] e Zelkowitz et al. [55].

\ No entanto, evidências empíricas podem não estar disponíveis, já que certos métodos, técnicas ou ferramentas podem não ter sido estudados dentro de um contexto particular ou mesmo de todo. Alternativamente, os desenvolvedores podem simplesmente não estar familiarizados com tais estudos, de acordo com Vegas & Basili [49]. Neste fundamento, é importante descobrir quão bem as perceções dos desenvolvedores (crenças) correspondem à realidade e, se não corresponderem, descobrir o que está por trás desta incompatibilidade, como observado por Devanbu et al.[14]. De acordo com a Psicologia, a experiência desempenha um papel nas perceções das pessoas. Isso também foi observado por Devanbu et al. [14] na ES.

\ No entanto, esta pesquisa propõe-se a descobrir quão bem as perceções correspondem à realidade na ausência de experiência prévia na tecnologia sendo utilizada. Isso faz sentido por várias razões: 1) a experiência não é o único fator que afeta as perceções dos desenvolvedores; 2) as equipas de desenvolvimento são geralmente compostas por uma mistura de pessoas com e sem experiência; e 3) não está claro que tipo de experiência influencia as perceções. Por exemplo, Dieste et al. [17] concluem que a experiência académica em vez da profissional poderia estar afetando a qualidade externa do código gerado pelos desenvolvedores ao aplicar o Desenvolvimento Orientado por Testes.

\ Pretendemos estudar se as perceções sobre a eficácia de três técnicas de deteção de defeitos correspondem à realidade e, se não, o que está por trás dessas perceções. Até onde sabemos, este é o primeiro artigo a avaliar empiricamente esta questão. Para este fim, conduzimos um estudo empírico e uma replicação com estudantes. Durante o estudo original, medimos (como parte de uma experiência controlada) a eficácia de duas técnicas de teste e uma técnica de revisão de código quando aplicadas pelos participantes. Em seguida, verificamos a técnica percecionada como mais eficaz (recolhida por meio de um inquérito) contra a real.

\ Adicionalmente, analisamos o custo da incompatibilidade entre perceções e realidade em termos de perda de eficácia. As principais descobertas incluem:

– Diferentes pessoas percecionam diferentes técnicas como mais eficazes. Nenhuma técnica é percecionada como sendo mais eficaz do que as outras. – As perceções de 50% dos participantes (11 de 23) estão erradas.

– A perceção errada das técnicas pode reduzir a eficácia em 31pp (pontos percentuais) em média.

\ Estas descobertas levaram-nos a estender o objetivo do estudo numa replicação para investigar o que poderia estar por trás das perceções dos participantes. Para isso, examinamos as suas opiniões sobre as técnicas que aplicaram e os programas que testaram numa replicação da experiência controlada. As principais descobertas incluem:

– Os resultados da replicação confirmam as descobertas do estudo original.

– Os participantes pensam que a eficácia da técnica depende exclusivamente do seu desempenho e não de possíveis fraquezas da própria técnica. – As opiniões sobre a complexidade da técnica e preferências por técnicas não parecem desempenhar um papel na eficácia percecionada. Estes resultados são úteis para desenvolvedores e pesquisadores. Eles sugerem:

– Os desenvolvedores devem tornar-se conscientes das limitações do seu julgamento.

– Ferramentas devem ser projetadas para fornecer feedback aos desenvolvedores sobre quão eficazes são as técnicas.

– A melhor combinação de técnicas a aplicar deve ser determinada que seja ao mesmo tempo facilmente aplicável e eficaz. – Instrumentos devem ser desenvolvidos para disponibilizar resultados empíricos aos desenvolvedores.

\ O material associado aos estudos apresentados aqui pode ser encontrado em https://github.com/GRISE-UPM/Misperceptions. O artigo está organizado da seguinte forma. A Seção 2 descreve o estudo original. A Seção 3 apresenta suas ameaças à validade. A Seção 4 discute os resultados. A Seção 5 descreve o estudo replicado com base nas modificações feitas ao estudo original. A Seção 6 apresenta suas ameaças à validade. A Seção 7 relata os resultados deste estudo replicado. A Seção 8 discute nossas descobertas e suas implicações. A Seção 9 mostra trabalhos relacionados. Finalmente, a Seção 10 delineia as conclusões deste trabalho.

\ \

:::info Este artigo está disponível no arxiv sob licença CC BY-NC-ND 4.0.

:::

\