English

CIn - Centro de Informática UFPE




Eventos Relacionados

Defesa de Tese de Doutorado Nº 325 "An Instrument for Reviewing the Completeness of Experimental Plans for Controlled Experiments Using Human Subjects in Software Engineering"

A aluna Liliane Sheyla da Silva Fonseca irá defender sua pesquisa no dia 21, às 8h, no Auditório do CIn-UFPE Início: 21/12/2016 às 08:00 Término: 21/12/2016 às 00:00 Local: Auditório do CIn

Pós-Graduação em Ciência da Computação – UFPE
Defesa de Tese de Doutorado Nº 325
 
Aluna: Liliane Sheyla da Silva Fonseca  
Orientador: Prof. Sergio Castelo Branco Soares
Título: An Instrument for Reviewing the Completeness of  Experimental Plans for Controlled Experiments Using Human Subjects in Software Engineering
Data: 21/12/2016 
Hora/Local: 8h – Centro de Informática -  Auditório
Banca Examinadora:
Prof. Hermano Perrelli de Moura (CIn/UFPE)
Profa. Renata Maria Cardoso Rodrigues de Souza (CIn/UFPE)
Prof. André Luis de Medeiros Santos (CIn/UFPE)
Prof. Rafael Prikladnicki (Fundamentos da Computação/ PUC-RS)
Prof. Eduardo Henrique da Silva Aranha  (DIMap / UFRN)
 
RESUMO:
 
Contexto: É comumente aceito pela comunidade de engenharia de software que planos experimentais bem planejados são receitas para experimentos bem sucedidos. Isso se deve ao fato que planos experimentais auxiliam experimentadores a evitarem interferências durante a execução dos experimentos. No entanto, embora existam ferramentas disponíveis para ajudar os investigadores a reportarem seus experimentos para publicações científicas, poucos estudos tem o objetivo de avaliar os protocolos de estudo no que diz respeito à completude e qualidade científica. Desta forma, planejar experimentos controlados utilizando participantes tem sido um desafio para muitos experimentadores em engenharia de software devido a grande variedade de fatores que devem estar presentes em um plano experimental a fim de evitar a introdução de viés nos experimentos controlados.
Objetivo: O principal objetivo dessa tese de doutorado é definir um instrumento que auxilie experimentadores, principalmente inexperientes, a revisarem seus planejamentos experimentais a fim de avaliar se eles produziram um plano experimental completo, incluindo todos os possíveis fatores para minimizar viés e problemas.
 
Método: O instrumento é uma lista de verificação baseado nas melhores práticas ex- perimentais e na experiência dos especialistas em engenharia de software experimental no planejamento e condução de experimentos controlados utilizando pessoas. Para coletar as mel- hores práticas, um mapeamento sistemático foi realizado para identificar os mecanismos de apoio (processos, ferramentas, guias, etc.) utilizados para planejar e conduzir estudos empíricos na comunidade de engenharia de software e uma revisão da literatura foi realizada para identificar mecanismos de apoio que são geralmente utilizados em outras áreas. Além disso, foi realizada um estudo qualitativo a fim de entender como os especialistas em engenharia de software exper- imental planejam seus experimentos. O instrumento foi avaliado por meio de quatro estudos. Cada estudo foi explorado através de diferentes perspectivas por pesquisadores de engenharia de software em diferentes níveis de experiência. O instrumento foi avaliado com relação a utilidade dos itens, a concordância e a confiabilidade entre os avaliadores e validade de critério. Dois experimentos controlados foram realizados para avaliar se o uso do instrumento pode reduzir a chance de esquecer algo importante durante a fase de planejamento do experimento em comparação com as práticas comumente usadas pelos pesquisadores. Além disso, os quatro estudos avaliaram a aceitação do instrumento para revisar planos experimentais de experimentos controlados utilizando participantes.
 
Resultados: No total, 35 participantes avaliaram o instrumento através de quatro difer- entes tipos de objetivos. No primeiro estudo, 75.76% dos itens foram julgados uteis pelos dois especialistas envolvidos no estudo. Os itens restantes foram discutidos e ajustados. O segundo estudo revelou que a utilização do instrumento auxiliou iniciantes a avaliarem planos experimentais da mesma forma dos especialistas. Os resultados mostraram uma forte correlação entre os escores da completude global dos planos experimentais e as recomendações se o ex- perimento deveria prosseguir e a probabilidade do experimento ser bem-sucedido. Nos Estudos 3 e 4, a proporção dos itens corretos encontrados pelos participantes utilizando o instrumento foi significantemente maior do que os resultados utilizando as práticas comumente utilizadas pelos participantes. O instrumento teve alta aceitação por parte dos participantes. No entanto, embora os resultados sejam positivos, se faz necessário a realização de mais estudos de avaliação, incluindo outras configurações de ambientes a fim de que o resultado possa ser generalizado.
 
Conclusões: A utilização do instrumento pelos experimentadores, especialmente os ini- ciantes, auxilia a revisão dos principais fatores que devem estar incluídos no plano experimental, contribuindo assim para reduzir potenciais fatores de confusão no experimento. Revisar um plano experimental não é uma avaliação direta da qualidade do experimento, mas permite que mudanças no experimento sejam realizadas antes que ele seja de fato executado.
 
Palavras-chave: Engenharia de Software Experimental, Experimentos Controlados, Participantes, Fatores Humanos. 
  • © Centro de Informática UFPE - Todos os direitos reservados
    Tel +55 81 2126.8430 - Cidade Universitária - 50740-560 - Recife/PE
Plano4 Consultoria Web