Validade e Fiabilidade do Protocolo de Avaliação da Qualidade Vocal da Universidade de Aveiro [Validity and Reliability of University of Aveiro’s Voice Evaluation Protocol]

Marta Cristiana Couto Alves

M.Sc. Project

This study’s aim was to review the original version of the Protocolo de Avaliação da Qualidade Vocal da Universidade de Aveiro (PAQVUA), to create its manual, attest its content validity , and inter- and intra-rater reliability. The original version of PAQVUA revision was based on a narrative review of the literature, which revealed what information was relevant in to the protocol and what were the necessary changes. To assess the content validity of PAQVUA six experts in the area of voice evaluated the PAQVUA score sheet and manual. The experts evaluated all components of PAQVUA by completing a questionnaire in order to ascertain the relevance, clarity and precision of each of the assessment items and also the content of the manual. The inter- and intra-rater reliability of PAQVUA was also analysed. Therefore, the same protocol was applied twice by two different examiners, and was also applied at two different time points by a single evaluator. The sample had a total of twelve participants. To statistically analyse the content validity of the results we used the modified Bland and Altman graphical method and the intraclass correlation coefficient (ICC). For inter and intra rater reliability the Spearman correlation coefficient (rho) and Cohen's kappa (k) were calculated. For the results obtained with the Bland and Altman modified method it was found that there is agreement among experts and through the analysis of the graphs, most of the points were found within the expected limits of agreement. As for the ICC values (between 0.379 e 0.479), they revealed a regular correlation. Regarding the interrater reliability, the results showed correlation and agreement (Spearman’s rho>0.7 and Cohen’s k>0.6) in most cases. The same was found for intrarater reliability. It could therefore be concluded that the new version of PAQVUA has content validity as corroborated by the Bland-Altman modified method and the ICC values. As for the inter- and intra-rater reliability, one could assert that the PAQVUA is reliable, but as the study sample is smallI and therefore not representative, this conclusion need to be supported by a larger study. Despite this limitation, this protocol provides added value to the study of vocal pathology in a clinical setting, as well as for scientific research in this area, because PAQVUA, can be used to collect various information related to voice, which can be useful for a therapeutic intervention based on scientific evidence.

O presente estudo teve como principal objetivo rever a versão original do Protocolo de Avaliação da Qualidade Vocal da Universidade de Aveiro (PAQVUA), criar o respetivo manual, comprovar a validade de conteúdo do PAQVUA assim como a sua fiabilidade inter e intra avaliador. Para rever a versão original do PAQVUA, foi efetuada uma revisão narrativa da literatura, com o objetivo de encontrar informação que revelasse a pertinência, da versão original do protocolo, para assim se efetuarem as alterações necessárias. Para analisar a validade de conteúdo recorreu-se a um painel de peritos, num total de seis, especialistas na área da voz que avaliaram as provas do PAQVUA, folha de registo e manual. Os peritos avaliaram todos os componentes do PAQVUA através do preenchimento de um questionário com o objetivo de se comprovar a relevância, clareza e precisão de cada uma das provas de avaliação e também o conteúdo do seu manual. Para além disso pretendeu-se também comprovar a fiabilidade inter e intra avaliador do PAQVUA. Para isso, o mesmo protocolo foi aplicado duas vezes por duas avaliadoras diferentes e também foi aplicado em dois momentos temporais diferentes por uma só avaliadora. A amostra teve um total de doze participantes. Para analisar estatisticamente os resultados da validade de conteúdo utilizou-se o método gráfico Bland e Altman modificado e o Coeficiente de Correlação Intraclasses (CCI). Para a fiabilidade inter e intra avaliador recorreu-se ao Coeficiente de Correlação de Spearman (rho) e ao Kappa de Cohen (k). Relativamente aos resultados obtidos com o método Bland e Altman modificado, verificou-se a existência de concordância entre os peritos através da análise dos gráficos, sendo que a maioria dos pontos se encontrou dentro dos limites esperados de concordância. Quanto aos valores do CCI (entre 0.379 e 0.479), estes revelaram uma correlação regular. No que concerne à fiabilidade inter avaliador, os resultados de correlação e concordância apresentaram-se relevantes, com valores de rho (de Spearman) superiores a 0.700 e valores de k (de Cohen) superiores a 0.600, na maioria dos casos. O mesmo foi constatado para a fiabilidade intra avaliador. Desta forma pode concluir-se que a nova versão do PAQVUA apresenta validade de conteúdo sendo tal comprovado pelo método de Bland-Altman modificado e pelos valores do CCI. Quanto à fiabilidade inter e intra avaliador, pode afirmar-se que o PAQVUA é fiável, porém como a amostra em estudo é pequena, o que a torna pouco representativa, esta conclusão carece de fundamento com base num estudo mais alargado. Apesar da limitação referida, acredita-se que este protocolo é uma mais-valia para o estudo da patologia vocal em ambiente clínico, assim como para a investigação científica nesta área, pois através do PAQVUA podem-se recolher diversas informações relacionadas com a voz, úteis para uma intervenção terapêutica baseada em evidências científicas.

Back to Homepage