Autor: Rafael D. Guariento (Laboratório de Ecologia – UFMS)

Uma coisa sempre me chamou atenção, não importa o teste estatístico que você faça, invariavelmente você reporta o valor de p para dizer se você obteve, ou não, efeitos significativos. Efeitos significativos podem ser diferenças nas médias de determinada variável de um tratamento qualquer vs. um conjunto de dados controle. Ou mesmo para verificar se existe uma relação de causa e efeito entre duas varáveis. Ou seja, praticamente todo mundo que se utiliza de um teste estatístico, reporta o valor de p nos seus resultados. Mas o que realmente representa o valor de p ? Alguma idéia? Infelizmente a intuição nos leva a crer que o valor de p representa a probabilidade do resultado obtido ser em função do acaso ou em função de um fator determinístico.

Bem, para chegarmos a uma boa definição do que seria o valor de p, primeiro vamos desconstruir alguns conceitos. Quando se diz que o valor de p é a probabilidade de um resultado ser em função do acaso ou de um fator determinístico está errado em sua essência, pois todo e qualquer evento será uma mistura de determinismo e do acaso. É praticamente impossível encontrarmos algum evento na natureza que não tenha um componente de estocasticidade e por isso tratar esses dois componentes de forma dicotômica por si só é uma falácia. Na sua essência, o valor de p não diz se um resultado é devido ao acaso mas sim se o resultado é corroborado por ser gerado pelo acaso, ou não. Muitos autores, mesmo nos dias atuais, descrevem o valor de p como uma probabilidade condicional da seguinte forma:

valor de p = P(D > d | H0)

Ou seja, o valor de p é a probabilidade de um teste estatístico qualquer (e.g., D) ser maior que o valor observado (i.e., calculado para os deus dados) deste mesmo teste (e.g., d) dado a hipótese nula (H0). No entanto, esta descrição é errada pois a hipótese nula não é uma variável aleatória, ela é fixa. Por isso, não existe uma distribuição conjunta de D > d e H0 e não existe uma probabilidade a priori de H0. Isso faz com que o valor de p não possa ser descrito como uma probabilidade condicional. É um problema de conceito! H0 é não uma variável aleatória! Por isso alguns autores usam uma outra notação, em vez da barra vertical (|), usada em probabilidade condicional, eles usam ponto e virgula (;) uma dupla barra vertical (||), o que resultaria na seguinte notação:

valor de p = P(D > d ; H0)

ou

valor de p = P(D > d || H0)

Essa notação seria lida de forma bem parecida a apresentada anteriormente, o valor de p é a probabilidade de uma métrica de um teste estatístico qualquer (e.g., D) ser maior que o valor observado (e.g., d) assumindo que a hipótese nula (H0) é verdadeira. E esta seria a definição do valor de p.  Neste exemplo a distribuição de probabilidade é unicaudal, mas esse detalhe pode ser ignorado para o propósito deste post.  Imagine o seguinte exemplo, que você quer verificar se a biomassa fitoplactônica de dois lagos é diferente. Você coleta amostras de fitoplancton nos dois lagos, verifica que o lago B tem uma biomassa média maior que a do lago A. Você aplica um teste t, que informalmente verifica a diferença entre duas médias, e verifica que o valor de p é de 2% (0.02). Isso significa que temos 2% de chances de encontrarmos uma diferença maior que a observada assumindo que as médias das populações de dados (neste caso biomassa fitoplanctônica) dos dois lagos são iguais (minha hipótese nula H0). Isso sugere que o resultado (Lago B tem uma biomassa fitoplanctônica maior) não é suportado por ser gerado pelo acaso, pois por convenção assumimos que 2% é um valor baixo, abaixo de um nível de significância de 5%.  Note que é bem diferente de dizer que  o resultado se deve ao acaso com 2% de chance.

Essa definição do valor de p lhe parece um pouco estranha? A partir desta definição é possível derivar mentalmente quais seriam os passos necessários pra se calcular o valor de p a partir, por exemplo, de um método de re-amostragem. Atualmente na Ecologia é muito comum nós observarmos testes estatísticos advindos de métodos de re-amostragem, por exemplo a partir de um método de Monte Carlo. E no que consiste este método de re-amostragem? Esse método consiste em aleatorizar seus dados e calcular pra cada vez que você aleatoriza seus dados um determinado teste estatístico, que pode ser uma diferença entre médias, o valor da estatística t usada no teste t ou da estatística F usada na ANOVA. Você faz essa aleatorização milhares de vezes e calcula quantas vezes o valor da sua métrica de interesse (diferença, t, F, etc…) foi maior que o valor da mesma métrica calculada para os dados reais, ou seja, não aleatorizados. Se essa proporção for menor que 5% diz-se que o efeito foi significativo. Voilà!!!! Mas essa é a definição que eu acabei de apresentar do valor de p!!!!! Só que feita passo a passo, ou seja, por força bruta! Quando você calcula o valor de p por um método estatístico convencional ou o valor de p por um método de re-amostragem (e.g., Monte Carlo) você na verdade está calculando exatamente a mesma coisa, só que no caso do teste convencional você está usando um método analítico e no caso do método de re-amostragem você está usando força bruta! Quando se utiliza um método analítico seus dados precisam ter determinadas características, as famosas premissas do método, para que a conta dê um valor correto, mas isso não é necessário se você faz os cálculos por força bruta. Por isso premissas são relaxadas em métodos de re-amostragem. Depois de pensar sobre esse assunto eu cheguei a conclusão de que alguém que se arrisque a fazer uma análise estatística a partir de um método de re-amostragem precisa saber o que realmente significa o conceito do valor de p.

*Republicado a partir de um texto do mesmo autor.