Ontem eu estava vendo um artigo sobre uma vacina desenvolvida pela Pfizer, testada em mais de 40.000 pessoas de diferentes países, inclusive brasileiros. A eficácia foi medida em cerca de 95%, enquanto esta que será usada no brasil, da Sinovac, tem eficácia real desconhecida e eficácia nominal de 50%. A usada no brasil é 20x “pior”. Apesar disso, provavelmente seja menos ruim do que não tomar.

Um detalhe “curioso” é que me parece muita coincidência o cut-off para aprovação ser de 50% e ela ter apresentado precisamente 50,38% de eficácia. Quando empresas precisam alcançar determinado “objetivo” para que um produto seja aprovado, e o produto chega bem perto, mas não atinge o objetivo, o que praticamente todas as empresas fazem é o seguinte: sugerem aos estatísticos que tentem dar um jeito para fazer com que os dados se encaixem nos quesitos para que o objetivo seja alcançado. Isso pode ser feito de muitas maneiras, alguma legítimas, outras ilegítimas, e as ilegítimas devem ser as mais utilizadas no brasil, por serem mais baratas, mais rápidas e mais fáceis.

Por exemplo: o Conselho Federal de Psicologia (CFP) exige que um novo teste psicométrico apresente correlação de pelo menos 0,6 com algum outro teste aprovado anteriormente. É um quesito muito mal planejado, mas como não há margem para discutir isso, cabe aos laboratórios, editoras e institutos de pesquisa tratar de atender a esse critério. Então um psicólogo desenvolve um novo teste cognitivo, o teste é aplicado em 1500 pessoas, juntamente com o RSPM, e se verifica que a correlação entre os escores destes testes foi 0,58. Faltou um tiquinho para alcançar a exigência do CFP de 0,60.

Esse processo de aplicar o teste em 1500 pessoas não é fácil, nem rápido, nem barato. Alguém precisa imprimir os exames, dar orientações em cada grupo de 30 a 50 pessoas de cada vez sobre como devem proceder ao responder, alguém precisa monitorar cada grupo, alguém precisa digitalizar os resultados, alguém precisa fazer o tratamento estatístico etc. Por isso não seria muito prático refazer o estudo inteiro usando outro teste em lugar do RSPM. Em vez disso, há vários procedimentos que podem ajudar a “resolver” essa situação, alguns dos quais são adulterações ou manipulações escandalosas de dados, enquanto outros são procedimentos líticos e em conformidade com as boas práticas estatísticas.

Um exemplo de adulteração é simplesmente excluir seletivamente parte da amostra, ou fraudar parte dos dados, até que o resultado fique acima de 0,6. Um psicólogo que acabou se tornando famoso por suas fraudes escancaradas é Cyril Burt, que chegou ao extremo de inventar pessoas que não existiam. Também há suspeitas de que Freud tenha feito algo semelhante em algumas situações.

Um exemplo de procedimentos lícitos seria aumentar a amostra, seguindo as mesmas diretrizes originais, e verificar se a correlação aumenta ou diminui. Se aumentar, então ótimo, caso contrário, pode-se continuar aumentando a amostra ou mudar a estratégia. Como as distribuições de variáveis no mundo real geralmente apresentam caudas mais densas que numa gaussiana, o aumento da amostra geralmente implicará aumento na correlação, mas para que tal efeito seja relevante, geralmente o tamanho da amostra precisa aumentar em pelo menos 1 ordem de grandeza, o que costuma ser muito oneroso.

Em alguns casos, dependendo da análise realizada, pode-se escolher, entre diferentes ferramentas estatísticas, qual a que atende melhor aos “objetivos”, o que é uma solução limpa. Mas neste exemplo praticamente só se utiliza a correlação produto-momento de Pearson, portanto não há tal possibilidade. Se fosse uma análise de clusters, poder-se-ia experimentar diferentes medidas de distâncias, diferentes métodos de linkagem, e alguma combinação destas poderia resolver. Ou se fosse um teste de hipótese sobre qualidade de ajuste, por exemplo, há uma grande variedade de testes diferentes, com propriedades diferentes, e algum acaba atendendo aos propósitos.

No caso da medida de eficácia não há muita liberdade para se utilizar diferentes ferramentas, a equação é bastante engessada, e como o governo brasileiro não tem um histórico muito bom de lisura, a hipótese de adulteração me parece bastante provável. A falta de transparência na divulgação dos dados brutos, no detalhamento sobre a metodologia utilizada etc., bem como a ausência de uma auditoria independente dos dados, contribui para intensificar essa suspeita. Além disso, vale lembrar o que tem sido feito com os dados "indesejados" no recente episódio envolvendo o ex-diretor do INPE.

Por estes motivos, não há como analisar, com a necessária profundidade, o estudo da vacina que será usada no brasil, portanto farei uma breve análise da vacina citada neste outro estudo:

https://www.nejm.org/doi/full/10.1056/NEJMoa2034577

Em primeiro lugar, pelo que entendi o estudo não foi duplo cego. As pessoas que administravam a vacina ou o placebo sabiam o que estavam usando. Um experimento cego conduzido por James Randi sobre homeopatia, por exemplo, mostrou que homeopatia produzia resultados substancialmente superiores aos do placebo, o que é um completo absurdo. Então o experimento foi reproduzido, mas desta vez foi duplo cego, e a diferença estatisticamente significativa desapareceu, deixando o resultado mais lógico e consistente com as expectativas.

Mas nesse caso específico da vacina, mesmo que o experimento tivesse sido “duplo cego”, como a taxa de incidência de efeitos colaterais é muito diferente entre placebo e princípio ativo, isso pode influenciar os resultados, porque haverá assimetria entre as pessoas que acabam desconfiando que estão recebendo princípio ativo. Seria necessário que utilizassem algum placebo que produzisse efeitos colaterais similares aos do princípio ativo e com taxa de incidência similar, para minimizar esse tipo de viés.

Há um problema que não é nesse estudo específico, mas no método amplamente usado em todos os estudos do gênero: a medida de eficácia é determinada por “E=1-A/B”, sendo “B = porcentagem de infectados no grupo que recebeu o princípio ativo” e “A = porcentagem de infectados no grupo de controle”. Isso gera distorções quando as porcentagens estão perto de 0 ou perto de 100%. O correto seria usar “E=1-{[A/(1-A)]/[B/(1-B)]}”.

Por exemplo: digamos que para determinada vacina haja 99% de infectados no grupo de controle e 95% no grupo que recebeu princípio ativo. Da maneira como o cálculo é realizado, causaria a impressão de que o princípio ativo é quase tão ineficaz quanto o placebo, quando na verdade é cerca de 5x mais eficaz. E indicaria também que o tempo transcorrido entre a vacinação e a verificação das porcentagens de infectados foi muito longo. Se o intervalo fosse mais curto, provavelmente as duas taxas seriam menores. O estudo poderia ser repetido com intervalo mais curto e provavelmente se constataria a proporção em torno de 5:1, mas se o cálculo fosse realizado adequadamente, já se poderia deduzir isso mesmo antes de repetir o estudo, agilizando as providências emergenciais.

Outro problema está no desenho amostral. As pessoas selecionadas para o estudo não são representativas da população em geral. Esse tipo de viés é muito comum, geralmente por motivos publicitários. Além do viés da self-selection, produzida por usar exclusivamente pessoas que se voluntariaram, há também o viés provocado pela exclusão de pessoas idosas e/ou imunodeprimidas, e/ou com alguma característica "indesejada", levando a uma superestimativa da eficácia do tratamento ou da droga. Na padronização do WAIS, por exemplo, são excluídas pessoas com deficiências mentais, o que é um completo absurdo se o teste propõe medir QIs abaixo de 70 e auxiliar nos diagnósticos de Alzheimer e outros tipos de demência. Além disso, em vez de usar amostras randomizadas, como Fisher deixou claro ser o procedimento adequado, tenta-se selecionar pessoas que se enquadram em algumas características conforme as proporções observadas na população em geral, mas isso acaba distorcendo as proporções em outras características para as quais o mesmo cuidado não foi tomado, enquanto uma randomização seria muito mais eficiente no sentido de preservar todas as características com suas distribuições semelhantes às observadas na população em geral.

Embora o viés da self-selection possa prejudicar muito o estudo, há complicações éticas que podem impedir (ou dificultar muito) o uso de pessoas que não sejam voluntárias em tais estudos, por isso é compreensível que isso não tenha sido resolvido, mas não há razão para que tenham excluído “convenientemente” algumas pessoas entre aquelas que haviam se oferecido. Neste caso as exclusões obviamente não foram feitas para fraudar nada, mesmo porque foram divulgadas com muita transparência, bem como foram “justificadas”. O problema neste caso é técnico, não ético. No brasil ocorrem ambos e cada um em nível bem mais grave.

Além dessas falhas no estudo, no desenho amostral e no método, há outros detalhes que não são propriamente “falhas”, mas ausência de otimização no uso dos dados disponíveis. Por exemplo: foi utilizada mesma dose de vacina em todos os pacientes, quando teria sido muito mais proveitoso variar ligeiramente a dosagem. Da maneira como o estudo foi conduzido, só se pode inferir se esta dosagem específica produz algum efeito, mas se tivesse sido variada, além de saber se a substância funciona, teria sido possível fazer o ajuste de uma curva para estimar qual a dosagem ótima para alcançar os melhores resultados.

Outra falha “institucionalizada”, por assim dizer, é que mesmo nos estudos cegos e duplo cegos, deveriam incluir mais um grupo no qual as pessoas e os administradores saberiam que está sendo usado princípio ativo. Além dessa informação ser útil em comparação ao grupo que recebeu o princípio ativo sem saber, teria uma informação mais precisa sobre o efeito esperado na população quando a droga for usada fora do estudo, já que as pessoas posteriormente tratadas saberão que estão recebendo princípio ativo.

Enfim, o estudo realizado com a vacina “boa”, com 95% de eficácia, apresenta vários problemas, embora seja muito superior, muito mais transparente e mais idôneo do que este realizado no brasil. Apesar de tudo, como os efeitos colaterais são brandos e muito raros, aparentemente é menos ruim receber a vacina ruim do que não receber vacina. Portanto, quem ainda está na dúvida entre tomar vacina ou não, se você tiver um nível de exposição que lhe parece preocupante e principalmente se tiver contato com pessoas idosas, sugiro fortemente que tome a vacina, e se puder tomar a outra mais eficaz, melhor ainda.

Embora não seja possível analisar o estudo realizado no Brasil com o mesmo nível de detalhes e rigor, já que os dados não são divulgados com a necessária transparência, ainda assim podemos deduzir alguns dos problemas desse estudo por métodos indiretos. Por exemplo: a taxa de letalidade na população em geral é cerca de 4%, variando imensamente e inexplicavelmente de uma fonte para outra, desde 0,5% até 9%. O estudo sugere que cerca de 20% das pessoas que não receberam vacina contraíram a doença, portanto cerca de 4% de 20% de 4600 pessoas do grupo que não recebeu a vacina deveria apresentar um resultado similar ao observado na população em geral, isto é, cerca de 30 a 40 mortos.

Essa ausência de mortes nos dois grupos foi exaltada como algo positivo, quando na verdade isso denuncia a completa disparidade entre as características dos sujeitos da amostra em comparação aos da população em geral, invalidando os resultados do estudo, pois indica que as pessoas desse estudo têm saúde muito melhor que da população em geral, logo a baixa letalidade observada no grupo que recebeu a vacina não diz nada sobre o sucesso da vacina, pois as pessoas dos dois grupos foram selecionadas de forma grosseiramente incorreta para forçar um resultado distorcidamente melhor.

Agora estão usando esses resultados para disseminar a crença completamente falsa de que a vacina praticamente reduz a perto de 0 a taxa de letalidade.

Obviamente ninguém gostaria de observar mortes num estudo desse tipo, mas se há 0 mortes na amostra de 4599 pessoas que não receberam vacina no estudo, enquanto se observa 30 a 40 mortes numa amostra realista de 4500 pessoas da população em geral (fora do estudo), isso deixa evidente que os resultados com estas 4599 pessoas do estudo não podem ser encarados como representativos do que ocorrerá com o uso da vacina entre a população em geral, inclusive no que diz respeito a efeitos colaterais da vacina.

Quero acreditar que não se trate de um ato de má fé, mas sim uma medida adotada com “boas intenções”, no sentido de que se fizessem o estudo com uma amostra adequada e divulgassem o resultado com 20 mortos entre o grupo que recebeu a vacina, provavelmente muitas pessoas entrariam em pânico e se recusariam a tomar a vacina. Diante a esse cenário, podem ter optado por filtrar pessoas com maior probabilidade de morrer durante o estudo, como forma de evitar o pânico entre o público e manter as pessoas motivadas a tomar a vacina. Isso explicaria porque se tem observado pouca transparência na divulgação dos resultados, pois quanto mais detalhes fossem tornados acessíveis a todos, maiores seriam as distorções descobertas.

Apesar disso tudo, provavelmente ainda é menos ruim tomar a vacina do que deixar de tomar. Uma pena que tenha sido escolhida essa vacina de baixa qualidade, existindo a alternativa com melhor custo/benefício e eficácia pelo menos 20 vezes superior. O custo aproximado da vacina pfizer, com 95% de eficácia, é R$ 105, enquanto a coronavac, com eficácia desconhecida (alegadamente 50%, mas na verdade é menor) custa cerca de R$ 55.

Se a eficácia para os diferentes níveis de risco mantiver mesma proporção entre as duas vacinas, então mesmo que houvesse um limite no orçamento que impossibilitasse comprar vacinas para todos, ainda seria menos danoso comprar vacinas para metade da população com 95% de eficácia do que para toda a população com 40% ou menos de eficácia. E naturalmente não havendo tal limite no orçamento, além da questão de priorizar o salvamento de vidas em comparação a outros destinos menos relevantes para as verbas disponíveis, seria muitíssimo melhor comprar as vacinas mais eficientes para todos.

Além da Pfizer/BioNTech, convém lembrar que há outras vacinas, como a Sputnik V, Oxford/AstraZeneca e Moderna. Entre estas, os dados divulgados sugerem que as “melhores” sejam Pfizer, Sputnik V e Moderna, com 95% de eficácia. A Oxford apresentou 90% de eficácia quando administrada em duas etapas de meia dose cada e 62% quando administrada em dose única. Não li os artigos sobre os estudos realizados com todas elas, só li o estudo da Pfizer. Supondo que as outras tenham realizado estudos adequados e confiáveis, e que a incidência de efeitos colaterais seja similar em todas, então a que oferece melhor custo/benefício é a Sputnik V, com mesmo preço da Sinovac e mesma eficácia da Pfizer. Curiosamente a Sinovac não é a mais barata, mas é a menos eficaz entre todas.

Por fim, só gostaria de comentar algumas imagens que estão sendo divulgadas, com analogias sem pé nem cabeça, em que se faz piada sobre comprar um paraquedas com 50% de eficiência. O amigo Juan Pablo compartilhou uma analogia muito melhor, em que já se está dentro do avião em queda, e o paraquedas disponível é este. Claro que esta analogia também não é perfeita, as analogias nunca são perfeitas, mas esta é comparativamente muito mais adequada que a outra e mais útil para auxiliar na tomada de uma decisão sensata.