Istotnie statystyczna moc testu – analiza mocy i jej miejsce w przyborniku badacza oraz interpretacja (nie)istotności statystycznej przy małej (dużej) mocy testu

Lilianna Jarmakowska-Kostrzanowska

Uniwersytet Mikołaja Kopernika w Toruniu


Abstrakt

Cel
W prezentowanym artykule przyjęto dwa zasadnicze cele – zarysowanie problematyki mocy testu statystycznego oraz omówienie podstawowych problemów związanych z analizą mocy nowym–starym narzędziem. Nowym – w typowym warsztacie badacza, lecz jednocześnie starym, ponieważ znanym już w statystyce. W pracy omówiono także techniczną stronę analizy mocy i jej umiejscowienia względem p-wartości.

Tezy
Moc i analiza mocy oraz istotność statystyczna są pojęciami z dwóch różnych szkół statystyki, które łącznie tworzą paradygmat testowania istotności hipotezy zerowej (NHST). Niespójność szkół składających się na ten paradygmat przysparza problemów w interpretacji wyników testu.

Konkluzje
Wprawdzie analiza mocy pozwala na wyznaczenie potrzebnej wielkości próby, ale późniejsza interpretacja wyników testu nie jest łatwa. Trudno jednoznacznie wskazać, jak należy interpretować wynik nieistotny statystycznie przy dużej mocy testu lub istotny statystycznie wynik przy małej mocy testu. Oprócz tego moc testu ani nie uprawdopodabnia wyniku istotnego statystycznie wyniku, ani też nie obala hipotezy zerowej, gdy wynik jest nieistotny statystycznie.


Słowa kluczowe:

istotność statystyczna, p-wartość, analiza mocy, moc testu


Brzeziński, J. (1997). Metodologia badań psychologicznych. Wydawnictwo Naukowe PWN.   Google Scholar

Carney, D. R., Cuddy, A. J. C., Yap, A. J. (2010). Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and Risk Tolerance. Psychological Science, 21(10), 1363–1368, https://doi.org/10.1177/0956797610383437   Google Scholar

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed). L. Erlbaum Associates.   Google Scholar

Cohen, J. (1990). Things I have learned (so far). American Psychologist, 45(12), 1304–1312, https://doi.org/10.1037/0003-066X.45.12.1304   Google Scholar

Cumming, G. (2011). Understanding The New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis. Routledge. ISBN 9780415879682   Google Scholar

Gelman, A. (2019, January 4). Yes, it makes sense to do design analysis (“power calculations”) after the data have been collected. Statistical Modeling, Causal Inference, and Social Science.   Google Scholar

Gigerenzer, G. (2004). Mindless statistics. The Journal of Socio-Economics, 33(5), 587–606, https://doi.org/10.1016/j.socec.2004.09.033   Google Scholar

Hubbard, R., Bayarri, M. J. (2003). Confusion Over Measures of Evidence (p’s) Versus Errors (α’s) in Classical Statistical Testing. The American Statistician, 57(3), 171–178, https://doi.org/10.1198/0003130031856   Google Scholar

Huberty, C. J. (1993). Historical Origins of Statistical Testing Practices: The Treatment of Fisher versus Neyman-Pearson Views in Textbooks. The Journal of Experimental Education, 61(4), 317–333. http://www.jstor.org/stable/20152384   Google Scholar

Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2(8), e124, https://doi.org/10.1371/journal.pmed.0020124   Google Scholar

Jarmakowska-Kostrzanowska, L. (2016). W statystycznym matriksie: kontrowersje wokół testowania istotności hipotezy zerowej (null hypothesis significance testing, NHST) oraz p-wartości. Psychologia Społeczna, 4(39), 458–473, https://doi.org/10.7366/1896180020163906   Google Scholar

Kelley, K. (2013). Effect Size and Sample Size Planning. W: The Oxford Handbook of Quantitative Methods (Vol. 1, pp. 206–222).   Google Scholar

Klein, R. A., Ratliff, K. A., Vianello, M., Adams, R. B., Jr., Bahník, Š., Bernstein, M. J., Nosek, B. A. (2014). Investigating variation in replicability: A “many labs” replication project. Social Psychology, 45(3), 142-152,http://dx.doi.org/10.1027/1864-9335/a000178   Google Scholar

Lewandowska, A. (2018, February 18). Power pozycja! Healthy Plan by Ann. https://hpba.pl/power-pozycja/   Google Scholar

Mayo, D. G. (2018). Statistical Inference as Severe Testing: How to Get Beyond the Statistics Wars (1st ed.). Cambridge University Press. https://doi.org/10.1017/9781107286184   Google Scholar

Meyer, A., Frederick, S., Burnham, T. C., Guevara Pinto, J. D., Boyer, T. W., Ball, L. J., Pennycook, G., Ackerman, R., Thompson, V. A., Schuldt, J. P. (2015). Disfluent fonts don’t help people solve math problems. Journal of Experimental Psychology: General, 144(2), e16– e30. https://doi.org/10.1037/xge0000049   Google Scholar

Murphy, K.R., Myors, B., i Wolach, A. (2014). Statistical Power Analysis: A Simple and General Model for Traditional and Modern Hypothesis Tests. Routledge   Google Scholar

Nakagawa, S., Foster, T. M. (2004). The case against retrospective statistical power analyses with an introduction to power analysis. Acta Ethologica, 7(2), 103–108, https://doi.org/10.1007/s10211-004-0095-z   Google Scholar

Neyman, J. (1977). Frequentist Probability and Frequentist Statistics. Synthese, 36(1), 97–131. JSTOR. DOI: 10.1007/BF00485695   Google Scholar

Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S., Weber, R. A. (2015). Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women. Psychological Science, 26(5), 653–656. https://doi.org/10.1177/0956797614553946   Google Scholar

Sirota, M., Theodoropoulou, A., Juanchich, M. (2020). Disfluent fonts do not help people to solve math and non-math problems regardless of their numeracy. Thinking & Reasoning, 1–18. https://doi.org/10.1080/13546783.2020.1759689   Google Scholar

Strack, F., Martin, L. L., & Stepper, S. (1988). Inhibiting and facilitating conditions of the human smile: A nonobtrusive test of the facial feedback hypothesis. Journal of Personality and Social Psychology, 54(5), 768–777. https://doi.org/10.1037/0022-3514.54.5.768   Google Scholar

Utts, J. M. (2005). Seeing through statistics (3rd ed). Thomson, Brooks/Cole.   Google Scholar

Wagenmakers, E.-J., Beek, T., Dijkhoff, L., Gronau, Q. F., Acosta, A., Adams, R. B., Albohn, D. N., Allard, E. S., Benning, S. D., Blouin-Hudon, E.-M., Bulnes, L. C., Caldwell, T. L., Calin-Jageman, R. J., Capaldi, C. A., Carfagno, N. S., Chasten, K. T., Cleeremans, A., Connell, L., DeCicco, J. M., Zwaan, R. A. (2016). Registered Replication Report: Strack, Martin, Stepper (1988). Perspectives on Psychological Science, 11(6), 917–928. https://doi.org/10.1177/1745691616674458   Google Scholar

Wasserstein, R. L., Lazar, N. A. (2016). The ASA Statement on p -Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. DOI: 10.1080/00031305.2016.1154108   Google Scholar

Wolski, P. (2017). Istotność statystyczna III. Od rytuału do myślenia statystycznego. Rocznik Kognitywistyczny, 9/2016. https://doi.org/10.4467/20843895RK.16.007.6413   Google Scholar

Pobierz


Opublikowane
2021-12-30

Cited By /
Share

Jarmakowska-Kostrzanowska, L. . (2021). Istotnie statystyczna moc testu – analiza mocy i jej miejsce w przyborniku badacza oraz interpretacja (nie)istotności statystycznej przy małej (dużej) mocy testu. Przegląd Psychologiczny, 64(4), 83–99. https://doi.org/10.31648/pp.7359

Lilianna Jarmakowska-Kostrzanowska 
Uniwersytet Mikołaja Kopernika w Toruniu



Licencja

Prawa autorskie (c) 2021 Przegląd Psychologiczny

Creative Commons License

Utwór dostępny jest na licencji Creative Commons Uznanie autorstwa – Użycie niekomercyjne – Bez utworów zależnych 4.0 Międzynarodowe.