Abstract
In statistics, samples are drawn from a population in a data-generating process (DGP). Standard errors measure the uncertainty in estimates of population parameters. In science, evidence is generated to test hypotheses in an evidence-generating process (EGP). We claim that EGP variation across researchers adds uncertainty—nonstandard errors (NSEs). We study NSEs by letting 164 teams test the same hypotheses on the same data. NSEs turn out to be sizable, but smaller for more reproducible or higher rated research. Adding peer-review stages reduces NSEs. We further find that this type of uncertainty is underestimated by participants.
| Original language | English |
|---|---|
| Pages (from-to) | 2339-2390 |
| Number of pages | 52 |
| Journal | Journal of Finance |
| Volume | 79 |
| Issue number | 3 |
| DOIs | |
| Publication status | Published - Jun 2024 |
Fingerprint
Dive into the research topics of 'Nonstandard Errors'. Together they form a unique fingerprint.Cite this
- APA
- Author
- BIBTEX
- Harvard
- Standard
- RIS
- Vancouver
}
In: Journal of Finance, Vol. 79, No. 3, 06.2024, p. 2339-2390.
Research output: Contribution to journal › Article › peer-review
TY - JOUR
T1 - Nonstandard Errors
AU - Menkveld, Albert J.
AU - Dreber, Anna
AU - Holzmeister, Felix
AU - Huber, Juergen
AU - Johannesson, Magnus
AU - Kirchler, Michael
AU - Neusüß, Sebastian
AU - Razen, Michael
AU - Weitzel, Utz
AU - Abad-Díaz, David
AU - Abudy, Menachem
AU - Adrian, Tobias
AU - Ait-Sahalia, Yacine
AU - Akmansoy, Olivier
AU - Alcock, Jamie T.
AU - Alexeev, Vitali
AU - Aloosh, Arash
AU - Amato, Livia
AU - Amaya, Diego
AU - Angel, James J.
AU - Avetikian, Alejandro T.
AU - Bach, Amadeus
AU - Baidoo, Edwin
AU - Bakalli, Gaetan
AU - Bao, Li
AU - Barbon, Andrea
AU - Bashchenko, Oksana
AU - Bindra, Parampreet C.
AU - Bjønnes, Geir H.
AU - Black, Jeffrey R.
AU - Black, Bernard S.
AU - Bogoev, Dimitar
AU - Correa, Santiago Bohorquez
AU - Bondarenko, Oleg
AU - Bos, Charles S.
AU - Bosch-Rosa, Ciril
AU - Bouri, Elie
AU - Brownlees, Christian
AU - Calamia, Anna
AU - Cao, Viet Nga
AU - Capelle-Blancard, Gunther
AU - Romero, Laura M.Capera
AU - Caporin, Massimiliano
AU - Carrion, Allen
AU - Caskurlu, Tolga
AU - Chakrabarty, Bidisha
AU - Chen, Jian
AU - Chernov, Mikhail
AU - Cheung, William
AU - Chincarini, Ludwig B.
AU - Chordia, Tarun
AU - Chow, Sheung Chi
AU - Clapham, Benjamin
AU - Colliard, Jean Edouard
AU - Comerton-Forde, Carole
AU - Curran, Edward
AU - Dao, Thong
AU - Dare, Wale
AU - Davies, Ryan J.
AU - Blasis, Riccardo De
AU - Nard, Gianluca F.De
AU - Declerck, Fany
AU - Deev, Oleg
AU - Degryse, Hans
AU - Deku, Solomon Y.
AU - Desagre, Christophe
AU - Dijk, Mathijs A.Van
AU - Dim, Chukwuma
AU - Dimpfl, Thomas
AU - Dong, Yun Jiang
AU - Drummond, Philip A.
AU - Dudda, Tom
AU - Duevski, Teodor
AU - Dumitrescu, Ariadna
AU - Dyakov, Teodor
AU - Dyhrberg, Anne Haubo
AU - Dzieliński, Michał
AU - Eksi, Asli
AU - Kalak, Izidin El
AU - Ellen, Saskia Ter
AU - Eugster, Nicolas
AU - Evans, Martin D.D.
AU - Farrell, Michael
AU - Felez-Vinas, Ester
AU - Ferrara, Gerardo
AU - Ferrouhi, El Mehdi
AU - Flori, Andrea
AU - Fluharty-Jaidee, Jonathan T.
AU - Foley, Sean D.V.
AU - Fong, Kingsley Y.L.
AU - Foucault, Thierry
AU - Franus, Tatiana
AU - Franzoni, Francesco
AU - Frijns, Bart
AU - Frömmel, Michael
AU - Fu, Servanna M.
AU - Füllbrunn, Sascha C.
AU - Gan, Baoqing
AU - Gao, Ge
AU - Gehrig, Thomas P.
AU - Gemayel, Roland
AU - Gerritsen, Dirk
AU - Gil-Bazo, Javier
AU - Gilder, Dudley
AU - Glosten, Lawrence R.
AU - Gomez, Thomas
AU - Gorbenko, Arseny
AU - Grammig, Joachim
AU - Grégoire, Vincent
AU - Güçbilmez, Ufuk
AU - Hagströmer, Björn
AU - Hambuckers, Julien
AU - Hapnes, Erik
AU - Harris, Jeffrey H.
AU - Harris, Lawrence
AU - Hartmann, Simon
AU - Hasse, Jean Baptiste
AU - Hautsch, Nikolaus
AU - He, Xue Zhong
AU - Heath, Davidson
AU - Hediger, Simon
AU - Hendershott, Terrence
AU - Hibbert, Ann Marie
AU - Hjalmarsson, Erik
AU - Hoelscher, Seth A.
AU - Hoffmann, Peter
AU - Holden, Craig W.
AU - Horenstein, Alex R.
AU - Huang, Wenqian
AU - Huang, Da
AU - Hurlin, Christophe
AU - Ilczuk, Konrad
AU - Ivashchenko, Alexey
AU - Iyer, Subramanian R.
AU - Jahanshahloo, Hossein
AU - Jalkh, Naji
AU - Jones, Charles M.
AU - Jurkatis, Simon
AU - Jylhä, Petri
AU - Kaeck, Andreas T.
AU - Kaiser, Gabriel
AU - Karam, Arzé
AU - Karmaziene, Egle
AU - Kassner, Bernhard
AU - Kaustia, Markku
AU - Kazak, Ekaterina
AU - Kearney, Fearghal
AU - Kervel, Vincent Van
AU - Khan, Saad A.
AU - Khomyn, Marta K.
AU - Klein, Tony
AU - Klein, Olga
AU - Klos, Alexander
AU - Koetter, Michael
AU - Kolokolov, Aleksey
AU - Korajczyk, Robert A.
AU - Kozhan, Roman
AU - Krahnen, Jan P.
AU - Kuhle, Paul
AU - Kwan, Amy
AU - Lajaunie, Quentin
AU - Lam, F. Y.Eric C.
AU - Lambert, Marie
AU - Langlois, Hugues
AU - Lausen, Jens
AU - Lauter, Tobias
AU - Leippold, Markus
AU - Levin, Vladimir
AU - Li, Yijie
AU - Li, Hui
AU - Liew, Chee Yoong
AU - Lindner, Thomas
AU - Linton, Oliver
AU - Liu, Jiacheng
AU - Liu, Anqi
AU - Llorente, Guillermo
AU - Lof, Matthijs
AU - Lohr, Ariel
AU - Longstaff, Francis
AU - Lopez-Lira, Alejandro
AU - Mankad, Shawn
AU - Mano, Nicola
AU - Marchal, Alexis
AU - Martineau, Charles
AU - Mazzola, Francesco
AU - Meloso, Debrah
AU - Mi, Michael G.
AU - Mihet, Roxana
AU - Mohan, Vijay
AU - Moinas, Sophie
AU - Moore, David
AU - Mu, Liangyi
AU - Muravyev, Dmitriy
AU - Murphy, Dermot
AU - Neszveda, Gabor
AU - Neumeier, Christian
AU - Nielsson, Ulf
AU - Nimalendran, Mahendrarajah
AU - Nolte, Sven
AU - Norden, Lars L.
AU - O'neill, Peter
AU - Obaid, Khaled
AU - Ødegaard, Bernt A.
AU - Östberg, Per
AU - Pagnotta, Emiliano
AU - Painter, Marcus
AU - Palan, Stefan
AU - Palit, Imon J.
AU - Park, Andreas
AU - Pascual, Roberto
AU - Pasquariello, Paolo
AU - Pastor, Lubos
AU - Patel, Vinay
AU - Patton, Andrew J.
AU - Pearson, Neil D.
AU - Pelizzon, Loriana
AU - Pelli, Michele
AU - Pelster, Matthias
AU - Pérignon, Christophe
AU - Pfiffer, Cameron
AU - Philip, Richard
AU - Plíhal, Tomáš
AU - Prakash, Puneet
AU - Press, Oliver Alexander
AU - Prodromou, Tina
AU - Prokopczuk, Marcel
AU - Putnins, Talis
AU - Qian, Ya
AU - Raizada, Gaurav
AU - Rakowski, David
AU - Ranaldo, Angelo
AU - Regis, Luca
AU - Reitz, Stefan
AU - Renault, Thomas
AU - Renjie, Rex W.
AU - Reno, Roberto
AU - Riddiough, Steven J.
AU - Rinne, Kalle
AU - Rintamäki, Paul
AU - Riordan, Ryan
AU - Rittmannsberger, Thomas
AU - Longarela, Iñaki Rodríguez
AU - Roesch, Dominik
AU - Rognone, Lavinia
AU - Roseman, Brian
AU - Roşu, Ioanid
AU - Roy, Saurabh
AU - Rudolf, Nicolas
AU - Rush, Stephen R.
AU - Rzayev, Khaladdin
AU - Rzeźnik, Aleksandra A.
AU - Sanford, Anthony
AU - Sankaran, Harikumar
AU - Sarkar, Asani
AU - Sarno, Lucio
AU - Scaillet, Olivier
AU - Scharnowski, Stefan
AU - Schenk-Hoppé, Klaus R.
AU - Schertler, Andrea
AU - Schneider, Michael
AU - Schroeder, Florian
AU - Schürhoff, Norman
AU - Schuster, Philipp
AU - Schwarz, Marco A.
AU - Seasholes, Mark S.
AU - Seeger, Norman J.
AU - Shachar, Or
AU - Shkilko, Andriy
AU - Shui, Jessica
AU - Sikic, Mario
AU - Simion, Giorgia
AU - Smales, Lee A.
AU - Söderlind, Paul
AU - Sojli, Elvira
AU - Sokolov, Konstantin
AU - Sönksen, Jantje
AU - Spokeviciute, Laima
AU - Stefanova, Denitsa
AU - Subrahmanyam, Marti G.
AU - Szaszi, Barnabas
AU - Talavera, Oleksandr
AU - Tang, Yuehua
AU - Taylor, Nick
AU - Tham, Wing Wah
AU - Theissen, Erik
AU - Thimme, Julian
AU - Tonks, Ian
AU - Tran, Hai
AU - Trapin, Luca
AU - Trolle, Anders B.
AU - Vaduva, M. Andreea
AU - Valente, Giorgio
AU - Ness, Robert A.Van
AU - Vasquez, Aurelio
AU - Verousis, Thanos
AU - Verwijmeren, Patrick
AU - Vilhelmsson, Anders
AU - Vilkov, Grigory
AU - Vladimirov, Vladimir
AU - Vogel, Sebastian
AU - Voigt, Stefan
AU - Wagner, Wolf
AU - Walther, Thomas
AU - Weiss, Patrick
AU - Wel, Michel Van Der
AU - Werner, Ingrid M.
AU - Westerholm, P. Joakim
AU - Westheide, Christian
AU - Wika, Hans C.
AU - Wipplinger, Evert
AU - Wolf, Michael
AU - Wolff, Christian C.P.
AU - Wolk, Leonard
AU - Wong, Wing Keung
AU - Wrampelmeyer, Jan
AU - Wu, Zhen Xing
AU - Xia, Shuo
AU - Xiu, Dacheng
AU - Xu, Ke
AU - Xu, Caihong
AU - Yadav, Pradeep K.
AU - Yagüe, José
AU - Yan, Cheng
AU - Yang, Antti
AU - Yoo, Woongsun
AU - Yu, Wenjia
AU - Yu, Yihe
AU - Yu, Shihao
AU - Yueshen, Bart Z.
AU - Yuferova, Darya
AU - Zamojski, Marcin
AU - Zareei, Abalfazl
AU - Zeisberger, Stefan M.
AU - Zhang, Lu
AU - Zhang, S. Sarah
AU - Zhang, Xiaoyu
AU - Zhao, Lu
AU - Zhong, Zhuo
AU - Zhou, Z. Ivy
AU - Zhou, Chen
AU - Zhu, Xingyu S.
AU - Zoican, Marius
AU - Zwinkels, Remco
N1 - Publisher Copyright: © 2024 The Authors. The Journal of Finance published by Wiley Periodicals LLC on behalf of American Finance Association.
PY - 2024/6
Y1 - 2024/6
N2 - In statistics, samples are drawn from a population in a data-generating process (DGP). Standard errors measure the uncertainty in estimates of population parameters. In science, evidence is generated to test hypotheses in an evidence-generating process (EGP). We claim that EGP variation across researchers adds uncertainty—nonstandard errors (NSEs). We study NSEs by letting 164 teams test the same hypotheses on the same data. NSEs turn out to be sizable, but smaller for more reproducible or higher rated research. Adding peer-review stages reduces NSEs. We further find that this type of uncertainty is underestimated by participants.
AB - In statistics, samples are drawn from a population in a data-generating process (DGP). Standard errors measure the uncertainty in estimates of population parameters. In science, evidence is generated to test hypotheses in an evidence-generating process (EGP). We claim that EGP variation across researchers adds uncertainty—nonstandard errors (NSEs). We study NSEs by letting 164 teams test the same hypotheses on the same data. NSEs turn out to be sizable, but smaller for more reproducible or higher rated research. Adding peer-review stages reduces NSEs. We further find that this type of uncertainty is underestimated by participants.
UR - http://www.scopus.com/inward/record.url?scp=85190503164&partnerID=8YFLogxK
U2 - 10.1111/jofi.13337
DO - 10.1111/jofi.13337
M3 - Article
AN - SCOPUS:85190503164
SN - 0022-1082
VL - 79
SP - 2339
EP - 2390
JO - Journal of Finance
JF - Journal of Finance
IS - 3
ER -