Beskedet kommer bara tre månader innan VM ska dra igång i oktober.
I ett gemensamt uttalande säger Australiens och Nya Zeelands rugbyförbund att spelarnas säkerhet kommer först och de uppmanar arrangörerna att skjuta upp VM till nästa år.
"Risken för spelarna att resa från Australien och spelar i VM i år är oöverstiglig", skriver Peter V'landys, ordföranden i Australiens rugbyförbund i uttalandet.
Det är nu oklart om mästerskapet kan genomföras. Turneringen skulle bli rumphuggen utan två av de största nationerna på plats.
VM i England i höst är i varianten "rugby league", som avgörs med elva spelare i varje lag och något annorlunda regler än den mer kända spelformen, kallad "rugby union", där 15 spelare ingår i varje lag.
Nästa VM i "rugby union" spelas i Frankrike 2023.