Dessutom får mannen återreseförbud till Sverige i 15 år.
Det är Säkerhetspolisen som ligger bakom kravet att han ska utvisas, skriver Expressen och Expo.
Advokat Fredrik Åkerblom, som representerar mannen i målet, säger att avvisningsbeslutet ska överklagas.
"Påståenden som Säpo gör om NN (mannen) stämmer inte i delar som varit avgörande för beslutet om utvisning", skriver han till Expressen och Expo.
Mannen, som är estnisk medborgare, har varit folkbokförd i Sverige i flera år. Han har bland annat närvarat vid flera demonstrationer för nazistiska Nordiska motståndsrörelsen och deltagit i högerextrema manifestationer.
Gabriel Wernstedt, pressekreterare vid Säpo, vill inte uttala sig om det enskilda ärendet.