Enligt myndigheten har mannen fått 256 900 kronor för mycket i bostadsbidrag. Pengarna betalades ut mellan 2015 och 2021.
För att ha rätt till bostadsbidrag måste man vara bosatt och försäkrad i Sverige, vilket mannen inte tycks vara.
"Du gör inte några kortköp i Sverige, bor inte i den bostad du är folkbokförd i och har inte någon pensionsgrundande inkomst", skriver Försäkringskassan.
Mannen har uppgett att mamman till hans barn befinner sig utomlands på grund av familjeproblem och att han reser dit med jämna mellanrum. Ibland kommer barnen också till Sverige.
Vidare menar mannen, som har svårt med det svenska språket, att han inte medvetet har orsakat återkravet. Han säger sig inte heller kunna betala tillbaka pengarna, eftersom han inte har någon inkomst.
Mannen och kvinnan har fått gemensamt bostadsbidrag trots att kvinnan och barnen inte är bosatta i Sverige och därmed inte omfattas av svensk socialförsäkring.
Försäkringskassan bedömer att familjens rätt till bostadsbidrag upphörde i september 2015.
"Ni har inte anmält ändrade förhållanden samt uppgett felaktiga uppgifter när ni ansökt om gemensamt bostadsbidrag."
Myndigheten ser inga skäl, varken ekonomiska eller språkliga, att befria mannen från återbetalning. Han är i arbetsför ålder och bedöms kunna ta ett arbete för att förbättra sin betalningsförmåga. Mannens återkommande resor går inte heller i linje med hans påstådda ekonomiska situation, menar Försäkringskassan.