Många av dem i lägren misstänks ha haft samröre med terrororganisationen IS.
Men FN-experten Fionnuala Ní Aoláin anser att länderna har skyldighet enligt internationell lag att hjälpa sina medborgare att komma till sina hemländer. Personerna har rätt till en rättvis rättegång i det land där de är medborgare, anser hon.
Fionnuala Ní Aoláin, som är FN:s specielle rapportör om att skydda mänskliga rättigheter i kampen mot terrorism, varnar också för att flera länder har börjat frånta människor sina medborgarskap.
På en videopresskonferens säger hon att flera av länderna som pekas ut tillhör en "skammens lista".
Enligt beräkningar från kurdiska lokala myndigheter finns det 9 500 kvinnor och barn i lägren al-Hol och Roj. Sammanlagt hyser lägren omkring 64 600 fängslade.