Mot ytterligare 34 kinesiska offentliganställda riktas anklagelser om att de har övervakat och trakasserat kinesiska dissidenter som bor i USA.
Enligt departementet och FBI är gripandena en del av en större satsning om att slå ner den kinesiska regeringens försök att trakassera oliktänkande och strypa yttrandefriheten i USA.
De två männen, en 61-åring och en 59-åring, frihetsberövades i sina bostäder på måndagsmorgonen.
Enligt FBI och justitiedepartementet har en lokal enhet av det kinesiska departementet för allmän säkerhet verkat inne i en kontorsbyggnad i stadsdelen Chinatown på Manhattan. Lokalen stängdes i höstas mitt under FBI:s utredning.
De två gripna männen – som uppges ha agerat i USA på uppdrag av en kinesisk regeringstjänsteman – raderade all kommunikation med den tjänstemannen från sina telefoner när de blev medvetna om att en FBI-utredning pågick, enligt justitiedepartementet.
– Vi varken vill ha eller behöver en säkerhetspolisstation i vår fantastiska stad, sade Breon Peace, chefsåklagare i Brooklyn, på en presskonferens där gripanden tillkännagavs.