Över 2 000 av dem har flytt till huvudstaden Kabul och andra provinser, enligt lokala myndigheter.
Många har sökt skydd i en skola i staden, men myndigheterna klarar inte av att förse alla med förnödenheter, enligt flyktingarna.
Efter att striderna bröt ut för drygt en vecka sedan, har 29 civila dödats och 225 skadats, meddelar stadens hälsovårdschef. Tusentals familjer är också sedan tidigare på flykt inom provinsen.
Talibanerna, som tidigare hållit staden Kunduz, har tagit kontrollen över omkringliggande distrikt samt en gränsövergång till Tadzjikistan. Striderna har eskalerat sedan USA började tillbakadragandet av sina kvarvarande 2 500 soldater från landet.