"Säkerhetsstyrkorna slog tillbaka attacken, dödade 51 terrorister och skadade nio", uppger försvarsdepartementet i ett uttalande.
Även civila ska ha fallit offer för striderna. Enligt lokala myndigheter ska sju personer ur samma familj ha dödats.
Striderna pågick i flera timmar under natten mot söndagen, rapporterar en journalist från nyhetsbyrån AFP på plats. Huruvida det finns döda eller skadade bland regeringens säkerhetsstyrkor är okänt.
Talibanerna har stark närvaro i Kandahar, en provins som ofta kallas "talibanrörelsens vagga".
Trots den pågående oron i landet har Afghanistans regering och talibanerna fortsatt med trevande fredssamtal som har pågått i Qatar sedan mitten av september. Men på lördagen meddelade parterna att samtalen tar en paus fram till 5 januari.