Det uppger människorättsorganisationen Human Rights Watch (HRW) i en ny rapport, baserad på runt 60 vittnesmål.
"Många kvinnor som sitter fängslade i Japan utsätts för allvarliga kränkningar av mänskliga rättigheter och misshandel", skriver HRW i rapporten.
Nästan 4 000 kvinnor satt fängslade i Japan 2021, främst för stöld och narkotikarelaterade brott.
Enligt HRW sitter många kvinnor som dömts för småbrott i fängelse enbart för att Japan saknar alternativ, som till exempel samhällstjänst.
"Japan bör överväga alternativ till fängelsestraff samtidigt som man avkriminaliserar enkla drogrelaterade brott", säger Teppei Kasai vid HRW i rapporten.