Offren är migranter som försökte korsa Medelhavet för att ta sig till den italienska ön Lampedusa
I ett gemensamt uttalande konstaterar de båda FN-organen att olyckan inträffade i torsdags och endast tre överlevande kunde räddas av den tunisiska kustbevakningen.
"Kropparna efter 41 människor, inklusive ett barn, har hittills bärgats", meddelar man i uttalandet.
Båten lämnade den tunisiska staden Sfax sent i torsdags.
"Denna tragiska förlust av liv understryker ännu en gång behovet av att förbättra och utöka de nationella sök- och räddningsoperationerna över centrala Medelhavet", skriver UNHCR och IOM och konstaterar att hittills i år har cirka 290 människor på flykt drunknat i Medelhavet.
Enligt de båda FN-organen har antalet migrantbåtar från Tunisien tredubblats jämfört med samma period förra året.