Löfstad är känt i källorna sedan 1478 då ”Jöns i Löfstad ” var inblandad i en tvist om ägogränser i närbelägna Resebro mosse. Väpnaren Håkan Jönsson, som 1510 hade Löfstad som sin sätesgård, var troligen hans son. Gården som föregick slottet låg några hundra meter bort, där ekonomibyggnaderna i dag ligger.
Löfstad ärvdes vidare inom ätten Lillie och tillföll i början av 1600-talet Axel Lillie (1603–1662). Han var kammardräng hos Gustav II Adolf och studerade i Tyskland innan han inledde sin militära karriär. Hans steg snabbt i graderna och blev efter bara fyra år överste och regementschef. Vid belägringen av Mainz 1631 slet en kanonkula av hans vänstra ben i höjd med knät, men Axel fortsatte ändå sin tjänstgöring i trettioåriga kriget.
Axel Lillie skulle med tiden bli fältmarskalk, generalguvernör i Pommern och i Livland, riksråd och greve (med en enbent krigare i sin vapensköld). Det sägs att han ekonomiskt fick mer ut av kriget än de flesta och därtill förstod att väl förvalta sin förmögenhet. Denna investerades i ett praktfullt slottsbygge vid Lövstadsjön.
Byggnadsarbetena inleddes 1636 eller 1637 och inte förrän 1660 var hela slottet beboeligt. Resultatet blev en imponerande symbol för byggherrens makt och status. Exteriören skilde sig mycket från hur slottet ser ut i dag. Höga branta sadeltak, målade fönsteromfattningar och trappstensformade gavlar gav det en ålderdomlig prägel.
Slottet ansågs omodernt redan från början och sonen Axel Lillie d.y. (1637–1692) påbörjade omfattande moderniseringar på 1670-talet. Han lät då bland annat måla över de färgrika, dekorativa fasadmålningarna.
År 1750 eldhärjades Löfstad slott. Branden uppstod i den norra flygeln, troligen genom att en piga tappade lite glöd i vävkammaren, och den spred sig snabbt via det nytjärade spåntaket. Hela huvudbyggnaden och större delen av norra flygeln skadades medan den södra kunde räddas. Det var i första hand inredningen och taken som förstördes.
Ägare till Löfstad var den då blott 18-åriga Hedvig Catharina De la Gardie (1732–1800). Hon var sondotterdotter till Axel Lillie d.y. och skulle några år senare gifta sig med greve Axel von Fersen d.ä. När slottet återuppbyggdes efter branden fick det sitt nuvarande utseende med en ny takkonstruktion och fönster utan omfattningar. Då skapades också dagens planlösning med kök i källaren och en gästvåning överst. Ägarparets initialer och årtalet 1753 pryder ännu i dag fasaden.
Det var först under deras dotter Sophie von Fersen (1757–1816) som slottet blev ordentligt möblerat och åretruntbostad för första gången. Sophie flyttade från Stockholm till Löfstad efter mordet på sin bror Axel von Fersen d.y. 1810. Den charmerande och vackra hovdamen levde sedan ett tillbakadraget liv och ägnade bland annat mycket tid åt parkanläggningen.
Hundra år senare hade Löfstad gått i arv till Sophies sonsons dotter Emilie Piper (1857–1926). Hon föddes på slottet och det egna hemmet var hennes stora passion och livsuppgift. Hon blev den sista privata ägaren till Löfstad. Emilie var ogift och hennes enda syskon, systern Sophie, saknade barn. Så hon testamenterade slottet, parken och ägorna till Riddarhuset, och alla inventarier till Östergötlands fornminnes- och museiförening (numera Östergötlands museum). När systern dog 1940 trädde testamentet i kraft och två år senare öppnade Löfstad slott som museum.
Då hade tiden stått stilla på Löfstad sedan Emilie Pipers död 1926. Hon ville ”för alla tider bevara ett minne från äldre dagar, då ett s.k. slottsliv levdes på de större egendomarna, och ett exempel på ett verkligt hem”. Hon lämnade tydliga instruktioner om att alltsammans skulle bevaras precis som det var. Möbler, tavlor, textilier – varje föremål finns kvar på samma plats som 1926.
Löfstad slotts kanske mest kända föremål ligger på Emilies säng: ett sidentäcke som har tillhört Axel von Fersens förmodade älskarinna, den franska drottningen Marie Antoinette. Slottets bibliotek omfattar cirka 5 000 böcker, huvudsakligen fransk, engelsk och svensk litteratur från 1700-talets mitt och ett hundratal år framåt.
Och som brukligt är på slott finns det berättelser om spöken. Ljudet av gamle Axel Lillies träben, rum 13 med en blodfläck som inte går att tvätta bort och Sophie von Fersen i den grå damens skepnad i slottsparken är några av Löfstad slotts hemsökelser.