I början av 1600-talet anlade hertig Johan av Östergötland Nya staden norr om Strömmen, och den kom att förbindas med den gamla bebyggelsen genom den nybyggda Saltängsbron.
Stadsdelen på Saltängen fick ett eget torg som stakades ut mellan brofästet och Slottsgatan. Det kallades först Nystadstorget och senare Saltängstorget. Torghandeln inleddes 1631 och där hölls Pålsmässomarknaden i januari. På 1800-talet räknades torget som stadens främsta.
År 1846 restes den staty som gav torget – och dagens park – dess namn. Snusfabrikören John Swartz föreslog kort efter Karl XIV Johans död att kungen borde hedras med en staty. I den insamling som genomfördes bidrog 1 177 Norrköpingsbor – från de styrande i borgerskapets äldste till gesäller och skolgossar. Monumentet skapades av den tyske skulptören Ludwig Schwanthaler, och vid den högtidliga avtäckningen var både Karl XIV Johans änka Desideria och son, kung Oscar I, på plats.
Äldst i dagens Carl Johans park är den norra delen. Den hette länge Järnvägsparken, men är i själva verket äldre än järnvägen. Parken anlades samtidigt som Norra Promenaden och invigdes 1860. Den skapades av trädgårdsarkitekten Knut Forsberg som ritat både Promenaden och den då nyligen anlagda Berzelii park i Stockholm.
När Norrköpings Centralstation invigdes 1866 stramades formspråket i parken upp med symmetri utifrån stationsbyggnadens mittaxel. Järnvägsarkitekten Adolf Wilhelm Edelsvärd ville alltid att en vacker park skulle möta resenärerna, och att parkens träd skulle skydda städernas byggnader från ånglokens rök och gnistor. Parkanläggningen anses vara en av Sveriges bäst bevarade parker från denna tid.
År 1876 tillkom delfinfontänen med sina förgyllda delfinliknande dekorationer. Stadens vattenledningsnät hade så sent som året innan nått Nordantill och styrelsen för stadens promenader och planteringar sökte då anslag till fontän och ”vattenkastare som lämnar dricksvatten”.
På 1870-talet utvidgades parkområdet utmed Norra Promenaden. På ängsplanerna bredvid Järnvägsparken anlades Götaparken (väster om Hotellgatan) och Sveaparken (öster om Drottningsgatan). De nya parkerna gestaltades av trädgårdsdirektören vid Haga slott, Nils Johan Eriksson, i samma stil som Järnvägsparken som han tidigare utformat. På kartorna kallas hela anläggningen Stadsparken.
I dag utgör en gång- och cykelväg den diskreta gränsen mellan Carl Johans park och Götaparken, som omstrukturerades när Folkets hus byggdes ut. År 1967 invigdes konstnären Vicke Lindbergs elva meter höga glasobelisk Prisma och i parken finns sedan 1989 Olof Palmes plats.
Sveaparken kom så småningom att bli en del av busstationen och resten av parken omvandlades till torg med blomsterrabatter. År 2012 ändrades namnet för att spegla att parkytan numera är torg och byggtomter. För att behålla den historiska kopplingen valdes namnet Sveaplatsen.
Carl Johans torg användes under andra halvan av 1800-talet endast för enstaka marknader och var en ödslig kullerstensyta. År 1887 föreslog stadsfullmäktiges ordförande, grosshandlaren John Philipson, att torget skulle omvandlas till park. Philipson erbjöd sig att bekosta parken, som anlades enligt den så kallade tyska stilen som fanns i Järnvägsparken, med gångvägar och gräsytor i symetriska mönster och kulissartade yttre trädgrupper. Blomsterrabatterna blev utsirade och färgrika.
Söder om Carl Johans park låg ett område med vattenpumpar och 1889 anlades där en park som i folkmun kom att kallas Samarien. Även denna parkanläggning bekostades av John Philipson och namnet lär syfta på hans judiska börd. Där står sedan 1995 konstnärens Bo Olls Estoniamonument till minne av de omkomna vid M/S Estonias förlisning.
Tidigt planterades bladväxter så att de bildade Norrköpings gamla stadsvapen vid kungastatyn, och exotiska växter som staden odlade i växthus visades upp i Carl Johans park. Från 1926 planterades enbart kaktusar och andra tjockbladsväxter. De första åren var det antingen fantasimönster eller stadsvapnet, men då Gustaf V fyllde 80 år 1938 avbildades kungens monogram. Sedan dess har kaktusplanteringen haft motiv som hyllat olika jubilarer, ofta företag och föreningar i Norrköping.
Från omkring 1970 har parkerna mellan Strömmen och Norra Promenaden räknats som en och samma med namnet Carl Johansparken. År 1999 ändrades det till dagens namnform: Carl Johans park.