De äldsta spåren av mänsklig aktivitet i Klingberg är dock betydligt äldre. Vid en arkeologisk undersökning inför fjärrvärmearbete vid Klingsbergsparken påträffades nämligen skärvsten, kol, slagg och bränd lera – som kan vara från bronsåldern.
Nära parken har det också hittats några krukskärvor, troligen från äldre järnålder, som är möjligt belägg för en förhistorisk boplats. Därtill fanns spår av odlingsytor som bedömdes vara från äldre järnåldern.
I källorna omnämns platsen första gången 1424 då stormannaänkan Birgitta Magnusdotter skänkte jord i ”Kalsbergh” till Askeby kloster. Den ursprungliga namnformen var sannolikt Karlsberg vilket med tiden förvanskades till Kalvsberg.
Gården låg troligen på höjdkrönet i nuvarande Klingsbergsparken och tros ha tillkommit under medeltiden. Platsen klassas som fornlämning men har aldrig undersökts.
I november 1434 framträdde ”Harald i Kalsberg” vid Lösings häradsting. Han var troligen arrendator på gården och är den enda till namnet kände invånaren i Klingsberg under äldre tid.
Nästa tillfälle som gården omnämns var 1445 då den var en del av den småländske riddaren Knut Bertilssons morgongåva till sin hustru Birgitta Haraldsdotter.
År 1544 köpte Gustav Vasa frälsehemmanet. Han lät avhysa arrendebonden och marken uppläts mot avgift åt Norrköpingsborna. Huvuddelen av stadens invånare livnärde sig vid den tiden helt eller delvis på jordbruk och fiske, och deras tillgång till åker och äng ökade då med mer än 50 procent.
År 1552 deltog 25 personer i odlingen och under ett par hundra år kom Klingsberg att förbli obebodd jordbruksmark.
På en karta från 1737 återfinns Klingsbergs torp och ”Klingsbergsägorna”. Det är det äldsta belägget för namnet Klingsberg och från och med denna tid används namnen Kalvsberg och Klingsberg parallellt. Bakgrunden är inte känd, men torpet kan ha byggts av en soldat med namnet Kling.
I början av 1800-talet tillkom torpen Gröndal och Lilla Grönhög vars namn ännu lever kvar i Gröndalsgatan och Grönhögsgatan.
Först från 1880 fanns en bosatt arrendator – Per Reinhold Wanstedt – i Klingsbergs gård, som då ägdes av Swartziska friskolan i Norrköping. Några år tidigare hade Per Gustaf Larsson köpt mark och byggt gården Klingsborg där Klingsborgsskolan i dag ligger. Gårdarna köptes omkring 1940 av Norrköpings stad och revs tio år senare för att ge plats åt den växande staden.
Då fanns där redan ett litet villasamhälle. En av de som exploaterade området var Norrköpings siste fältskär, Ernst Pehrsson, vars reklamskylt med utdragna tänder finns att beskåda på stadsmuseet. Till minnet av hans gärning fick en av gatorna i området 1931 namnet Fältskärsgatan.
Stadsdelens äldsta byggnad är Holmstadsskolan, som invigdes 1869. Dess mest kända elev var Moa Martinson, som skildrat sin skolgång där i ”Mor gifter sig”. År 1901 ersattes den av Stora Holmstad, som användes tills Klingsborgsskolan stod färdig 1950.
Från 1859 hade Jägarförbundet under några decennier skjutbana i nuvarande Klingsbergsparken. För sammankomsterna uppfördes en åttkantig paviljong, som fanns kvar ännu på 1930-talet då den hyrdes av Vilbergens Brottareklubb.
I slutet av 1800-talet anlades två handelsträdgårdar i Klingsberg: Konradsdal där Borgmästaregården ligger i dag, och Lilla Fridtuna mellan Holmstagatan och Fridtunagatan. De båda företagen mötte på 1950-talet samma öde som lantbruken i Klingsberg.
År 1906 flyttade S:t Johannes församling från sin gamla kyrka (dagens Hörsalen) till den nuvarande. Läget vid vägen till Söderköping var då ytterst lantligt bland åkrar och tobakslador.
På 1930-talet skulle Klingsberg definitivt komma att inlemmas i staden. År 1936 upprättades en stadsplan för ”Kalvs eller Klingsbergs utjord” som då fortfarande huvudskaligen bestod av åkermark. I väster styckades tomter av för villabebyggelse och i öster byggdes hyreshus. I planen ingick Klingsborgsskolan och S:t Johannes församlingshus samt Klingsbergsparken. Kommunikationerna ordnades genom att spårvägen 1945 förlängdes från Södertull.
Mellan 1906 och 1963 trafikerades den smalspåriga järnvägslinjen mellan Kimstad och Östra station i Norrköping. Järnvägen utgjorde Klingsbergs södra gräns tills villabebyggelsen längs Gröndalsgatan och Grönhögsgatan tillkom i slutet av 1960-talet. Då hade stadsdelen fått den omfattning och det utseende som den har ännu i dag.