Varhaisimmat merkit Pispalan asuttamisesta ovat kivi- ja myöhemmän rautakauden esinelöytöjä. Pispalan neuvolan takaisessa rinteessä on sijainnut kivikautinen asuinpaikka. Esinelöytöjä on tehty tarkemmin määrittelemättömältä Pyhäjärven ranta-alueelta. Pronssi- ja varhaisemmalle rautakaudelle sijoittuvia löytöjä puolestaan ei ole, minkä perusteella on päätelty Pispalan asutuksen alkaneen 1000–1100 – luvuilla.
Keskiajalla Pispalan kylän alueet olivat Turun piispan läänityksiä ja osa Suur-Pirkkalaa, joka ulottui aina Soinin pitäjään Keski-Pohjanmaalle. Vuonna 1540 alueelle kirjoitettiin ensimmäiset neljänneskuntajaon mukaiset maakirjat. Pispalan alueen talot kuuluivat Keijärven neljänneskuntaan, jonka rajat oli vahvistettu kirjallisella sopimuksella jo 1433. Kullakin talolla oli vain tonttipaikka ja ryytimaat, laitumet ja metsät olivat yhteisomistuksessa. Pispalan nimi juontaa Pispan talosta, johon Turun piispa tarkastusmatkoillaan majoittui.
Maanomistajina 1600-luvulla oli suurimmalta osin aatelisto Kaarle XI:n reduktioon saakka (1683), jolloin myös talonpojat saivat jälleen ti loja omistukseensa. Olof Mörthin 1696 laatimasta Tammerkosken kartanon kartasta ilmenee nykyisten Pyynikin, Amurin ja Mustanlahden kallioiden alueiden kuuluneen Pispalan, Hyhkyn, Kyttälän ja Tahlon kylien yhteismaaksi. Näistä kahdella ensin mainitulla oli myllyjä Tammerkosken niskalla, nykyisen Finlaysonin alueella. Käytännöllisesti katsoen nykyinen kaupungin keskusta- alue oli siis osittain pispalalaisten “omistuksessa” isojakoon saakka.
Isonjaon aikaan vahvistettiin sovintoraja, joka erotti Harjun alueen Messukylän pitäjästä ja myöhemmin Tampereen kaupungista. Jälkimmäinen raja Pispalan itäpuolella pysyi voimassa vuoteen 1937 saakka, jolloin Pohjois-Pirkkala liitettiin osaksi kaupunkia. Vuonna 1831 rajalle laitettiin “tulliportti”, josta myöhemmin muodostui Rajaportti ja jonka tullimiehinä toimivat Pispalan pikkuklopit. Kaupungin rakentaman pulterimuurin yli kiipeäminen oli muistitiedon mukaan sakon uhalla kielletty.
Ensimmäinen maininta Harjun markkinapaikasta on vuodelta 1602. Vaakkolammin länsipuolella järjestetyt “Harjun markkinat olivat suuret ja meluisat. Kun v. 1749 markkinapuodit syttyivät palamaan ja uhkasivat tuhota Harjun kirkonkin, siirrettiin markkinapaikka asukkaitten pyynnöstä v:sta 1750 alkaen Pispalaan.” ( Tammerkoski 1938/4, 105 ) Markkinat ja markkinapaikan sijainti vesiteiden risteyksessä olivat siinä määrin merkittävät, että jo 1741 kamarikollegio ja kaikki säädyt olivat valtiopäivillä hyväksyneet professori Niilo Hasselblomin suunnitelman siirtää Rauman, Uudenkaupungin ja Naantalin porvarit “tarpeettomista” kaupungeistaan Pirkanmaalle perustettavaan, uuteen Harjun kaupunkiin.
Sotatila ja valtion heikko rahatilanne sotkivat kaupunkisuunnitelmat ja kuluikin 38 vuotta kunnes Kustaa III myönsi luvan sisämaakaupungin perustamiseen – Tammerkosken rantaan. Harjun jakokunnan osakkaat kuitenkin uskoivat markkinapaikan vetovoimaan. 1783 jakokunnan yhteisistä maista lohkaistiin alue toria varten ja todennäköisesti markkinoiden pito jatkui Pispalassa kaupungin perustamisesta huolimatta. Yhteyksien lisääntyminen kaupungin suuntaan oli kuitenkin väistämätöntä ja tamperelaiset anoivatkin jo 1808 ilmeisesti Hyhkyn ja Pispalan talojen liittämis- tä Tampereen seurakuntaan ja 1819 koko Harjun kappelin liittämistä kaupunkiin. Anomukset kuitenkin hylättiin.
Pispalan nykyaikainen rakentaminen sai alkunsa teollisuusrakentamisesta. Talvina 1862 ja -63 pispalalaiset nauttivat runsaasta sivuelinkeinosta; hevosmiehet ajoivat tukkeja yli harjun, Pyhäjärven jäätä myöten rannikolle ja paluukuormissa siirtomaatavaraa Pispalaan. Ajojen tuoma taloudellinen hyöty loppui lyhyeen. Vuonna 1863 Porin höyrysaha rakensi harjun ylitse konevoimaisen tukkitien. Tämä siirtyi myöhemmin W. Rosenlewin omistukseen, joka ei sallinut kilpailijoiden sitä käyttää, jolloin Reposaaren höyrysahayhtiö rakensi harjun ylitse oman rullatiensä (vuonna 1876).
Pispalan liikennettä on kuvannut pastori Wilh. Carlsson 1869 ilmestyneessä Historiallinen ja maantieteellinen kertomus Pirkkalan pitäjäästä seuraavasti, “Tampereelta lähdettyä on rajaveräjälle 2 virstaa. Maantie käy pitkin Maanselän (Pyynikin ja Pispalan harjun) pohjoista syrjää, josta saat katsella pitkin Näsijärven sinertävää pintaa. Sitte lasket Pispalan ahteelta Maanselän poikki, josta näet koko Pyhäjärven ja Pirkkalan emäseurakunnan enimmän osan. Alapuolella sanottua ahdetta kuljet suuren portin lävitse, jonka päällitse poikki maantien käy Tukkitie. Tästä Epilään asti on tie melkein aina pahaa Tampereen tehtaitten pumpuli ym. kuormain rikki ajamaa. Tällä välillä onkin sangen vilkas liikunto; melkein alati näet tässä Tampereen ’laivoja’ (=tavarakuormia).” ( Tammerkoski 1942/3, 61-62 )
Nokian paperitehtaan tuotteiden rahtaaminen nykyistä Pispalan valtateitä mukailleen valtaväylän kautta Pietariin loppui Pietarin radan valmistumiseen 1870. Porin rataa Pispalassa rakennettiin 1892 ja se avattiin Nokialle saakka 1893, mikä entisestään vähensi hevoskuljetusten tarvetta.
Paikallista hevosajoa mitä ilmeisimmin kuitenkin riitti, koska Pispalan teollisuustuotanto lisääntyi voimakkaasti. Santalahden saha ja sen yhteydessä ollut mylly rakennettiin 1875, luujauhotehdas 1883, pahvitehdas 1884 ja todennäköisesti 1886 kattohuopa- ja asfalttitehdas. Luujauhotehtaan tiloissa aloitti Suomen sahanterätehdas 1890 ja Tampereen pumpuli- ja villatavaratehdas (myöhemmin kaupunkiin siirtynyt F. Klingendahlin tehdas) 1891.
Oletettavasti myös vuonna 1891 perustettiin Santalahden paperitehdas. 1890-luvun alussa perustettiin Rantasen mallastehdas Näsijärven rantaan sekä Koivusen ja Lindemanin tilketehdas Tahmelan lähteelle, mikä ei ollut ainoa lähteen vesivoimaa hyödyntämään pyrkinyt yritys. Pispalassa lienee sijainnut myös Tampereen lääketieteellis-kemiallinen tehdas ja A. Jakobsonin virvoitusjuomatehdas.
1900-luvun alussa Pispalaan nousi pari pientä hevosmakkaratehdasta ja haulitehdas, jonka aikaisempi toimipaikka oli ollut Pyynikinharjun etelärinteessä. Harjun lakialueiden rakentamisen mahdollistaneen vesijohtoverkoston rakensi Pispalan Vesijohto-osuuskunta joka perustettiin 1907. 1910-luvulla perustettiin Paasikosken – myöhemmin Oy Uran – puuteollisuusliike, ja 1919 Santalahden kenkä- ja teknokemialliset tehtaat. Osuustukkukaupan OTK:n Tulitikkutehdas (myös Santalahteen) rakennettiin 1926.
Vuonna 1841 Pohjois-Pirkkalan asukasluku oli 301 ja 1890 631 henkeä. Verotusluetteloiden mukaan lähes kaikki asukkaat olivat tuohon aikaan töissä alueen omissa tehdaslaitoksissa tai viljelivät maata. Tampereen teollisen kasvun vaikutus ei siis tuolloin vielä näkynyt suoraan Pispalan asukasluvun kasvuna. Pispala ei ollut esikaupunki vaan itsenäinen, vauhdilla teollistuva maalaiskylä. Hyhkyn ja sen länsipuolisten, maanviljelysvoittoisten kylien asukasluku oli moninkertainen Pispalaan verrattuna.
Valtaosa “pirteistä” oli rakennettu Hennerin tilan maille, alueelle jota rajasivat Pispalan kirkko idässä, Lielahden asema lännessä, [Pispalan] valtamaantie etelässä ja Porin rautatie pohjoisessa (eli nykyisten Ala- Pispalan kaupunginosan luoteisin ja Hyhkyn koillisin alue). Hennerin päätilaa lukuun ottamatta valtamaantien alapuolella ei 1800-luvulla ollut asutusta.
Tahmelan torppa Pispalan harjun etelärinteellä oli siveettömän elämäntavan vuoksi hävitetty 1890 ja kului neljä vuotta kunnes Frans Selin aloitti Tahmelan uudisasutuksen. Harjun laella ei asutusta ollut ja vähäistä se vielä 1800-luvun lopulla oli nykyisen Pispalan valtatienkin varrella. Vuoden 1900 henkikirjoituksen mukaan Pohjois-Pirkkalan asukasluku oli kasvanut 1330 henkeen. Pispalalaisten osuus tästä oli noin 332 henkeä (puolet Hyhkyn ja jotakuinkin sama kuin Hyhkyn länsipuolisten kylien asukasmäärä). Väestön kasvuun vaikutti erityisesti Kyttälästä Vapunpäivänä 1892 häädettyjen asukkaiden siirtyminen osittain Pispalaan ja Tahmelan Ansionkalliolle.
1900-luvun alkuvuosikymmeninä kaupungin läheisyys ja sen kasvavan teollisuuden työvoimantarve alkoi vaikuttaa Pispalan väestön kasvuun. 1930 Pohjois-Pirkkalan 11188 asukkaasta jo noin puolet asui Pispalassa. Viidenkymmenen vuoden aikana (1890–1941) merkittävimmin Pohjois-Pirkkalan kylistä kasvoi Pispala, jonka väkiluku nousi 91-kertaisesti.