Originalnamnet lever ett stenkast från ursprunget. Göteborgs första port kallades helt enkelt Stadszporten 1621-1639, senare Gamble Port 1644 och Konungsporten eller Kongsporten. Även Söder Port är ett gammalt namn, då den ligger ett stenkast från Södra vägens början.
Den Gamle Port vi vanligen tänker på hade en föregångare i trä med vindbrygga över vallgraven på ungefär samma plats. Därifrån fanns det förbindelser med vägarna mot norr, öster samt söder ner mot Halland.
1695 hade Erik Dahlbergh ritat klart planen för fästningsstaden Göteborg och från 1697 började grunden till stadens förnämsta och största stadsport uppföras av sten och tegel.
Det var en imponerande port, med rikt dekorerad sandstensfasad och ett pyramidformat brant tak krönt av två skulpterade lejon. Ovanpå fanns en mycket skön altan, täckt av koppar, garnerad av en balustrad av järn.
Porthuset med sin genomgång var stängd nattetid, som skydd för stadens innevånare. Den fungerade även som tullstation, för varor och gods som skulle in och säljas i staden.
Själva byggnaden ritades troligen av fortfikationsofficer Leijonsparre, som var elev till Erik Dahlbergh. I porten fanns ett fängelse 2,5 meter under jorden kallat Vargkulan.
Som kuriosa kan nämnas att Hans Vogt i slutet av 1600-talet hade en restaurang i ett hus granne med Gamle Port. Där hade han en apa för att roa sina gäster. Apan lär ha bitit åtskilliga hål i huvudet på en gäst, vilket tvingade Vogt att betala 20 öre i silvermynt.
Gamle Port var fortfarande fängelse in på 1800-talet. Det står beskrivet att långa tåg av dessa fångar, iklädda egna eländiga paltor, och med black om ena foten, varje Thorsdag fördes ut från häktet för att slita spö för under veckan begångna förseelser.
Spöstraffen utverkades bakom ett plank, där SJ:s banhall ligger idag. Militären hade även förråd i andra utrymmen i portbyggnaden.
Många ville bevara den utsmyckade och vackra Gamle Port, men tillskyndarna lyckades inte. Rivning diskuterades från 1831 och 1836-1839 var den ett faktum.
Fastigheten med restaurangen Gamle Port uppfördes 1856 för bostäder, affärer och verkstäder. 1918 öppnade den första restaurangen i bottenvåningen.
Tre år senare togs ytterligare ett våningsplan i anspråk och idag driver ägaren Mahmud Kangarlu sin verksamhet i fyra plan. Han har ägt Gamle Port sedan 2006 och driver pub, matsal, restaurang med levande musik i tre plan för allmänheten.