Förr i tiden hade staden en fästning som innefattade Halmstads slott och de vallar man ser rester av vid Karl IX:s väg  och Norre Katts park. Norre Port är byggt 1601 och är den enda kvarvarande stadsporten av de fyra som funnits i stan.

Genom porten gick den dåvarande landsvägen Rikstvåan. Storgatan, vilken nu är gågata, var således en del av landsvägen Rikstvåan fram till 1958 och biltrafik gick här till 1971. Riksantikvarien fick ingripa när stadsfullmäktige beslutade om att riva porten 1879, annars hade den gått förlorad till omvärlden.