Im Jahr 1429 bekam die Stadt das Zollrecht. Das spätmittelalterliche Haarlem kannte Textilherstellung, Schiffbau und viele Bierbrauereien. Der Reichtum ging zu Ende durch einen etwa dem deutschen Bundschuh-Aufstand ähnelnden Bürgerkrieg namens „Hoeker und Kabeljau-Streit“ (Hoekse en Kabeljauwse Twisten) und den Aufstand der Käser und Bäcker (Kaas- en Broodvolk). Im Jahr 1573 fiel die Festung nach einer monatelangen spanischen Belagerung durch Don Fadrique (Sohn des bekannten Herzogs von Alba). Nach dem Vertrag von Veere zogen sich die Spanier 1577 zurück, nachdem Protestanten und Katholiken gleiche Rechte erhielten. Flämische und französische Immigranten brachten der Stadt eine neue Blütezeit (Leinenweberei, wie auch in Leiden).

1658 gründete der Holländer Petrus Stuyvesant Nieuw Haarlem an der Ostküste Nordamerikas. Später wurde Nieuw-Haarlem als Bezirk Harlem Teil der Stadt New York.

Im 19. Jahrhundert wurden die Stadtbefestigungen geschleift und als Park gestaltet. 1839 fuhr der erste niederländische Zug zwischen Haarlem und Amsterdam.

1927 wurde die Gemeinde Schoten eingemeindet. Teile der Gemeinden Bloemendaal, Haarlemmerliede en Spaarnwoude und Heemstede wurden ebenfalls eingemeindet. So wurde Haarlem zur fünftgrößten Stadt der Niederlande nach Amsterdam, Rotterdam, Den Haag und Utrecht.

Nach der Erfindung der Buchdruckerei, in deren Frühzeit der Haarlemer Laurens Janszoon Coster eine wichtige Rolle spielte, bekam Haarlem eine bleibende Reputation als Druckerstadt. Die älteste Tageszeitung wird noch immer in Haarlem gedruckt. Im Jahr 1656 erschien zum ersten Mal de Oprechte Haerlemse Courant, die heute unter dem Namen Haarlems Dagblad firmiert. Die Firma Johan Enschedé ist eine bekannte Spezialdruckerei, die auch für das Ausland u. a. Geldscheine und Ausweisdokumente herstellt. Hinzu kommt die Tradition als Stadt der Schriftsteller.