Il faut se rappeler qu'à la fondation de Québec, ce village n'était qu'un poste de traite dans un territoire sauvage et hostile.
La première Habitation fut dotée de plusieurs mesures défensives. Par la suite, on fit construire un fort, qu'on appela le Château Saint-Louis (à l'emplacement actuel du Château Frontenac).

C'est à la suite d'une attaque particulièrement brutale des Anglais, avec à leur tête l'Amiral Phipps, en 1690, que la ville se dota de ses premières fortifications, moins impressionnantes que celle qu'elle a maintenant...
Par la suite, la situation ne s'améliorant guère entre les deux méga-puissances, et aussi parce que la proximité (Nouvelle-Angleterre et Nouvelle-France) poussait à de possibles invasions d'un peuple par l'autre, les fortifications s'étoffèrent, se dotant de tours, de bastions.

Il faut garder en tête que Québec est sur un promontoire intéressant au point de vue stratégique ; d'un côté, la ville est entourée par la haute falaise du Cap-Diamant, de l'autre, face aux grandes plaines d'Abraham, ont été construits les murs. Lors de la Guerre de 7 ans, en 1759, les murs étaient en très mauvais état, entre autres parce que le siège anglais, avec ses bombardements incessants, avait détruit 80% de la ville.

En prenant le contrôle de la capitale, point crucial pour l'Amérique, puisqu'il s'agit du passage vers le centre du continent, avec la voie maritime du Saint-Laurent, les Anglais ont décidé d'étoffer un peu les fortifications, améliorant les murs, construisant 4 tours Martello pour défendre les plaines vers l'ouest, et une citadelle gigantesque pour défendre la voie maritime.

Ce sont entre autres les guerres d'indépendance Américaine qui ont mené les dirigeants à fortifier la ville, autour de 1812.