Op 12 januari 1807 vond in Leiden 's middags rond 4 uur een grote kruitramp plaats. Een schip, dat op weg was van Haarlem naar Delft, met 37000 Hollandsche Ponden aan buskruit (1 Hollandsche Pond = 470 gr.) aan boord ontplofte in 'Het Steenschuur' waarbij 151 doden vielen en 227 huizen werden vernield. Koning Lodewijk Napoleon die dezelfde nacht poolshoogte is komen nemen op de plek van de ramp, beloofde dat alles in het werk zou worden gesteld om Leiden te helpen bij de wederopbouw. Op uitdrukkelijk verzoek van de stad Leiden zegde Napoleon tevens toe een aanzienlijk aantal soldaten (dienstplichtigen) in de stad te legeren. Deze troepen fungeerden voor Napoleon als hulptroepen en hielden controle over de kust in verband met het verbod op het importeren van goederen uit Engeland en de angst voor een Engelse invasie. Sinds het midden van de achttiende eeuw was een vast garnizoen gelegerd op het Doelenterrein.

Het oude gebouw en enige stallen van de Doelenkazerne zouden reeds hebben bestaan in het jaar 1450. De vergader- tevens oefenplaatsen van de oude schuttersgilden heetten "Doelen", welke bestonden uit een terrein waarop schietbanen en een verenigingsgebouw te vinden waren. Vòòr de invoering van vuurwapens bestonden in de meeste steden twee schuttersgilden, n.l. dat van Sint Joris van de voetboogschutters en dat van Sint Sebastiaan van de handboogschutters. De patroon van de voetboogschutters was St. George (St. Joris), de mythische drakendoder. De St. Jorispoort aan de ingang bij de Oude Varkensmarkt is gebouwd in 1645. Vooruitlopend op de uitbreiding van het aantal soldaten werd toen besloten een begin te maken met de bouw van een nieuw gebouw voor de garnizoenen, dat gereed kwam in 1808. Dit gebouw maakte waarschijnlijk deel uit van de uiteindelijke 'Doelenkazerne' die in 1818 werd gebouwd aan de noordelijke rand van het Doelenterrein aan de Groenhazengracht, waarvoor echter eerst een zestiental huizen stammend uit 1614 moesten worden gesloopt. Later werd de kazerne waar de cavalerie (3e Halfregiment Huzaren) gelegerd was, uitgebreid naar het westen naar een ontwerp van stadsarchitect Salomon van der Paauw. 

In 1819 werd het repareren en versterken van het grote kazernegebouw (Arsenaal) in de Doelen uitgevoerd, waarna het gebouw in 1876 werd verbeterd. In 1860 werd het oude gebouw bestemd voor legering van 2 eskadrons van het 3e Half Regiment Huzaren. Indertijd woonden ook gezinnen in het kazernecomplex en was het later als wapenmagazijn ingerichte ruimte geschikt voor het huisvesten van acht, aanvankelijk schijnbaar zelfs voor twaalf gezinnen. Behoudens de gehuwden bood het gebouw in gewone tijden ruimte voor 15 onderofficieren en 236 overigen, terwijl in buitengewone omstandigheden 21 onderofficieren en 589 overigen konden worden gehuisvest.

De afzonderingsstal werd in 1874 gebouwd. In 1878 werd de apotheek, privaat en hoefsmederij gebouwd, terwijl stal 15 in 1876 werd gebouwd.  In de stallen konden 442 paarden en 47 zieke paarden worden ondergebracht en was er bovendien nog een mogelijkheid om 7 paarden met besmettelijke ziekten af te zonderen. De grote rijloods dateert van 1878, terwijl in 1884 het gehele complex van waterleiding werd voorzien.

In 1886 werd het terrein aan de zijde van de Witte Singel gewijzigd door het dempen van een slot (de Binnenvestgracht), waarop dit terrein in 1887 werd ingericht als loopplaats voor jonge paarden. Dit was in de tijd dat de korpsen zelf nog verantwoordelijk waren voor het africhten van hun legerpaarden. In 1888 is het brandspuitenhuis vergroot tot voertuigenloods.

Foto van eind dertiger jaren:

Zicht op het oude hoofdgebouw met links op de voorgrond het paradeterrein en rechts de achterzijde van de  St-Joris poort