Le 11 novembre 1942, en réponse au débarquement anglo-américain en Afrique du Nord, Hitler déclenche l’opération « Attila ». L’armée allemande franchit la ligne de démarcation qui sépare la France occupée de la France dite « libre » et prend peu après possession de la caserne Lapérouse d’Albi où réside encore une armée d’armistice très réduite depuis la défaite de 1940. Les services de commandement s’y installent (la Kommandantur est à l’hôtel du Vigan et la Feldgendarmerie à l’hôtel du Lion d’Or). Il n’y a pas de Gestapo à Albi.

Plusieurs emplacements sont en concurrence pour l’implantation de la caserne, c’est le terrain Marre qui est choisi.