Le Tarn fut déclaré département d’accueil par une instruction du 18 juin 1935. Ses capacités d’accueil furent évaluées par une enquête gouvernementale qui les détermina à 180.000 réfugiés. Ces plans de repliement ne demeurèrent en réalité que très théoriques.
L’exode du 10 au 24 juin 1940 a contraint les populations à s’exiler de leurs pays pour venir trouver refuge dans le Tarn. Ils étaient 57.900 personnes, en grande majorité des femmes et des enfants, à stationner dans le Tarn en attente d’être logés. A partir des données collectées après enquête, le préfet dressait la carte des communes les plus adaptées pour rassembler les réfugiés. La commune de Brens accueillit 1.900 réfugiés, soit deux fois la population brensole, qui furent logés soit chez l’habitant, soit dans des immeubles réquisitionnés et préalablement aménagés. Cependant, les logements disponibles ne suffirent pas à héberger l’ensemble des réfugiés et ont alors nécessité la construction de centres d’accueil à Brens et à Saint-Sulpice. Le terrain des Rives, bordant la route nationale D-87, l’un des principaux axes de communication du département, a été réquisitionné par une demande préfectorale le 19 octobre 1939.
L’entreprise Fraisse fut chargée de la mise en œuvre du camp, dont les plans furent dessinés par l’architecte départemental Léon Daurès. Le chantier fut achevé le 10 mai 1940. Dès le 15 mai, le centre accueillit 1000 réfugiés Belges, une trentaine d’Espagnols ainsi que des familles polonaises. Le centre était un lieu de transit , les personnes qui y étaient hébergées n’y demeuraient en général que quelques jours. En attendant de trouver une place disponible dans les locaux réquisitionnés ou de trouver une pension chez l’habitant. Le camp se vide à l’été 1940 mais dès le mois de septembre, un afflux de trois cents Espagnols arrivent et la fonction du camp change. Le centre d’accueil est devenu un centre d’hébergement.
Durant la période d’octobre-novembre 1940, pour faire face à l’arrivée de nombreux réfugiés juifs étrangers à Toulouse et l’impossibilité de les loger dans des conditions matérielles décentes. Le Comité juif « de bienfaisance » de Toulouse décide avec les autorités préfectorales de la Haute-Garonne, d’héberger ces réfugiés au camp de Brens. Progressivement, un glissement concentrationnaire s’opère à l’intérieur du camp. Le statut des réfugiés des pays vaincus par l’Allemagne nazie change avec la défaite militaire et l’avènement de Vichy, ils passent du statut de réfugiés à la condition d’internés.
Le camp est désormais un centre d’hébergement pour juifs étrangers jusqu’en mars 1941. La situation morale et sanitaire des 1500 « hébergés » se dégrade rapidement malgré les associations d’entraide présentes au camp. Ces réfugiés sont démunis de toute ressources et subissent d’autant plus les pénuries. Etant dépourvus de toute ressource, ils manquent de vêtements, de chaussures et de tous les objets du quotidien. Plus de quatre cents enfants sont présents au camp et développent des maladies parfois graves sans que la moindre infirmerie soit installée. Le moral chute avec la nomination d’un directeur de camp par la Préfecture, qui, dès sa prise de fonctions interdit les sorties en dehors des heures déterminées. On envisage également d’installer une clôture de fils de fer barbelés et à la mi-janvier 1941, le directeur exige la remise des papiers d’identité. Le 11 février 1941, le secrétaire d’État à l’Intérieur prescrit le transfèrement des populations des camps non clôturés vers des camps surveillés. Les soixante vieillards et les tuberculeux présents au camp sont transférés le 18 février vers le « camp-hôpital » de Noé ; le 25 février, les 793 enfants de moins de 18 ans et leurs parents sont transférés vers le centre de regroupement familial de Rivesaltes. Et enfin le 4 mars c’est les 445 hommes et femmes veufs et célibataires qui sont transférés vers le camp de Gurs. Ces trois camps seront des foyers de déportations en 1942. Après le départ vers d’autres camps clôturés le 23 juin 1941 d’une centaine de vieillards juifs étrangers provenant de Noé et du Récébédou, en surnombre, le camp de Brens est fermé.
Le camp de Brens devient un véritable camp de concentration avec la fermeture du camp de Rieucros le 31 décembre 1941, jugé insalubre et trop exgigu. Rieucros était un camp de femmes établi depuis octobre 1939 près de Mende (Lozère) qui concentrait les « étrangères et françaises indésirables », des prostituées arrêtées dans différentes villes et quelques prisonnières de droit commun . Le 14 février 1942, les 315 internées et 26 enfants, de nationalités très diverses ont été transférés par train et par camion au camp de Brens. Ces femmes découvrent un espace clos de deux hectares avec des guérites et des postes de surveillance, cerné d’une clôture de fil de fer barbelés. La promiscuité entre les internées de nationalités, d’opinions et de motifs d’internement très différents entraîne des relations entre elles très conflictuelles.