Jusqu’en 1145, les Arnaud possèdent la ville en franc-alleu, c’est-à-dire en toute propriété sans redevance due à quiconque. Puis aux Arnaud vont succéder les Poitiers, comtes de Valentinois et Diois. Leur souveraineté contestée par les évêques sera la cause pendant deux siècles de multiples guerres pour la possession des terres et châteaux de Crest.
En 1426, le roi Charles VI rattache Crest au royaume de France. Au cours des siècles suivants, la ville est cédée à divers souverains successifs, dont César Borgia (1498), Diane de Poitiers (1548) et, plus longuement, aux Grimaldi qui seront seigneurs de Crest de 1643 à la Révolution. Le 26 janvier 1632, le roi de France Louis XIII publie un édit ordonnant la destruction totale de la citadelle de Crest mais, à la requête des consuls de Crest, la Tour sera épargnée.