Le château actuel n'est qu'une partie d'un vaste édifice dont la construction remonte peu après l'an mil. C'est un sire d'Albret qui, sur les ruines d'un ancien fortin carolingien, construisit les premières tours d'un édifice que les occupants successifs agrandirent au fil des siècles. C'est Jeanne d'Albret qui en acheva la construction.
C'était un vaste château composé de quatre ailes disposées autour d'une cour carrée. On pouvait y voir quatre tours d'angle et un fossé le bordait sur trois côtés, l'autre étant protégé par la rivière Baïse. Son pont-levis, défendu par deux tours spéciales, constituait la grande entrée.
Un pont de pierre assez étroit, à trois arches ogivales et à saillants refuges, défendu par une barbacane et situé au même endroit que le pont neuf actuel, franchissait la rivière et conduisait des "jardins du Roy", rive gauche, à la verte et célèbre "Garenne", rive droite.
Au moment de la Révolution de 1789, le château qui n'était que peu habité depuis près de 160 ans est en très mauvais état. La démolition commença à la fin du mois de décembre 1793 et ne sera arrêtée qu'en octobre 1794. Ce n'est que bien plus tard qu'une restauration de la partie épargnée par les démolisseurs permettra de pouvoir admirer aujourd'hui ce qu'il en reste.
Le château abrite actuellement le musée historique qui comporte une partie archéologique qui fera peut-être l'objet d'une présentation future dans ces pages.
