Le Fort Balaguier abrite un musée naval et municipal présentant des salles consacrées à l'histoire de la marine civile en Méditerranée ainsi qu'à l'histoire du bagne.
Quelques objets évoquent les thématiques militaire et maritime sur les remparts, dans la cour intérieure et au sommet de la tour du fort Balaguier. Ce sont de nombreux canons, des ancres et autres éléments ayant appartenu à différents types de bateaux.
La chapelle abrite quant à elle les collections présentant l'histoire du bagne. Celui-ci était tout d'abord installé dans le port de Toulon, dans d'anciennes galères désarmées, puis outre-mer, à Cayenne, à partir de 1853. La présentation s'appuie sur de nombreux objets (entraves des forçats, outils, registres...) Des panneaux expliquent leurs conditions de vie et de détention.
Enfin, au pied des remparts, sont entreposés sept bateaux d'origines très diverses.