1804 – 1810. Situé dans le quartier de la Madeleine, le musée, surplombait le coteau Henri IV.
Il renfermait toute la collection privée de François Cacault dont la plus riche collection de tableaux qui existait alors hors de Paris. A son retour d’Italie, où il avait exercé de hautes fonctions diplomatiques, François Cacault s’installe à Clisson, auprès de son frère Pierre, dans la maison que celui-ci a achetée et restaurée en 1798.
Il possède d’immenses richesses artistiques dont il aimerait faire bénéficier Nantes sa ville natale. Pierre convainc alors son frère de créer un musée-école à Clisson, dans la propriété même qu’ils occupent. Les bâtiments abritant le musée adoptaient le style italien.Commencé en 1799 et achevé en 1804, le musée renfermait toute la collection privée de François Cacault. Un inventaire dressé en 1808 fait apparaître : 1155 peintures (dont 120 toiles de grands maîtres), 64 sculptures, 134 recueils d’estampes, des vases précieux, des tables antiques…. François Cacault décède l’année qui suit l’ouverture de son musée. Sa mort laisse à son frère Pierre de lourdes charges et celui-ci ne peut les supporter seul.Le 5 mai 1809 le conseil municipal de Nantes délibère sur l’acquisition du musée et le 27 janvier 1810 l’empereur, qui aimait les arts, autorise par décret le transfert de toute la collection Cacault à la ville de Nantes. Clisson perd un de ses plus beaux joyaux et la ville de Nantes s’enrichit d’œuvres fabuleuses toujours visibles au musée des beaux arts.