Ce bâtiment fût offert aux Etats Unis d’Amérique en 1821 par le Sultan Moulay Sliman, et restera durant 135 ans le consulat des états unis.
Il fût la première propriété acquise par les USA à l’étranger.
En 1976 après des années d'abandon le bâtiment fut réhabilité en musée d'art. Au tour d'un patio central de style hispano-mauresque, il abrite une collection de peintures et aquarelles réalisées au Maroc du XVIIème au XXème siècle, une bibliothèque générale en anglais, une bibliothèque spécialisée dans l'histoire du Maroc et du Maghreb.