Zgrada je sagrađena na mjestu španskog muzejskog kompleksa u kolonijalnom stilu uništenog potresom 1989. godine. Elegantne forme i originalna upotreba materijala, karakteristične za Jacquesa Herzoga i Pierrea de Meurona, izazvale su aktivno protivljenje konzervativnih vlasti grada, ali upornost muzejske uprave ipak je omogućila provedbu projekta.
Konstrukcija je u potpunosti obložena bakrom (korišteno je ukupno 7602 panela različitih oblika) i najveća je zgrada prekrivena ovim metalom na svijetu.
Glavni element projekta je zakrivljena kula koja se uzdiže iznad krošnji drveća parka Golden Gate, u kojem se nalazi muzej. Nudi pogled na grad, a takođe povezuje zgradu sa San Franciscom: veličina tornja omogućila mu je da postane uočljiv element urbanog pejzaža.
Glavni volumen, pravougaone osnove, presječena je malim dvorištima zasađenim paprati. Stakleni zidovi učinili su ove vrtove dijelom muzejske unutrašnjosti.
Posebna pažnja posvećena je arhitektima kako bi naglasili kontinuirani protok prostora: ulaz u muzej povezan je s velikim predvorjem otvorenim dvorištem, odakle široko stepenište vodi u dvorane drugog kata. Tome pogoduju i zakrivljeni tlocrti izložbenih dvorana. Unutrašnjost muzeja ukrašena je drvetom eukaliptusa.
Cijena cijelog projekta iznosila je 190 miliona dolara, koje su prikupile privatne osobe, uprkos činjenici da i zbirka (umjetnost iz Afrike, Okeanije, Mezoamerike) i sam muzej pripadaju gradu.
