Osnovu nove zgrade čine ruševine kasnoromaničke crkve St. Columba, nekada središta najveće srednjovjekovne župe Köln. 1945. godine uništen je tokom zračnog napada gotovo do zemlje, samo je vapnenački Gospin kip u oltaru hrama ostao netaknut, za što je Gottfried Boehm kasnije 1950. sagradio posebnu kapelu. U isto vrijeme, ruševine crkve pretvorene su u svojevrsni spomen-trg. Početkom 1970-ih, na njenom su teritoriju arheolozi otkrili ostatke zgrada iz različitih doba postojanja Kelna - drevne rimske, ranosrednjovjekovne, romaničke i gotičke.
Takav je predmet kulturno-povijesne baštine sam po sebi neobično teško percipirati i sačuvati, ali kada je Muzej Kelnske biskupije odlučio sagraditi na njegovom mjestu - unutar i oko postojećih ruševina - novu zgradu koja će prikazati svoju obimnu zbirku vjerskih spomenika umjetnosti od kasne antike do danas, situacija se višestruko zakomplicirala. Odluka o proširenju muzeja donesena je davne 1974. godine, ali ruševine crkve Sv. Columbe izabrane su za njezino novo mjesto tek početkom 1990-ih. 1997. godine održan je arhitektonski natječaj na kojem je pobijedio projekt izvanrednog švicarskog arhitekte Petera Zumtora. Žiri je primijetio izvanrednu vještinu kojom je Zumthor uspio kombinirati fragmente 2000-godišnje arhitektonske istorije Kelna (od temelja zgrada starih Rimljana do kapele "Madonna u ruševinama" Boehma 1950. godine) u jedan ansambl, što je više nego samo zbroj njegovih dijelova.
Restauracija i konzervacija arhitektonskih ostataka trajala je nekoliko godina, a sama izgradnja Kolumbovog muzeja započela je tek 2003. godine.
Zgrada u planu nalikuje latiničnom slovu L i postavljena je pod pravim kutom prema ulici. Njegovi zidovi obloženi ravnim i širokim svijetlosivim opekama s debelim slojevima vezivnog maltera uopće ne izgledaju, zahvaljujući finoj teksturi površine, rezultat rada zidara. U njih su u prizemlju ugrađeni ostaci crkvenih zidova, a iznad njih su izlomljeni dijelovi "perforacije" i veliki pravokutni prozori, u kontrastu s monumentalnom težinom zida debljine 60 cm. Na planu crkve nalazi se malo šljunkovito dvorište na mjesto starog župnog groblja. Posjetilac ulazi u nju na putu od predvorja do glavne „izložbene dvorane“prvog kata. Ova "dvorana" je ogromna prostorija visoka 12 m duž koje je cik-cak most postavljen preko temelja drevnih i srednjovjekovnih građevina pronađenih kao rezultat arheoloških iskopavanja. Zumthor je ovdje vrlo štedljivo koristio umjetno osvjetljenje, pa gotovo sva svjetlost ulazi kroz trake malih rupa na vanjskim zidovima zgrade; iznutra, ova tehnika dodatno naglašava prividnu disemenociju ovih zidova, što se može smatrati aluzijom na principe gotičke sakralne arhitekture ili referencom na djela mističara tog doba. U isti prostor upisan je i oktaedar kapele Boehm, kojem se, međutim, može pristupiti izvan muzeja.
Na kraju most vodi posjetitelja do prostorija nekadašnje sakristije, pretvorene u malo dvorište; postoji skulptura Richarda Serre "Utopljeni i spašeni".
Iznad prvog nivoa nalaze se još dva kata izložbenih dvorana, ukupno šesnaest. Zamišljeni su kao samostojeći blokovi - "kuće", između kojih su položene "ulice" od bijelog teraca; svaka se takva sala razlikuje od ostalih veličinom, načinom i intenzitetom osvjetljenja i načinom pregleda. Izlošci su izloženi u njima bez poštivanja kronologije i bez bilo kakvih tekstova s objašnjenjima i naljepnica. Stoga su kustosi muzeja željeli postići nepristranu percepciju umjetničkih djela od strane publike.
U projektu muzeja Kölnske biskupije Zumthor je objedinio spomenike kulture iz različitih epoha - kako arhitektonskih, koji se nalaze in situ, tako i uključenih u zbirku muzeja - naglašeni lakonski formalni arhitektonski jezik, ublažen pažnjom arhitekta prema specifičnostima materijal, prema taktilnim i vizuelnim svojstvima; tu posebnu ulogu igra osvjetljenje, koje je gotovo nedovoljno za cjelovit pregled izložaka, ali njihovoj percepciji daje posebnu oštrinu. Sve ovo čini ovo djelo, barem izvana, sličnim vjerskim objektima srednjeg vijeka, epohe izgradnje uništene crkve sv. Columbe, koja mu je dala ime, kao i doba hegemonije katoličanstva na teritoriji Njemačke, koja još nije znala za preokrete Reformacije. Istovremeno, upotreba tehnika svete arhitekture u zgradi muzeja - čak i muzeja religiozne umjetnosti - natjera na razmišljanje o dubokoj promjeni u sistemu prioriteta moderne osobe, a ne samo o promjeni duhovne ideale prema "sekularnijoj" slici svijeta, ali i o određenom "populističkom" aspektu čitave sfere moderne kulture. Međutim, ne treba zaboraviti da ista arhitektura srednjovjekovnih zapadnih katedrala nije bila dizajnirana za šačicu elite, već za sve vjernike bez izuzetka; Možda Zumthor nastavlja ovu liniju u Kolumbovom muzeju, obraćajući se svakom od nas kroz dizajn svoje zgrade.
