Godine 1941. tokom pravljenja skloništa za zaštitu od zračnih napada u Kölnu je pronađena rimska vila iz 3. vijeka. Na podu glavne sobe nalazio se veličanstveni mozaik posvećen bogu Dionisu, a koji datira između 220. i 230. godine. Umjesto da pokušaju premjestiti veličanstveni mozaik, arhitekti Klaus Renner i Heinz Röcke odlučili su napraviti muzej oko njega.
Rimsko- germanski muzej otvoren je 1974. godine i zapravo je arheološka lokacija, a čuva primjere umjetnosti, kulture i svakodnevnog života u rimskom i ranosrednjovjekovnom Kölnu. Nalazi se južno od kelnske katedrale i jedan je od najvažnijih arheoloških muzeja u Evropi. Nalazi o rimskoj svakodnevici vode posjetitelja u srce rimske kolonije Claudia Ara Agrippinensium (CCAA). U njemu možete vidjeti svakodnevne predmete poput posuda, kovanica i igračaka, dragocjenu rimsku kolekciju stakla i druge nalaze iz ranih naselja u Rajni.
Najposebniji dio zbirke upravo je mozaik. Najfinije djelo te vrste u sjevernoj Evropi, mozaik je krasio blagovaonicu rimske vile. Izrađen sa više od milion komada vapnenca, keramike i stakla i prostire se na oko 70 četvornih metara. Prikazuje pijanog Dionisa, boga vina, okruženog Kupidom, Panom, plesačima i satirima.
Osim mozaika tu je i rekonstruirana grobnica legionara Poblicius oko 40. godine.
Stakleno pročelje prizemlja omogućuje svima, pa i onima koji ne uđu u muzej da besplatno vide ova dva svjetski poznata spomenika.
U muzeju se nalazi i velika zbirka Rimskog stakla, kao i rimski i srednjovjekovni nakit, a između ostalog možete vidjeti najveću svjetsku zbirku rimskog stakla.
Današnja kolekcija predmeta predstavlja jednu od najbogatijih ranoevropskih zbirki.