Государственный канцлер и меценат граф Николай Румянцев был страстным коллекционером различных древностей. В своем особняке на Английской набережной он собрал редкие ценные книги, картины, географические карты, монеты, медали и многие другие предметы. Ценности из обширного собрания впоследствии украсили крупнейшие музеи России.
Значительную часть коллекции Николая Петровича составляла большая библиотека, насчитывающая порядка 28 тысяч томов. Среди прочего здесь находились первые издания «Слова о полку Игореве» 1800 года и «Энциклопедия, или Толковый словарь наук, искусств и ремесел» Дени Дидро и Жана Лерона Д’Аламбера.
Он также активно интересовался этнографическими материалами. Спонсировал первое русское кругосветное путешествие Ивана Крузенштерна и Юрия Лисянского на кораблях «Надежда» и «Нева» и второе кругосветное плавание Отто Коцебу на бриге «Рюрик». Из обоих кампаний исследователи привезли важные находки, которые хранились в доме Румянцева.
Общественность смогла взглянуть на все эти сокровища лишь после смерти графа. Незадолго до кончины он составил завещание, повелев обустроить в своем особняке культурное учреждение. 22 марта 1828 года Николай I подписал указ об основании «Румянцевского музеума», двери которого открылись 23 ноября 1831-го. На протяжении 30 лет заведение располагалось в Петербурге, однако со временем дела его шли все хуже. На содержание не хватало средств, что пагубно сказалось на состоянии здания и коллекций. С 1845-м управление музеем было передано Императорской публичной библиотеке. Однако необходимое финансирование отсутствовало, фасад и залы приходили в упадок. В 1861 году, после заключения комиссии специалистов и архитекторов экспозицию перевезли в Москву, в Пашков дом.
Торжественное открытие состоялось в 1861 году. Гости могли приходить четыре дня в неделю, заплатив 10 копеек, а в воскресенье посещение было бесплатным.
В Белокаменной учреждению помогали финансово. В течение сорока лет предприниматель Козьма Терентьевич Солдатенко жертвовал ему по тысяче рублей на закупку книг, а после завещал свою библиотеку, насчитывающую восемь тысяч томов, и коллекцию русской живописи.
Собрание ценностей постоянно росло. Главным дарителем шедевров стал император Александр II. Благодаря ему здесь появилось более двухсот картин из Эрмитажа и самая масштабная работа Александра Иванова – «Явление Христа народу», которую приобрели специально для Румянцевского музея. Сюда же поступили полотна российских живописцев – Айвазовского, Венецианова, Тропинина и других. В помещениях Дома Пашкова располагались отделения рукописей, редких книг, изящных искусств, христианских древностей, этнографии, нумизматики, археологии, минералогии.
После реорганизации 1924 года на базе заведения была сформирована Библиотека имени В. И. Ленина (ныне Российская государственная библиотека), остальные шедевры разошлись по разным музеям и архивам страны.
Внушительная часть экспозиции вернулась в особняк Румянцева на Английской набережной в северной столице. Сегодня в залах роскошного здания находится филиал Музея истории Петербурга, где можно ознакомиться с основными вехами жизни города.