В основу музейного собрания легла коллекция художника, академика Императорской академии художеств Геннадия Ладыженского. Выдающееся собрание включает произведения русской и западноевропейской живописи, предметы быта и декоративно-прикладного творчества, оружие и многое другое. С 2003 года музей носит имя этого страстного коллекционера и ценителя прекрасного.
Поистине уникальна судьба самого здания, в котором находится музей. Оно построено в 1899 году по проекту московского архитектора Ивана Рерберга на средства кологривского купца Гавриила Макарова, который обещал отдать его под вокзал при необходимости. Но железную дорогу в Кологрив так и не проложили до сих пор.