Сразу при въезде в город Кологрив стоит красивое двухэтажное здание из красного кирпича, в нем располагается краеведческий музей. Если же вы спросите у местных жителей, что в этом доме было раньше, то услышите: «Какой-то лесопромышленник построил железнодорожный вокзал…». Однако, не трудитесь и не ищите железнодорожных путей. Их здесь никогда не было. Это легенда. Крупный заболоченный земельный участок, расположенный на окраине исторической части города, принадлежал богатому купцу Гавриилу Владимировичу Макарову. В 1899 году здесь был построен двухэтажный дом, автором которого, по данным местных краеведов, выступил известный московский архитектор И.И. Рерберг.
В начале 1900-х годов, при обсуждении вопроса о трассе Северной железной дороги, Макаров был одним из самых рьяных сторонников проведения ее через Кологрив и обещал в этом случае отдать свой дом под железнодорожный вокзал. Однако из-за козней и интриг лесопромышленников, железную дорогу, проложили в ста километрах южнее - через Буй и Мантурово.
Эта история породила широко распространенную легенду о том, что здание строилось специально для вокзала, к которому не подвели дорогу. Дом, который построил Макаров, оказался большим и пустовал, пока не разместили в нем музей. В 1914 году Геннадий Александрович Ладыженский – художник, академик – выйдя в отставку и вернувшись в родной город, основал в Кологриве частный музей. В 1918 году, после установления Советской Власти в Кологриве этот частный музей был реорганизован в государственный художественно-исторический.
Его основу, как и прежде, составляли частное собрание картин, предметов старины, коллекция оружия, тканей, ковров, собрания предметов этнографии, фарфора, бронзы, раритетов, уроженца города Кологрива, преподавателя Одесского реального училища, художника-академика Геннадия Александровича Ладыженского. 26 октября 1919 года по рекомендации Федора Степановича Чумбарова-Лучинского на основе коллекции местного краеведа В.П. Чистякова был открыт второй музей, краеведческий. В нем рассказывалось о быте сельского труженика, о связи города с деревней. В 1925 году оба музея, краеведческий и художественно-исторический, были объединены и переведены в основательно отремонтированный дом Макарова.
В 1930 годы внимание музея было направлено на изучение истории, экономики и природы своего родного края. В этот период отмечался интерес к изучению кустарных ремесел и народного прикладного искусства, собирался материал, отражающий жизнь и историю родного края. В годы Великой Отечественной войны в восстановлении музея, разборке экспонатов, научном описании их, построении экспозиции и распределения ее по отделам и залам большую работу провели эвакуированные из города Ленинграда. Это: Ольга Филипповна Таубе, бывший научный сотрудник Русского Государственного музея и Эрмитажа и ее дочь – Марьяна Евгеньевна Глинка, экскурсовод Гатчинского музея. Они работали в Кологривском музее с 1 ноября 1943 по 1 сентября 1944 года. Немало полезных советов дал зять Таубе – директор института литературы Академии Наук Владислав Михайлович Глинка. По его рекомендациям были развернуты и построены галереи русских художников и иностранной живописи.
В послевоенные годы роль сбора материала для музея принадлежала общественности. Были подобраны материалы, отражающие состояние и развития сельского хозяйства, экспонаты, характеризующие рост местной промышленности, материалы по народному образованию, здравоохранению, портреты, фотографии, письма героев-земляков, награжденных орденами и медалями.
С января 1978 года он стал филиалом музея-заповедника «Ипатьевский монастырь». В 2003 году в ответ на ходатайство коллектива музея Костромская областная Дума постановила присвоить Кологривскому краеведческому музею имя выдающегося земляка художника Геннадия Александровича Ладыженского». С 2005 г. музей является филиалом Костромского государственного историко-архитектурного и художественного музея-заповедника.