Здание Гауптвахты — памятник архитектуры первой половины XIX века. Проектирование и строительство шло под руководством губернского архитектора Петра Ивановича Фурсова в период с 1824 по 1826 год. Большую часть почти двухвековой истории здание гауптвахты использовалось по прямому предназначению – в нём размещался городской караул, охранявший важные объекты городской инфраструктуры, и содержались под стражей нарушители воинской дисциплины.
Сейчас в здании бывшей Гауптвахты размещается Военно-исторический музей, который входит в комплекс Костромского музея-заповедника. Экспозиция знакомит с военной историей края от начала XII столетия до наших дней. Отдельный зал занимает коллекция оружия, в которой представлены образцы вооружения и средств защиты из разных стран и эпох.