В 1822 году участок был передан в дар придворным ювелирам Францу и Иоганну Сеген. Позднее он стал собственностью архитектора Поля Жако.
В 1831 году Поль Жако возвёл жилой дом под номером 5 на современной площади Искусств, следуя фасадным решениям, созданным К.И. Росси, и гармонирующим с архитектурным центром ансамбля — Михайловским дворцом.
В 1863 году был возведён дополнительный этаж, в котором разместился фотографический павильон.
Во внутреннем дворе расположена трёхъярусная галерея, образованная массивными дорическими колоннами, установленные ярусами друг над другом.
Позже дом принадлежал Павлу Яковлевичу Дашкову — известному собирателю рукописей, гравюр, портретов и книжных редкостей.
Во втором дворе дома, в подвале, располагалось известное литературно-артистическое кабаре под названием "Бродячая собака". Оно открылось в 1912 году по инициативе Бориса Пронина — выпускника режиссёрского курса студии Московского Художественного театра и помощника Мейерхольда.
Чтобы попасть внутрь, посетители стучали молотком по доске у входа, после чего спускались вниз, где их встречал красный фонарь. В прихожей находилась большая "Свиная собачья книга", которую в день открытия принёс Алексей Толстой. Гости оставляли в ней свои подписи, а некоторые — экспромты.
Ставшее ныне культурным памятником Санкт-Петербурга, это легендарное кафе с первых дней своего существования привлекало внимание петербургской интеллигенции. Здесь часто бывали выдающиеся деятели культуры и искусства, чьи имена сегодня можно встретить в школьных учебниках: Анна Ахматова и Николай Гумилёв, Осип Мандельштам и Игорь Северянин, Владимир Маяковский и, конечно же, Александр Блок. Последний не только читал здесь свои стихи, но и покорял сердца многих поклонниц.