С 1844 года владельцами этого дома были братья Михаил и Матвей Виельгорские. Михаил Юрьевич, занимавший высокий пост при дворе, был женат на Луизе Карловне, урожденной княжне Бирон-Курляндской. Несмотря на любовь к музыке, Михаил не мог заниматься ею профессионально из-за положения в обществе. Вместо этого он стал важной фигурой культурной жизни столицы — организовывал музыкальные вечера, принимал у себя выдающихся европейских исполнителей, и даже получал на эти цели государственное финансирование. Виельгорский сыграл ключевую роль в создании Концертного и Филармонического обществ, а также духовых оркестров, активно продвигая симфоническую музыку среди широкой публики.
Ранее, со стороны площади Искусств в центре фасада располагался проезд во двор, по обе стороны от которого находились парадные входы. Сегодня этот проезд утратил своё первоначальное назначение — въезд теперь осуществляется с Итальянской улицы. В середине XIX века застройка участка была расширена за счёт возведения новых дворовых флигелей, что придало архитектурному ансамблю дополнительную сложность и выразительность.