Первым владельцем этого участка был кабинет-секретарь Екатерины II А. В. Храповицкий, в честь которого назван находящийся неподалёку Храповицкий мост. В 1790 году участок был приобретён сенатором П. В. Мятлевым, который поручил строительство усадьбы молодому, тогда ещё малоизвестному архитектору Луиджи Руска. Именно с этого дворца Руска начал вносить свой вклад в формирование архитектурного облика не только Петербурга, но и всей России.
В конце XVIII века дворец на короткое время перешёл во владение Павла Зубова — командующего Черноморским флотом, губернатора Новороссии и одного из самых влиятельных людей Российской Империи после императрицы Екатерины II. Он также был её последним фаворитом. Вскоре дворец приобрела Мария Фёдоровна, супруга императора Павла I, но и её владение оказалось недолгим.
Уже в 1798 году дворец перешёл во владение Алексея Григорьевича Бобринского, с чьим именем связано его устоявшееся название. Семейство Бобринских было одним из самых состоятельных в России: многие его представители служили при Императорском дворе и владели обширными землями. Дворец оставался в их собственности более века, за это время он превратился в один из центров культурной жизни Петербурга. Здесь устраивались литературные салоны, балы, а также хранились богатая библиотека и значительная коллекция живописи.
С началом Первой мировой войны Бобринские передали дворец под лазарет, после чего фактически утратили над ним контроль. В 1917 году здание было переоборудовано под казармы, а в 1921 году национализировано. В этот период Бобринские покинули пределы России.
В советское время здание стало музеем. Коллекции живописи и предметы мебели были переданы в Эрмитаж и другие музеи страны. В 1929 году В. П. Семёнов-Тян-Шанский открыл здесь Государственный географический музей, который с началом Великой Отечественной войны вошёл в состав Ленинградского государственного университета (ЛГУ). С тех пор и по сей день дворец принадлежит университету: здесь размещаются его факультеты, а также проводятся открытые экскурсии.