Павильон был построен в 1940 году архитекторами М.З. Краевским и Ф.Я. Бялостоцкой на окраине тогдашней Всесоюзной сельскохозяйственной выставки (ВСХВ). Открытый как павильон МОПР – Международной организации помощи революционерам, после присоединения к СССР прибалтийских республик, он был передан им, получив в 1941 году название «Литовская ССР, Латвийская ССР и Эстонская ССР». В тот год ВСХВ проработала чуть больше месяца в связи с началом Отечественной войны и закрылась до 1954 года. К открытию в 1954 году прибалтийские республики получили каждая свой павильон, а здесь разместилась «Физическая культура и спорт».