Por proposta do vice-presidente Abílio Trovisqueira, foi atribuído o Largo do Museu Agrícola Colonial ao largo em frente do portão da entrada do Pátio das Vacas, delineado entre a Calçada de Ajuda e a Calçada do Galvão e compreendendo a parte da Travessa do Pátio das Vacas, conforme deliberação por unanimidade da Comissão Executiva da CML de 15 de novembro e o consequente Edital de 13 de dezembro de 1917. Assim, o Largo do Museu Agrícola Colonial existiu durante quase 43 anos, de 13 de dezembro de 1917 a 28 de outubro de 1960.
Hoje este Largo não tem existência física porque é parte da Rua General João de Almeida. Este último topónimo foi atribuído por Edital municipal de 28 de outubro de 1960 e dez anos depois, o Edital municipal de 4 de novembro de 1970, integrou neste arruamento a Travessa do Pátio das Vacas e o Largo do Museu Agrícola Colonial.
Como o nome indica, este topónimo registava a presença no local do Museu Agrícola Colonial, no Palácio conhecido como Palácio dos Condes da Calheta. O palácio data de meados do séc. XVII, provavelmente por iniciativa de D. João Gonçalves da Câmara, 4º conde da Calheta, como residência de veraneio. Em 1726 foi adquirido por D. João V mas no final desse século estava quase ao abandono. Foi depois recuperado para receber visitas de famílias reais (como o pai de D. Fernando II) e veio até a converter-se na casa dos funcionários reais aposentados, como o precetor dos príncipes.
Por Decreto Régio de 25 de janeiro de 1906, no contexto da organização do Ensino Agronómico Colonial no Instituto de Agronomia e de Veterinária, foi criado o Jardim Colonial e o Museu Agrícola Colonial. O primeiro teve execução prática a partir de 1914 e dois anos depois, isto é, em 1916, foi a vez do Museu, no ano anterior à deliberação municipal de atribuição do topónimo. O Decreto Régio fundador, para além da instalação do ensino agrícola tropical incluir um jardim-laboratório e um museu, especificava que o Diretor do Jardim seria o docente da disciplina de Geografia económica e culturas coloniais do IAV.
O espaço do Palácio e dos seus jardins e estufa serviram em 1940 como Pavilhão da Caça e do Turismo da Exposição do Mundo Português, com os seus tanques a exporem crocodilos e a mostrar várias geografias coloniais portuguesas pelos jardins, para além da Casa da Direção exibir jaulas com leões.
A partir de 1944 o Jardim Colonial fundiu-se com o Museu Agrícola Colonial, para formar o Jardim e Museu Agrícola Colonial, fora da dependência do Instituto Superior de Agronomia. Em 1951 passou a denominar-se Jardim e Museu Agrícola do Ultramar e em 1974, ficou parte integrante da Junta de Investigações do Ultramar, depois Instituto de Investigação Científica Tropical (IICT). Em 1983 tomou a designação de Jardim-Museu Agrícola Tropical (JMAT), uma das unidades funcionais do Instituto de Investigação Científica Tropical, com o seu Centro de Documentação e Informação.
Em 2007, o Jardim foi classificado como Monumento Nacional, juntamente com o Palácio Presidencial ou Palácio Nacional de Belém e todo o conjunto intramuros. O Jardim Botânico Tropical, um museu da flora da Expansão Portuguesa, foi integrado na Universidade de Lisboa em 2015 e é hoje dirigido pelo Professor José Sousa Dias, que já foi o representante dessa Universidade na Comissão Municipal de Toponímia de Lisboa.