Primele încercări de păstrare şi conservare a unor piese cu caracter militar datează din timpul domnitorului Alexandru Ioan Cuza, care a emis un ordin conform căruia obiectele scoase din dotarea armatei urmau să fie adăpostite la Arsenalul Armatei.

Următoarea etapă a constituit-o crearea unui muzeu al artileriei în 1893, după care, în anul 1914, s-a înfiinţat o secţiune militară în cadrul Muzeului Naţional de Istorie. În 1919, Ministerul Agriculturii şi Domeniilor ceda Ministerului de Război clădirea din Parcul Carol denumită Palatul Artelor, împreună cu alte două clădiri din apropiere, pentru a adăposti expoziţiile şi patrimoniul viitorului muzeu militar. În perioada următoare s-au intensificat eforturile de a aduna şi îmbogăţi colecţiile şi patrimoniul muzeografic, dezvoltat pe baza donaţiilor şi achiziţiilor şi din capturile de război.
              
La 18 decembrie 1923 a fost emis Înaltul Decret nr. 6064 prin care Regele Ferdinand a legiferat înfiinţarea, ca instituţie distinctă, a Muzeului Militar Naţional.
              
Activitatea muzeului a fost temporar suspendată în urma puternicului incendiu din vara lui 1938. Ulterior, ca urmare a seismului din noiembrie 1940 şi a declanşării celui de-al doilea război mondial, activitatea muzeului s-a întrerupt pentru 20 de ani. Instituţia a fost apoi redeschisă publicului la 9 mai 1957 sub titulatura de Muzeul Militar Central, mai întâi în imobilul din Bulevardul Nicolae Bălcescu nr. 5-7, şi  mai târziu în clădirea fostei Şcoli de infanterie şi cavalerie din strada Izvor nr. 137. În 1985 instituţia s-a mutat în actualul sediu din strada Mircea Vulcănescu nr. 125-127, fostă cazarmă a Regimentului  de infanterie IV Ilfov nr. 21  şi mai târziu sediul Comandamentului trupelor de grăniceri. După evenimentele din decembrie 1989, instituţia a revenit la titulatura de Muzeul Militar Naţional. 
              
În prezent, patrimoniul Muzeului Militar Naţional este alcătuit din peste 300.000 de obiecte tridimensionale şi materiale documentare şi este valorificat în modalităţi diverse, atât în expoziţii permanente şi temporare ale muzeului şi filialelor sale, cât şi prin participarea la proiecte culturale comune cu instituţii de profil militar sau civile, din ţară şi străinătate.