Muzeum powstało w 1936 roku jako Muzeum Dawnej Warszawy, oddział Muzeum Narodowego. Placówka objęła opieką zbiory varsavianistyczne, a jej siedzibą stały się zakupione przez magistrat w latach 1937 – 1938 trzy kamienice przy Rynku Starego Miasta: Baryczkowska, Kleinpoldowska i „Pod Murzynkiem” (nr 32, 34, 36).

Idea zabezpieczania świadectw przeszłości Warszawy narodziła się w końcu XVIII w., za czasów króla Stanisława Augusta. W XIX w. zajmowały się tym: Towarzystwo Przyjaciół Nauk, Uniwersytet Warszawski, Ratusz, Towarzystwo Zachęty Sztuk Pięknych, Państwowe Muzeum Sztuk Pięknych oraz Muzeum Starożytności. Od 1906 r. ośrodkami skupiającymi varsaviana były: Towarzystwo Miłośników Historii oraz Towarzystwo Opieki nad Zabytkami Przeszłości. W 1914 r. TOnZP założyło w kamienicy Baryczkowskiej „muzeum starożytności polskich”. Z czasem większość varsavianów, zgromadzonych dotąd przez różne instytucje, trafiła do zbiorów Muzeum Narodowego.

Wybuch II wojny światowej w 1939 r. przerwał przenoszenie zbiorów z gmachu Muzeum Narodowego przy Alejach Jerozolimskich do zakupionych w latach 1937-1938 kamienic staromiejskich. W 1941 r. został aresztowany kustosz Muzeum Dawnej Warszawy dr Antoni Wieczorkiewicz, który zmarł wkrótce w Oświęcimiu. Zbiory ulokowane przy Rynku Starego Miasta uległy zniszczeniu i rozproszeniu w 1944 roku. Przepadły wówczas inwentarze i katalogi, więc trudno dokładnie określić rozmiar strat.

Po wojnie decyzją Zarządu Miejskiego muzeum zostało reaktywowane w 1948 roku pod nazwą Muzeum Historyczne m. st. Warszawy. Zajęło jedenaście odbudowywanych wówczas staromiejskich kamienic mieszczańskich: osiem od strony Rynku Starego Miasta i trzy od strony ulicy Nowomiejskiej. Rekonstrukcję kamienic przeznaczonych na siedzibę muzeum przeprowadzono na podstawie projektów Stanisława Żaryna.

Na skutek zniszczeń wojennych zbiory przedstawiały się skromnie. W 1950 roku w inwentarzu znajdowało się zaledwie 169 pozycji. Trzon kolekcji muzealnej stanowiły obiekty przekazane przez Muzeum Narodowe – na własność lub jako depozyt. Do muzeum trafiały znaleziska z ruin i ocalone rodzinne pamiątki.

W 1955 roku zwiedzającym została udostępniona stała ekspozycja muzealna, prezentująca dzieje stolicy od założenia miasta do czasów współczesnych. Wystawa ta po raz pierwszy w Polsce w tak dużej skali ukazywała historię miasta. W styczniu 1965 r. otwarto kolejną wersję tej ekspozycji p. t. „Siedem wieków Warszawy”. W następnych latach niektóre jej fragmenty były unowocześniane.

Z czasem zbiory muzeum bogaciły się dzięki planowym zakupom, darowiznom i zapisom spadkowym. Do inwentarzy MHW wpisano m. in. cenne kolekcje autorskie Eugeniusza Phulla, dr Ludwika Gocla, Krzysztofa Klingera, rodziny Schiele. Obecnie w księgach inwentarzowych znajduje się ponad 250 tysięcy obiektów.

Pierwszym po wojnie dyrektorem muzeum został Adam Słomczyński, który pełnił tę funkcję w latach: 1948-1950. Po nim, w 1950 roku, stanowisko na krótko objął prof. dr Stanisław Arnold. Od 1951 aż do 2003 r. dyrektorem był prof. dr Janusz Durko – historyk, muzeolog, archiwista, laureat nagrody m. st Warszawy; wyróżniony tytułem Homo Varsoviensis. Od 2004 roku do października 2012 r. dyrektorem Muzeum była Joanna Bojarska-Syrek.

W 1983 r. na mocy zarządzenia prezydenta stolicy został stworzony oddział Muzeum Historycznego m.st. Warszawy – Muzeum Powstania Warszawskiego. Przez 20 lat działalności skromny zespół MPW zebrał kilkanaście tysięcy eksponatów. Zgromadzono zbiór archiwaliów (dokumenty, korespondencję, druki ulotne, dzienniki), zbiór muzealiów i pamiątek historycznych (uzbrojenie, mundury, dzieła sztuki, przedmioty codziennego użytku, pamiątki osobiste), kolekcję prasy powstańczej i okupacyjnej oraz unikatową kolekcję zdjęć fotograficznych z okresu powstania (negatywy i reprodukcje oryginalne). W 2003 r. prezydent stolicy – Lech Kaczyński podjął decyzję o powołaniu Muzeum Powstania Warszawskiego jako nowej instytucji.

Dzisiaj Muzeum Warszawy, oprócz siedziby w 11. staromiejskich kamieniczkach, posiada także swoje oddziały: Muzeum Drukarstwa Warszawskiego, Muzeum Farmacji im. Antoniny Leśniewskiej, Muzeum Woli, Muzeum - Miejsce Pamięci Palmiry, Ośrodek Dokumentacji i Badań KORCZAKIANUM, Muzeum Warszawskie Pragi, Muzeum Ordynariatu Polowego.

Muzeum prowadzi  działalność naukowo-wydawniczą i wystawienniczą, dysponuje własnymi pracowniami konserwatorskimi, proponuje szeroką ofertę edukacyjną. W muzeum działa kino, organizujące seanse filmów o Warszawie oraz sklep z pamiatkami varsavianistycznymi.