В январе 1929 года на смену Московской губернии пришла Московская область, а спустя два года было решено выделить Москву в самостоятельную административно-хозяйственную единицу. Появился Моссовет, председателем которого стал Н.М. Булганин. Первым секретарем МГК ВКП(б) был избран Л.М. Каганович, а его правой рукой стал Н.С. Хрущев. Параллельно приводилась в соответствие и правоохранительная система города. К 1933 году в Москве назрела необходимость образования Московской городской прокуратуры и Московского городского суда.
20 марта 1933 года в системе органов юстиции Московской области была образована новая самостоятельная структура. Эта дата и считается следует днем образования Московской городской прокуратуры. Хотя поначалу Московский городской прокурор и его заместитель назначались по представлению Московского областного прокурора и ему же непосредственно подчинялись.
На первых порах работа городской прокуратуры строилась не по функциональному, а по производственному принципу. Это произошло после издания приказа Прокурора СССР И. А. Акулова «О перестройке аппарата в центре и на местах». В прокуратуре Москвы были выделены административно-бытовой сектор, жилищный сектор, сектор по борьбе с детской преступностью, сектор государственной торговли кооперации и промышленный сектор. Эта система была призвана обеспечить осуществление социалистической законности во всех сферах народного хозяйства и функционировала вплоть до 1936 года.
На момент образования Московской городской прокуратуры в столице насчитывалось 10 районов - и десять районных прокуратур соответственно. По генеральному плану развития и реконструкции столицы к 1936 году образовалось еще 13 районов - Железнодорожный, Киевский, Коминтерновский, Красногвардейский, Куйбышевский, Ленинградский, Молотовский, Октябрьский, Первомайский, Ростокинский, Свердловский, Советский. Одновременно были учреждены и районные прокуратуры.