清光绪七年(1881年)12月24日，时年44岁的张之洞出任山西巡抚。也就是在这一年，汾河决堤，原在城西县前街(即今府西街西段)一带的太原府城之文庙，毁于大水。

府城缙绅学士，集聚府衙请求太原知府出面重建。太原知府把府城众文士的联名书上呈山西巡抚张之洞，请巡抚大人定夺。当时张之洞就任抚台不久，为稳定太原文人之心，便决心重建一座规模更大的文庙。他倡导集资，并亲自选址，没有动用公款，于同治年间焚毁的崇善寺废墟之地，很快建起一座规模宏伟的新文庙。新建的文庙，占地13000多平方米，由亭、殿、门、庑、祠组成三进院落，利用前崇善寺未毁的零星建筑，较之原庙更为庄重、婉雅、俊逸。

公元1919年(民国8年)，太原文庙被辟为省图书博物馆。1927年又易名为“山西省民众教育馆”。在这一期间，供奉孔子的大成殿，改作“古代礼物乐器陈列室”，威严肃穆的大成门，改成“礼堂讲演厅”。其它殿宇或为阅览室，或为书库，或为其他活动室和陈列室。

公元1937年，日军进攻太原。太原沦陷之后，伪太原市政府又把文庙更名为“山西省新民教育馆”。