始建于唐开元十三(725)。长庆四年(824)县令邢审容首葺(原有碑记)。宋代李玠再葺,并刻御制“八行八刑”碑于其中。元代时权三葺之。
明朝嘉靖年间(1522——1566),孔子63代孙孔贞宁迁居汶上,且因曲阜长支64世衍世衍圣公之爵,并加赐居汶各支世袭太 常寺、五经博士和六品官等官爵,故明清二代不断仿曲阜文庙形式予以修葺、扩建,形成以大成殿为主体的庞大建筑群。其占地面积2万余平方米,规模仅次于曲阜文庙建筑群。
今存大成殿系明代建筑,长23.5米,宽13米,高11.6米,悬山式建筑,7楹32柱,单层飞檐,覆绿色琉璃瓦。前侧有黄色琉璃瓦棱形图案,内外皆施斗拱,平拱双昂。斗拱、飞檐皆施彩绘,殿脊、飞檐饰人物、鸟兽。
殿内上悬“万世师表”巨匾,正中塑孔子像,两侧有4配12哲塑像。前有戟门(一名大成门)。5楹单檐彩绘。后有彩绘明伦堂7楹,为县学授课场所,正中悬“明伦堂”匾额,传为宋代大儒朱熹所书。殿之月台两侧并建东西庑各12楹,内设孔子弟子及历代陪飨先贤先儒牌位。
另有文明坊、东西华门、棂星门、瞻贤坊、仰圣坊、名宦乡贤祠、节孝祠、启圣祠、文昌祠、博文斋、药礼斋、教谕训导二宅、敬一亭、架阁史房、射圃学仓等建筑。
院内碑碣林立,古柏参天。前文明坊书“太和元气”,东西华门书“德侔天地,道冠古今”,棂星门前墙外设有石栏、“官员人等至此下马”二石碑。
以上景点现多残存,正逐步恢复建设中。
民国及日伪时期,曾对上述建筑加以小修。1948年解放后,因改建学校、扩街等,大部拆毁,众多碑碣被埋于戟门前之泮池中和东侧院内地下。今唯余大成殿、戟门、明伦堂、名宦乡贤祠、节孝祠和元代《重修圣庙记》碑一通。
1993年对文庙进行整修,七十七代嫡孙女孔德懋提写“戟门”匾额。
1986年3月8日济宁市政府公布为市级重点文物保护单位。
2006年12月7日公布为山东省重点文物保护单位。
2007年5月份汶上孔子仁政园项目启动。汶上县确定将文庙建筑群产权划给县文物旅游局,按“文化名县”建设的有关要求,策划启动孔子仁政园建设,逐步恢复文庙原貌。