王渔洋祠堂座落在王渔洋故居西南隅，即西城别墅西南部院落，是新城王氏家族为纪念清初文坛领袖“一代诗宗”、刑部尚书王士禛（别号渔洋山人）而建的祠堂，俗称“渔洋祠”。

清康熙四十三年（1704年）王士禛任刑部尚书时，已是71岁高龄了，此一时期皇权内部斗争十分激烈。康熙帝得王士禛与废太子理密亲王酬唱，非常生气，以王伍一案失出为由，降王士禛三级调用，九月，左都御史舒辂又因王五一案启奏康熙帝，司官委咎于堂官，满堂官又委咎于汉堂官，王士禛被革职归田。

王士禛回归新城故里后，专心著述，并致力于诗文集的整理，不以一字通朝遗，康熙四十九年庚寅（1710年），王士禛已病重卧床，康熙帝又念起他的人品与才学，降旨复王士禛刑部尚书职，王士禛因病谢辞，康熙五十年辛卯（1711年）五月十一日，王士禛病逝于家中，终年78岁。尔后，王氏族人在他居住过的西城别墅，为他修建纪念祠堂，即为渔洋祠。据《重修新城县志》载：

渔洋祠主体建筑为正堂五楹，重梁挂柱，花棂隔扇。堂前有3级台阶，堂内正中，镌刻王士禛画像，慈祥端庄，栩栩如生。从正堂至大门，南北约30米，有仪门三间。大门门楣上镌有“经筵讲官刑部尚书王士禛第”十二个大字。两侧有雁翅形八字墙。大门正前面有宽大迎壁，飞檐起脊，还有一对高约1.8米的透雕石狮，分矗立在大门两侧，颇有气势。

渔洋祠东侧，有3间正房，规模小于王渔洋祠堂，建造古朴，俗称牡丹祠。乡人有多种传说，一种说法，王士禛自北京罢归时，带回一名小妾，名牡丹。牡丹死后，为她建立了牡丹祠，再一种说法是为王士禛夫人张宜人所建。张宜人是王士禛的正室，诰赠夫人。王士禛的四个儿子，都是由她所生，王士禛为官在外，家业操持，子女的抚养全依仗于她。47岁时，先于王士禛病故，可以说张宜人对王士禛及其家族的贡献很大，地位颇高，张宜人病故时，王士禛写了27首悼亡诗，字里行间表达了对张宜人的真挚王士禛死后，其子女在为父亲立祠的同时，也一定想为母亲建立专祠以示纪念，这也未必不是王士禛生前的遗愿。但碍于封建礼教不宜为妇人立祠的传统，不便对外宣扬。因此至今，包括其王氏后人，也不知该祠是怎么回事，只记得里面曾有三个牌位（王士禛除张宜人外，还有两侧室张氏和孙氏），因此说，该祠为张宜人所建较合情理。但至今尚无定论。

1940年，渔洋祠原抱厦式木结构正堂被拆除，改为砖石结构的锁皮厅式建筑，牡丹祠仍保持原貌。1985年县人民政府又拨款对其正堂进行了翻新维修保护，1992年渔洋祠被列为山东省重点文物保护单位。此外尚有古槐两株，石狮两尊。

附渔洋祠内联名：

德重东山，朝野一时尊谢傅。

名高北斗，天下文章说渔洋。

横额：天朝宗宪

 

事业熙朝真亚相，

文章天下大宗师。

横额：皇恩宠锡

 

骏烈鸿文，云汉奎光争炳蔚。

清风逸响，泰山渤海并高深。

横额：海内文风。