寿福寺の背後の山は源氏山である。別に白旗山、旗立山、武庫山（むこやま）とも呼ばれている。扇ヶ谷の寿福寺の前に石碑が立っており、「源氏山ははじめ武庫山と言い、亀ヶ谷の中央にある景勝の地であったことから亀谷山とも称した。源頼義・義家の父子が奥州征伐の時、この山に旗を立てたことにより、あるいは旗立山とも名づけられた。山の麓の寿福寺の境内付近は以来、源氏代々の邸宅の地となったという。源氏山の名称はこれに起因したのだろう。旗竿を建てた跡は今なお残っている」といった意味の言葉が刻まれている。
源氏山の石碑
南北朝期の万葉集の注釈書である『詞林采葉抄（しりんさいようしょう）』には「武庫山」が見えるが、『鎌倉管領九代記』にはすでに「源氏山」の名がある。『鎌倉管領九代記』によれば、源義家が前九年の役に出陣した折に、この山に白旗を立てたことから、この名があるという。
標高は９２．６メートルで山上付近は市の「源氏山公園」となっている。化粧坂や寿福寺の裏手など複数の登山ルートがある。西方の佐助ヶ谷に佐助稲荷社、その奥に「銭洗弁天」の通称で知られる宇賀福神社、また山上には日野俊基の墓や葛原岡神社がある。
