後冷泉天皇の時代、前九年の役で 源頼義は朝廷より奥州の安倍頼良の 乱の鎮圧を命ぜられ、頼義に仕える 鎌倉景通の三男景正は奥州へ向かう 途中当寺に立ち寄った。その際住職 がこの土地を案内し丁重にもてなし たところ、喜んだ景正は山田村の地 に縄を張り「ここに社を建て『御霊 の社』と名付けよ。吾れ死した後に 神となり守護せん。また当寺の山号 を『御霊山』とせよ。」と告げたと 記されている。