神社は祖先を氏神として祀ったことに始まります。

　西郷氏は三河国の氏族で三河西郷氏と称され、桓武平氏鎌倉氏流西郷氏及び清和源氏碓井氏流西郷氏の二系統に大別され、その本貫は三河国八名郡西郷村であるとされている。
　美濃長屋氏の子が養子となり西郷氏の祖となったということであるが、美濃長屋氏の子は何処の誰の養子になったのかが不明であり、養子になったものが氏の祖になることはあり得ない。

　実は、美濃長屋氏は桓武平氏良文流鎌倉氏の支族で相模国三浦郡長屋郷（後に芦戸村に編入）に居住して長屋氏を称し、その孫が美濃国不破郡垂井郷に移住したことに始まる。
　美濃長屋氏の祖の子（庶子忠昌）は某国某郡の某氏の養子なったが男児を儲けることができず、 清和源氏義光流信濃平賀氏の支族大内氏の子（庶子信胤）を婿養子とした。
　処が、娘と信胤の間に子供ができると養父母の忠昌夫妻にも子供ができて男児が生まれた。
　これにより、養父忠昌及び養子信胤の二系統が続くことになった始まりである。

　忠昌の曾孫守隆（盛隆）は美濃国方県郡（後の本巣郡）西郷村に居住する西郷頼音の娘を娶り、その子が西三河の西郷氏の祖となった西郷弾正左衛門稠頼である。
　母方の祖父頼音は土岐氏五代美濃守護の頼忠の四男で、美濃国方県郡西郷村に所領を与えられて居住し西郷氏の名乗ったもので、尾張国や三河国に居住したことはない。

　頼音や稠頼が三河守護代になったとするものがあるがいずれも守護代になったことはなく、三河守護仁木義長の時の守護代は稠頼の祖父の代の頃となるので西郷弾正左衛門守隆であろう。
　植村持益は頼音の甥であり、持益の子氏義及び西郷弾正左衛門稠頼は又従兄弟ということになる。