遠ヶ森は、砥部や久谷から見ると山頂部が尖って見えることから、古い資料では“尖山”と記されています。
いまでも遠ヶ森より、尖り山と呼ぶ方が馴染み深いかもしれません。
“尖森”という記述や、“塔”の字を用いて“塔ヶ森”と記されている資料もあります。
「とんがりやま」が「とんがりもり」とも呼ばれ、それが「とうがもり」に。
「尖」が「塔」になり、「遠」に変化したと考えられます。
※現代は漢字の違いにもこだわりがちですが、明治以前は人名も地名も「音」＝読みが重要で、漢字は当て字だらけでした。
お経も、サンスクリット語経典を中国語＝漢字に当て字したものですし、ね。

国道33号線を三坂峠に向かう途中にあり、黒森山から北に向かって延びる、砥部と久谷を分かつ山並みです。
三坂道路の第2三坂トンネルが西麓を南北に貫いています（つづら川～大平間）。

山林は植林された針葉樹人工林が主です。
山頂の北東にある「久谷ふれあい林」はえひめ森林浴八十八ヶ所の46番です。
昭和41年に開催された全国植樹祭の跡地です。
昭和天皇、皇后両陛下がお手植えされた木木が今もすくすくと育っています。

標高600m付近までは林道や作業道がありますが、そこから山頂に向かう明瞭な登山道はありません。
尾根を伝い、アクセスします。
麓の町から尖って見える山頂部の天辺は狭く、祠が祀ってあります。
三角点は少し離れた別のピークにあります。