主祭神は、応神天皇・仲哀天皇・仁徳天皇で、富田郷（西富田）が十六世紀半ば（天文のころ）守護細川氏の所領となったとき氏神として勧請されたもので、現在の瑞巌寺のある富田隠谷に祭られていた。　伊予国河野某が、一族の乱を避けて神霊を守護し冨田隠谷に鎮座させたのが起源である。　なお、河野氏はもとの冨田庄の地頭であった。　慶長七年（１６０２）瑞巌寺を置くことにより元禄十年（１６７９）六月現社地に遷座した。　当時社領として今の不動町に二十石余りが与えられている。　明治六年郷社に列するが、戦後宗教法人となり社格はなくなった。

　八幡神社には大きな神門が昔のまま建っている　この門は随臣門と呼ばれ徳島市指定文化財である。　三間一戸の切妻作りで本瓦ぶきと言われている。　神社に門が設けられるようになったのは仏教建築の影響とされ、随臣門の中央に通路、その左右にそれぞれ一つの部屋があり左大臣、右大臣の木像が置かれている。　この木像は現在の小松島市中田にあった豊国廟が廃されたときに藩主から賜ったとされているが、事実であれば四百年の歴史を有することとなる。　門そのものは江戸中期の建物と言われている。

　先の社殿が昭和四十二年十一月不審火で焼失し、現在の本殿以下社殿は昭和六十二年四月に復興し、玉垣と中央階段と社務所（旧勤番所跡地）は、復興時に新たに築いたものである。

　境内には「八幡水」が湧き、水道水の普及前は市民の水辺として愛用されていた。　明治末期、八幡水は、錦龍水や鳳翔水と並んで水桶二個で当時の値段で三銭であった。　また、境内では一月十五日に、「おしめはやし（どんど焼き）・湯立て神楽神事」が地域の文化伝承の一つとして毎年行われている。
　境内には、本県で記録の上では一番古いといわれている灯籠も設置されており歴史ある建造物である。