조선초에 홍천에 살던 이(李)씨가 이곳에 들어왔는데 이씨의 소개로 최(崔),유(柳)씨가 다시 들어와 움막을 짓고 정착하였다.

이 세사람은 큰 정자나무밑에 있는 널다란 바위(번바위)에 앉아 시간을 보내던 풍수지리에 밝은 이씨가 주위의 산천을 관찰한끝에 이곳에 마을을 형성하자고 제의하였다.

세사람이 이 바위에 앉아 상의한 끝에 이루워진 마을 이름이니 만큼이 바위와의 인연을 감안하여 "번 바위"라고 부르기로 결정하였다.

그때부터 이 마을은 "번바위"라 부리워졌는데 최근에 와서 번암(磻岩)이라 바꿔부르게 된 것이다.