館主の芋川氏がどのような出なのかは分からないが、一説には楠木氏の末裔というが、信ぴょう性はどうであろうか？
中世にはここ三水地区の領主でもあるが、さらに北信濃の有力土豪、中野の高梨氏の家臣であった。
応永11年（1404）、高梨氏が室町幕府に叛いた時、細川兵庫助が討伐に向かい、芋川氏の若宮城が攻略され、当主の長知は自害し、一時芋川氏は断絶したという（『芋川氏累世譜録』『市河文書』）。
しかし、断絶したのではなく、その血脈は伝えられており、主家の高梨氏の復権に合わせて元の地位に復帰したようである。

そして川中島合戦の頃、再度、歴史の表舞台に登場してくる。
北信濃も武田氏の侵攻を受け、永禄初期、芋川正章の代には芋川氏も武田氏に従属するようになっていたようである。
永禄12年（1569）に武田信玄は芋川正章の子、芋川右衛門尉親正に「雪消えなば、越府に至り行に及ぶべく候。なおその堺無事に候や承はりたく候。」との文書を送っている。
ここが対上杉の境目であったことがわかる。

その後、天正6年（1578）に武田勝頼と上杉景勝が同盟を結ぶと緊張は解け、平和な状態となるが、それも長くは続かない。
天正10年（1582年）2月武田氏が滅亡し、織田家臣、森長可が北信濃に入ると、芋川親正は上杉氏との間で苦しい立場に置かれ、結局、上杉方に付き森長可に対して一揆を起す。
そして領内の一向宗門徒や反織田を掲げる信濃国人を組織し大倉城を再興し、長沼城主の島津忠直らと連携して長可に反抗するが、結果は惨敗。

大倉城では虐殺が行われ、親正は越後の上杉の下に逃亡する。
この時、この館も放棄されたのであろう。
しかし、本能寺の変後の長可の撤退、上杉氏の北信濃占領で親正も故郷に復帰、牧之島城4486石を与えられ、徳川家康の臣下に下った小笠原貞慶に対して活躍する。
おそらくこの館も芋川親正のもとに戻ったのであろう。
天正12年（1584）、貞慶が攻め入り麻績城付近で戦闘になった時に奮戦し小笠原勢を撃破する戦功を挙げる。

そして慶長3年（1598）、上杉氏の会津移封に同行し、白河小峰城6000石の領主となる。

［出典］
http://yaminabe36.tuzigiri.com/kawanakajima1HP/imokawa.htm