秋帆の父、町年寄高島四郎兵衛茂紀（たかしましろうべえしげのり）が文化3年(1806)現在地に別邸を建て、雨声楼（うせいろう）・齢松軒（れいしょうけん）等と呼ばれました。
秋帆は父の没後町年寄を継ぎ、また長崎表御取締（ながさきおもておとりしまり）も命じられていました。ところが、天保9年(1838）の大火で大村町（現在の万才町）の高島邸が類焼したので、以後この別邸が使われていました。
秋帆は荻野（おぎの）流砲術を父に学び、オランダから銃砲を購入し、併せて西洋砲術を研究し、わが国兵制改革の急務を幕府に上申しました。天保12年（1841）5月武州徳丸原（現在の東京都板橋区高島平））で洋式の訓練を実施し、幕府から褒賞を受けましたが、天保13年無実の罪で捕えられ、12年後に釈放されました。国防に尽したものの慶応2年(1866)68才で没。雨声楼は原爆で大破し、破却されました。

住所：長崎県長崎市東小島町5-38
電話：095-829-1193 （（長崎市文化財課）　）