さながら近代和風建築の粋を見るようだった。選び抜かれた資材、大工左官仕事の見事さは傑出し、東日本随一とされる。建てたのは遠山元一、日興證券の創業者にして、戦後、証券業界の近代化をリードした大立者である。
長屋門をくぐり抜けると現れる遠山邸。邸宅主屋の前に広がる約900坪の庭園には、白梅が多く植えられている。かつての生家が「梅屋敷」と呼ばれていたことや、遠山自身が〝赤字〟を嫌ったからだという（TOYAMA MEMORIAL MUSEUM） 写真を拡大
埼玉県川島町の豪農に生まれた遠山は、父親の放蕩により生家が没落し、16歳で株屋に丁稚奉公する。目にしたのは相場師たちの激しい浮き沈み、加えて健康状態が万全ではなかったこともあって、堅実な商売に徹する道を進む。30を前にして独立する。
その後も競争激しい世界を生き抜き、第一次大戦による好景気で商機をつかむと、終戦による急激な景気の後退、さらに昭和金融恐慌の大荒波も乗り切ってゆく。堅実なだけではない哲学があったに違いない。
やがて満州事変が起こり、軍需景気に乗って事業を拡大させていった遠山は、この頃、人手に渡っていた生家の土地を買い戻そうと思いつく。墓参の折に使う小さな家でも建てようか、そんな思いだった。
だが、それを聞いた母の美以がこう言いだした。
「東京には知り合いもいない。その家には私が住みたい」
美以は遠山が幼い頃に離縁されており、その後の苦労を知る遠山は、人一倍の母思いだった。母の喜ぶ家を建てたい、遠山の生家再建への熱が高じる。加えて社の迎賓館としても考慮され、遠山はこう口にする。
「日本建築の記念碑になるような家を建てて欲しい」
これによく応えたのが趣味人の弟、芳雄だった。芳雄は全国から銘木を買い集め、高い技術をもった職人を呼び集めるなど、兄の思いを形にしてゆく。当初、60坪ほどだった構想が、最終的には総建坪400坪の大豪邸が完成する。総工費は今の額にして30億とも120億円とも言われるのは、現在では再現が不可能だからだろう。1936（昭和11）年のことだった。
