建物は木造２階建てで、当時日本の植民地だった台湾産の桧を用いた入母屋造り、桟瓦葺きである。基本的に和風建築だが、洋間も設けられ和洋折衷の様式。
玄関は式台付きで、左手には洋館の応接間が設けられている。アールデコ風で、大理石の暖炉やステンドグラスの窓、応接セットなどが洋風インテリアでまとめられている。
主屋は総２階で、特に２階は7.5畳、10畳、10畳の３間続きとなっており、襖を開ければ27畳の大広間となる。大旅館主の自邸ということで、多くの人を集めての会合などにも使われたものと思われる。一番奥の間には、壁全面に床の間が設けられている。柱材は四方柾（角材の四面とも柾目に取った材で、材の中心を取ることで出来るが、破棄する部分が多く自ずと高価になる）。欄間は天井に届いておらず、彫刻がなされていないながらも美しい姿で、伝統を踏襲しながら近代的な要素を取り入れていた、近代期の和風建築の特徴を表している。
両側には縁側風の廊下が付き、勾欄（窓が床面まで達しているため、安全上設けられている手すり）が設けられている。浜脇に建てられていた当時には文字通り、ここから潮の音を聴くことができたものと想像される。
現在は山の手に移築され一部増築されたものの、杉皮張りとして違和感のない外観となっている。現在は「聴潮閣高橋記念館」として一般公開され、合わせて移築された蔵もカフェとして再利用されている。
