渋沢栄一の10歳上の従兄 尾高惇忠の生家で、栄一は ここで少年時代に論語を学んだ。 栄一の妻となったちよは惇忠の 妹で、彼女の生家でもある。 惇忠は、その後富岡製糸所の 初代工場長も務めた。
広い屋敷内には、米蔵、藍玉蔵 道具蔵など4つの土蔵がある。
武家屋敷のような正門 他に東門もある。
母屋には、屋根に煙出し と呼ばれる天窓があり 典型的な養蚕農家の形を している。(明治28年築)