父は、忍藩士小山宇三郎。藩校進修館等で学び、長野県師範学校等で教員を務めた後、明治14(1881)年文部省に奉職。28年高等商業学校長、31年1月兼実業教育局長を経て、同年5月に文部次官となるが、わずか2カ月で大隈憲政党内閣の成立に伴い退官。32年三十四銀行の頭取に就任、34年大阪銀行集会所委員長を務めるなど、大阪財界の有力者となった。大正4(1915)年南満洲鉄道監事、9年貴族院議員。
