父は佐賀藩士。長崎師範・慶応義塾卒業後、県議会議員となる。明治25(1892)年に福沢諭吉の紹介で三井銀行に入り、中上川彦次郎を助けて三井財閥の改革にあたる。芝浦製作所所長に就任、さらに王子製紙会社の乗取りを行う。三井を去った後、東京市街電鉄・日本火災・帝国劇場の創立に参加。42年渋沢栄一に乞われて日糖疑獄後の大日本製糖の社長に就任して再建するなど活躍し、藤山コンツェルンを築き上げた。大正12(1923)年貴族院勅選議員。6年から14年には東京商業会議所会頭を務めた。