父は高遠藩士。伊沢修二の弟。明治28(1895)年帝国大学法科大学を卒業し、内務省に入省。和歌山、愛媛、新潟の県知事をつとめたのち、大正3(1914)年警視総監。5年貴族院議員に勅選。憲政会系の会派同成会を結成し、貴族院における反政友系の中心的人物の一人となった。13年台湾総督。15年東京市長に就任するも3ヵ月で辞職。昭和2(1927)年民政党の結成に尽力したが自身は入党せず。15年枢密顧問官。22年に公職追放。