岸和田藩主・岡部長職の嗣子。外務省に入り、ロンドン大使書記官等を経て、昭和5(1930)年貴族院議員。10年岡田啓介内閣の陸軍政務次官、18年東条英機内閣の文部大臣として入閣、学徒動員、勤労動員等をまとめる。戦後、戦犯容疑者として拘留、21年公職追放。釈放後は国際文化振興会(後の国際交流基金)会長、東京国立近代美術館長などを務めた。