紀州徳川家当主侯爵徳川頼倫の長男。学習院高等科を経て、英国ケンブリッジ大学に学ぶ。昭和14(1939)年貴族院議員。昭和22年第1回参議院議員選挙に当選。外務委員長、図書館運営委員会委員、国連国会議員連盟会長、ユネスコ国会議員連盟会長、自由党政調会外交部長ほか歴任。また、音楽愛好家として文献、古楽器の収集や南葵楽堂を建設しパイプ・オルガンを備えつける等、音楽奨励に尽力した。晩年にはパリ高等音楽院名誉評議員を務めた。
