1935年、中国のシャンヤン（旧奉天）生まれ。幼いころからピアノを学び、成城学園中学校を経て、桐朋学園で齋藤秀雄に指揮を学んだ。
1959年秋、ブザンソン指揮者コンクールで第1位を獲得。当時ボストン響の音楽監督であり、このコンクールの審査員であったシャルル・ミュンシュに翌夏タングルウッドに招かれ、クーセヴィツキー賞を獲得。

カラヤン、バーンスタインに師事した後、シカゴ響のラヴィニア・フェスティバル音楽監督、トロント響、サンフランシスコ響の音楽監督を歴任し、1973年にボストン交響楽団の第13代音楽監督に就任（タングルウッド音楽祭芸術監督は1970年より）、アメリカのオーケストラ史上でも異例の29年という長期にわたってその任を務め、国際的に世界最高のオーケストラのひとつに築き上げた。
2002年秋からは、ウィーン国立歌劇場の音楽監督に就任、現在もその任にある。

1978年、中国政府の公式招待により北京中央楽団と1週間にわたって活動して以来、中国へはしばしば訪れ、意義深い音楽・文化交流を果たしている。
ヨーロッパでの評価と人気は絶大なものがあり、ベルリン・フィル、ウィーン・フィルなどを定期的に指揮、オペラの方面でも、パリ・オペラ座、ミラノ・スカラ座、フィレンツェ歌劇場などに出演。1983年12月には、メシアンの唯一のオペラ「アッシジの聖フランチェスコ」をパリ・オペラ座で初演し、センセーショナルな話題をさらった。

日本においては、創立時より密接な関係にあり、桂冠名誉指揮者の地位にある新日本フィルと定期的に活動すると共に、水戸室内管音楽顧問として、同団も指揮している。また、1992年には、芸術的念願であった国際的音楽祭“サイトウ・キネン・フェスティバル松本”を1987年より正式に活動を開始したサイトウ・キネン・オーケストラを母体に作り上げ、それ以来毎年大きな注目を集めている。更に2000年より、若い音楽家の教育を目的に、小澤征爾音楽塾オペラ・プロジェクトを開始。若い音楽家の教育に力を注いでいる。

主な受賞歴として、2007年ウィーン国立歌劇場名誉会員への選出、2008年フランス政府よりレジオン・ドヌール勲章オフィシエの授与、フランス芸術アカデミー外国人会員（正会員）への選出、日本での文化勲章受章などがある。