1927年、旧ソ連・アゼルバイジャンのバクー出身。4歳の時からピアニストの母にピアノを、またチェリストの父からチェロを学び始め、モスクワ中央音楽学校に入学。

1942年、15歳の時に公開演奏を行ってデビュー。たちまち天才として知られるようになり、第2次大戦後、主にレコードを通じてソ連国外のその評判が届くようになった。そして西側諸国にも演奏旅行を行い、世界最高のチェリストとして君臨したパブロ・カザルスの後継者として認められるようになった。

1955年、モスクワ・ボリショイ劇場のプリマ・ドンナとして活躍していたソプラノ歌手、ガリーナ・ヴィシネフスカヤと結婚。その後、夫人とともにロシア歌曲の演奏にも取り組み、ピアノ伴奏者としても高い評価を得ている。

指揮者としても活躍し、世界各地の主要なオーケストラと競演している他、数多くのオペラ公演や録音も行っている。

1977年からワシントン・ナショナル交響楽団の音楽監督に就任。またイギリスではロンドン交響楽団と定期的に競演し、1988年に「ショスタコーヴィチ、炎の音楽」、1991年には「プロコフィエフ生誕100年記念音楽祭」、1993年に「ブリテン音楽祭」といった数々のシリーズ・コンサートも行い、音楽界の話題となった。

音楽家としてだけでなく、人権と自由の擁護のためにも様々な活動を行っている。1974年、作家ソルジェニーツィン氏を4年間に亘り自宅にかくまった後、夫人ともにソ連を離れ、以来世界各地で人道的な活動を支援するための演奏活動を行っている。1990年、ワシントン・ナショナル交響楽団を率いて16年振りに故国に里帰りし、歴史的な大成功を収めた。また1991年のソ連崩壊の時には、騒然な時期にモスクワのロシア国会議事堂ですごし、以後ロシアの国家的英雄として国民の人気を集めている｡

ドイツ名誉勲章、ロイヤル・フィルハーモニー協会ゴールド・メダル、レーニン賞、人権同盟最優秀賞、大英帝国最高名誉中級勲爵士、高松宮殿下記念世界文化賞などを受賞したほか、ハーヴァード、エール、プリンストン、テル・アヴィヴ、ダブリン、オックスフォード、ケンブリッジ、セント・アンドリュースの各大学より、名誉博士の称号を授与されている。

2007年4月27日逝去。