1927年、旧ソヴィエト（現アゼルバイジャン共和国）のバクーにチェリストの父とピアニストの母の両親の下に生まれる。7歳からチェロを始め、モスクワ音楽院でチェロをコゾルーポフに、作曲をショスタコーヴィチに師事。卒業後母校で教鞭をとり1956年には教授に任命された。同年に欧米での演奏旅行で大成功を収めて一躍世界的な存在となる。あらゆるレパートリーを掌中に収め、傑出したテクニックで特に20世紀の優れた作曲家たちに多くの刺激を与え、ハチャトゥリャン、ブリテン、デュティユー、バーンスタインらの巨匠たちから170にも及ぶ作品を捧げられている。
指揮者としては1961年にデビュー。1977年以後、17シーズンにわたってワシントン・ナショナル交響楽団の音楽監督を務めたほか、世界各地の有名オーケストラで活躍。
熱心な人権擁護活動家でもあり、1970年には作家ソルジェニーツィンを擁護してソヴィエト政府と対立、1974年に国外に出てアメリカに住む。この年国際人権同盟賞を受賞。1978年にソヴィエト市民権を剥奪されるが1990年に回復、同年ナショナル交響楽団を率いて16年振りに祖国でコンサートを開催、歴史的な成功を収める。1991年のモスクワ・クーデター未遂事件では、エリツィン大統領（当時）とともに軍に包囲されたロシア共和国庁舎に立てこもりロシア議会派を支援した。この行動に対してロシア国民栄誉賞が贈られた。
親日家で知られ、日本文化の代表である相撲を愛し、築地でのセリ見学は来日の度に欠かさず訪れた。日本皇室への敬意も篤く、美智子皇后陛下の古希祝賀のために訪日している。
小澤征爾との出会いは1965年のトロント交響楽団との共演。その後の親交も厚く、1995年に〈フレンド・オブ・セイジ〉として新日本フィルの指揮者陣に加わる。1998年には「ショスタコーヴィチ・フェスティバル」を東京で実現させたほか、新日本フィル＆小澤征爾とともにロシア公演を行い日ロ両国の架け橋となった。2006年12月、新日本フィル定期演奏会でショスタコーヴィチのヴァイオリン協奏曲第1番と交響曲第10番を指揮、この演奏会が生涯最後のコンサートとなる。
2007年クレムリンで80歳の祝賀パーティが開催されたがその1カ月後4月27日にモスクワで逝去。現在は市内のノポデヴィチ修道院に埋葬されている。
40以上の名誉学位、30以上の国からの130を超える賞や勲章を授与されており、そのなかには大英帝国中級勲爵士、フランスのレジオン・ドヌール勲章、スターリン賞、レーニン賞、アメリカ大統領自由勲章等の他、日本では高松殿下記念世界文化賞、旭日重光章などがある。
ロストロポーヴィチは、全世界で「スラヴァ」の愛称で親しまれ、20世紀後半以後を代表する偉大なチェリストであり、指揮者である。
