1961年3月16日，在上海休息的陈赓突然因心脏病发作而不幸去世。噩耗传来，举国震惊。宋庆龄先生哀叹，为什么好人总是不长命。徐向前也觉得太不可思议了。
陈赓怎么去了上海呢？
建国后，陈赓担任的职务比较多，他是副总参谋长，协助总参谋长粟裕工作。1959年，他又被任命为国防部副部长，同时还兼任哈尔滨军事工程学院院长等职。他的工作地点在北京。
可是陈赓的身体很不好，他患有严重的心脏病。还是在1957年的时候，第一次心肌梗塞发作，幸好抢救及时，陈赓奇迹般地战胜了病魔。命保住了，可是他的身体状况很不好。
到1960年的冬天，陈赓的心肌梗塞再一次发作，这一次又闯了一次鬼门关，命又保住了，陈赓知道自己的时间不多了，他只想利用剩余的有限的时间好好为党工作。
北京的冬天很冷，很漫长，陈赓的病情越来越严重。关心他的同事和战友都劝他，放下工作，到上海去养养身体，中央也在尽量减少陈赓的工作。陈赓最终接受大家的建议，去上海小住一段。
上海是陈赓曾经战斗过的地方，在白色恐怖的年代，陈赓跟随周总理纵横上海滩，让青帮头子杜月笙都忌惮他的威名。临行前，陈赓还再三叮嘱同志们，要听党的话，振奋精神，努力工作。
（周总理和徐向前来到陈赓的灵堂）
1961年2月，陈赓住进了上海“丁香花园”，在他身体和心情好的时候，陈赓去看望了很多老朋友，宋庆龄也在上海，专门邀请他到家中做客。
当年陈赓被捕，宋庆龄积极奔走，还亲自去向蒋介石求情，请求放了陈赓。陈赓在建国后，见到宋庆龄，当面感谢她的救命之恩。宋庆龄每次回到北京，陈赓都要到车站去迎接。
1961年的春节前夕，陈赓和妻子在宋庆龄家中坐了很久，畅谈了很多往事。恰逢孙中山逝世36周年，陈赓专门上街买了一个花篮，送给宋庆龄。
进入3月中旬后，陈赓的身体越来越不好，他感觉到死神在降临。3月15日下午，心绞痛再次袭来，陈赓晕倒在沙发上，经过医生抢救，好多了。一回两回，所以大家都没有太在意。
第二天早上，陈赓的心脏停止了跳动，享年只有58岁。他是第一位去世的大将，也是寿命最短的大将。噩耗传来，住在隔壁院子的粟裕大将急忙赶来，没有见到老战友最后一面，粟裕也哭倒在地。
宋庆龄知道后，彻夜难眠，她给廖梦醒写了一封短信：我们的好同志和伟大的朋友陈赓突然去世，这个打击真是太大了，使我悲伤至极，我感到心力交瘁，为什么好人总是英年早逝呢？
陈赓的骨灰运到北京之后，徐向前元帅早早来到灵堂，看着黄埔同学的遗像，徐向前喃喃自语：
我真的想不通，这怎么可能？在延安的时候，冬天很冷，我都穿皮袄，他还洗冷水浴，他的身体那么好，怎么会走在我这个老病号前面？
在陈赓晚年，身体已经非常不好的情况下，他还陪同周总理接见了那些国民党的黄埔同学们，比如杜聿明，王耀武等。当年在战场上打得你死我活，陈赓却一点胜利者的架子都没有，让他们感到非常温暖。
