毛泽东一生在杭州住了40多次,由王芳直接负责警卫接待的就有38次,王芳因此被称为毛泽东的“大警卫员”。但是,到了毛泽东发动的十年文革时期,王芳却倒了大霉,从1966年就挨整,1967年底被抓起来,1968年2月被押解到北京卫戍区关押,直到1974年10月才获释。