据说，咸丰十年(1860)六月，太平军进攻上海，署江苏布政使上海道员吴煦命美国人华尔组成洋枪队，协助防守。同治元年(1862),江苏巡抚薛焕将这支队伍命名为“常胜军”。同年三月，李鸿章率淮军到达上海。将薛焕调回北京任职，以李鸿章署理江苏巡抚。曾国藩奏称江苏绅士请借英、法军队进攻苏州、南京，此事断不可行。慈禧便命令李鸿章相机对华尔的“常胜军”加以裁制。闰八月，华尔在浙江慈溪被太平军击毙。英国提督何伯表示“不令该国派员会带，即将外洋火器取回，恐此军亦归无用”。接着，他又推荐美国人白齐文接统常胜军。当时，太平军正与曾国荃部湘军激战于天京外围，李鸿章即派白齐文率常胜军驰援金陵。白齐文在英国政府的唆使下有意抗命，甚至殴伤上海粮储道杨坊，抢去洋银四万余元。李鸿章与英国新任提督士迪佛立即与英国驻上海领事麦华陀办理交涉，解除了白齐文的职务，常胜军暂交英军参谋奥伦管带，中国派员会带，人数由四千五百人减为三千人，经费由每月七八万两减为四万余两，淞江城内外地方事宜，外国管带官不得干预，惩办违法兵勇，听从中国会带官主意。