针对视频序列图像目标车辆跟踪中经常因场景光照变化、目标旋转、遮挡等因素导致丢失问题,提出了基于颜色自适应的改进CamShift算法;通过建立凸函数组合模型,利用多目标规划最优求解算法获取自适应颜色识别最佳组合,提高了算法抗干扰能力;利用目标倾角预测识别目标发生形变和旋转,构造多变量状态信息预测目标发生遮挡和瞬间消失,并通过IIR滤波器快速预测目标在下一时刻的运动方式。实验表明,本算法跟踪精度高,鲁棒性强。