Call of Duty: Black Ops tiene lugar durante la Guerra Fría, en la década de 1960. La historia se centra en un grupo de operciones encubiertas clandestinas de la CIA que lleva a cabo misiones contra los enemigos de América. Estas misiones tienen lugar en varios lugares alrededor del mundo, como los montes Urales en el centro de Rusia, Cuba, Laos y Vietnam. La campaña para un jugador gira en torno a un arma química experimental con nombre en clave «gas Nova-6».
El jugador controla principalmente las fuerzas especiales SOG y a su miembro Alex Mason, al agente de la CIA Jason Hudson, así como otros personajes. Mason trabaja a menudo con Frank Woods y Joseph Bowman, mientras que Hudson se une a Grigori Weaver, un agente de campo de origen ruso. Viktor Reznov, un personaje clave de la campaña soviética en la Segunda Guerra Mundial y Dimitri Petrenko de Call of Duty: World at War también hacen su aparición. Además, en Black Ops aparecen varias figuras históricas: John F. Kennedy, Robert McNamara, y Fidel Castro.