Родился 15 января 1946 года в Москве, все детство провел на Гоголевском бульваре. В 1970-м окончил Горьковское театральное училище (ныне в Нижнем Новгороде), устроился во Владимирский областной драматической театр, затем перешел в Московский детский театр (МОТЮЗ).
Дебют Яковлева на большом экране – эпизодическая роль в картине «Семнадцать мгновений весны». Однако для большинства зрителей Александр стал известен благодаря роли штабс-капитана, организовавшего нападение на поезд, в фильме Никиты Михалкова «Свой среди чужих, чужой среди своих».
В 70-е–80-е годы актер активно снимался, работал с такими режиссерами, как Вениамин Дорман, Андрей Кончаловский, Владимир Наумов. Самыми известные ленты этого периода с его участием – «Медный ангел» (роль подручного наркобарона Вальдеса), «Вера, надежда, любовь», «Квартет Гварнери», «Визит к минотавру», «Приключения Квентина Дорварда», «Сибириада», «Русь изначальная». Игорь Вознесенский доверил актеру исполнить главную роль в своем фильме «Акванавты» (1979). Следует также отметить фильмы «Любовь Яровая», «Фронт за линией фронта», «Побег из тюрьмы», «Судьба», «Шальная пуля», «Транссибирский экспресс».
В 1981 году список отрицательных персонажей, которых сыграл Александр Яковлев, пополнился героями картин «Оленья охота», «Смотри в оба», «Право на выстрел». Благодаря особой харизме актера офицеры у него выходят мужественными и красивыми, адвокаты – интеллигентными, а бандиты – по-настоящему страшными. Кроме того, Яковлев легко соглашается на второстепенные роли, для него главное – интересный характер.
В 1985 году актер присоединился к труппе Московского областного драматического театра имени А.Н.Островского, а в 1995-м начал сотрудничество с киностудией Никиты Михалкова «ТриТэ».
В 1998 году Яковлев снялся в фильме французского режиссера Патриса Леконта «Один шанс на двоих». Его партнерами по съемочной площадке стали такие легенды кино, как Жан-Поль Бельмондо и Ален Делон, а также известная актриса Ванесса Паради.
Яковлев продолжает играть в кино. Среди последних его работ следует отметить роль Всеволода Боброва, тренера советской сборной по хоккею, в картине Николая Лебедева «Легенда № 17» (премьера состоялась в апреле 2013 года).
