Gia nhập Chelsea từ câu lạc bộ Lokomotiv Moscow với 1 bản hợp đồng có thời hạn 3 năm rưỡi, Branislav tới khi kì chuyển nhượng mùa đông năm 2007 mở cửa cùng với sự gia nhập của cầu thủ Nicolas Anelka.

Cầu thủ quốc tế người Serbia trở thành 1 cầu thủ đa năng trong đội hình, anh ấy có thể chơi ở các vị trí hậu vệ phải, trung vệ và tiền vệ phòng ngự.

Bắt đầu sự nghiệp tại quê hương Serbia trong màu áo câu lạc bộ Sremska Mitrovica, anh nhanh chóng chuyển sang chơi cho đội bóng của thủ đô Belgrade, câu lạc bộ OFK Beograd, nơi anh cống hiến 3 mùa giải. Ivanovic chuyển sang chơi cho Lokomotiv vào mùa hè năm 2006. Anh được thi đấu tại đấu trường ƯEFA cup.

Là ngôi sao của U21 Serbia trong cả 2 giải vô địch châu Âu dành cho U21 năm 2006 và 2007, Branislav được bầu chọn vào đội hình tiêu biểu của giải đấu, trở thành cái tên quen thuộc trong đội hình triệu tập đội tuyển quốc gia Serbia

Ivanovic có màn trình diễn đầu tiên trong màu áo đội tuyển Serbia và Montenegro tháng 6 năm 2006, cho tới giờ anh được thường xuyên sử dụng tại vị trí trung vệ cùng với hậu vệ của MU Nemanja Vidic.

Ivanovic thi đấu 2 trận với đội hình Chelsea B trong suốt nửa cuối mùa giải 2007/2008, anh tập luyện chăm chỉ sẵn sàng thi đấu cho 1 vị trí ở đội 1.