Ngày 26/3/1996, Ballack lần đầu thi đấu trong đội hình U21 Đức, gặp Đan Mạch. Trong đội hình này, anh thi đấu 19 trận, ghi 4 bàn thắng.

Sau khi chuyển tới thi đấu cho Kaiserlautern, anh được HLV Berti Vogts gọi lên ĐTQG. Nhưng phải tới 28/4/1999, Ballack mới được chính thức thi đấu cho Mannschaft, khi anh vào sân thay Dietmar Hamann trong trận gặp Scotland. Nhưng ở trận đấu này, ĐT Đức đã thất thủ với tỷ số 0-1. Dường như đây là một điềm báo cho sự nghiệp trắc trở của Ballack.

Ballack trong đội hình Mannschaft năm 2000. Ở kỳ EURO năm đó, Ballack chỉ thi đấu tổng cộng 63 phút.

Ở vòng loại World Cup 2002 gặp Hy Lạp ngày 28/3/2001, Ballack ghi bàn thắng đầu tiên cho ĐTQG.

Ở vòng loại này, ĐT Đức phải thi đấu play-off với Ukraine. Hai đội hòa 1-1 ở lượt đi và Đức giành chiến thắng 3-1 ở lượt về. Ballack ghi bàn ở cả hai trận, góp công trong việc đưa ĐT Đức có mặt tại World Cup 2002.

Ballack ghi bàn thắng duy nhất trong trận tứ kết gặp ĐT Mỹ, đưa ĐT Đức đi tiếp vào vòng trong

Trong trận bán kết gặp Hàn Quốc, Ballack cũng ghi bàn thắng duy nhất. Ở kỳ World Cup trên đất châu Á này, anh ghi tổng cộng 3 bàn.

Thế nhưng cũng trong trận đấu đó, Ballack phải nhận thẻ vàng, đồng nghĩa với việc vắng mặt trong trận chung kết gặp Brazil. ĐT Đức đã phải ngậm ngùi nhận chức á quân khi thất bại 2-0 trước một Brazil đang thăng hoa với màn trình diễn tuyệt vời của Người ngoài hành tinh Ronaldo.

Tại vòng chung kết EURO 2004, ĐT Đức phải dừng chân ngay ở vòng bảng, khi chỉ xếp thứ 3 tại bảng D, sau CH Czech và Hà Lan

Sau thất bại đáng xấu hổ trên, Jürgen Klinsmann lên nắm chức HLV thay Rudi Völler, và Ballack được trao băng đội trưởng trước đó do Oliver Kahn nắm giữ. Tại Confederations Cup năm 2005, Ballack ghi bàn thắng quyết định ấn định tỷ số 4-3 trong trận gặp Mexico, đưa Đức cán đích ở vị trí thứ 3.

Ở vòng chung kết World Cup 2006, Ballack vắng mặt trong trận đấu đầu tiên gặp Costa Rica vì chấn thương bắp chân, nhưng anh góp mặt trong 5 trận đấu còn lại. "Những cỗ xe tăng" đã vượt qua Argentina ở tứ kết sau loạt penalty cân não.

Tuy nhiên, Ballack và ĐT Đức đã một lần nữa lỡ hẹn với trận chung kết khi thua Italy 0-2 ở bán kết. Trận thắng 3-1 trước Bồ Đào Nha đã mang về cho ĐT Đức vị trí thứ 3.

Sẽ còn nhiều fan nhớ khoảnh khắc buồn này của Ballack.

Tại vòng bảng vòng chung kết EURO 2008, ĐT Đức khiến người hâm mộ thót tim nghĩ lại cơn ác mộng năm 2004 khi bất ngờ thất thủ 2-1 trước Croatia. Trong trận cuối cùng gặp ĐT Áo, Ballack có một pha đá phạt tuyệt đẹp mang về chiến thắng 1-0, đưa Đức vào vòng knock-out.

Dù đã vượt qua đối thủ cực mạnh lúc đó là Bồ Đào Nha và đánh bại Thổ Nhĩ Kỳ ở bán kết, ĐT Đức đã phải nhường ngôi Vương cho Tây Ban Nha sau trận thua 0-1. Trên đường lên bục nhận HCB, "Những cỗ xe tăng" đã được toàn đội Tây Ban Nha xếp hàng vỗ tay thể hiện sự tôn trọng.

Chấn thương ngay trước thềm vòng chung kết World Cup 2010 khiến toàn bộ CĐV của Mannschaft phải ngậm ngùi thay cho thần tượng.

Không thể tham dự ngày hội bóng đá tại Nam Phi, Ballack vẫn có mặt để cổ vũ đàn em.

Trận giao hữu với Argentina hồi tháng 3/2010 rất có thể sẽ là lần cuối cùng Ballack phục vụ ĐTQG, bởi một số nguồn tin cho rằng Ballack có thể từ chối ra sân trong trận gặp Brazil ngày 10/8 tới.