Low tham gia ban huấn luyện đội tuyển Đức từ năm 2004, cùng Jurgen Klinsmann. Sau World Cup 2006, Klinsmann chia tay đội tuyển Đức và Low chính thức nắm quyền từ tháng 7/2006. Theo Marca, Low đã có tổng cộng 13 năm 269 ngày nắm giữ cương vị HLV trưởng của đội tuyển Đức.
Hợp đồng của Low với Liên đoàn Bóng đá Đức còn thời hạn đến năm 2022, sau khi World Cup 2022 tại Qatar kết thúc.
 |
| HLV Joachim Low giúp tuyển Đức lên ngôi tại World Cup 2014. Ảnh: Getty. |
Giải đấu lớn đầu tiên của HLV 60 tuổi cùng đội tuyển Đức là Euro 2008. Tại giải đấu năm đó, Đức vào chung kết nhưng chịu thất bại 0-1 trước đội tuyển Tây Ban Nha. Euro 2008 cũng chứng kiến giai đoạn chuyển giao thế hệ đầu tiên của đội tuyển Đức, khi họ chia tay hàng loạt công thần như Michael Ballack, Torsten Frings và Jens Lehmann.
Dưới triều đại của Low, đội tuyển Đức đã trình làng hàng loạt cầu thủ trẻ tiềm năng như Mesut Ozil, Sami Khedira, Thomas Muller và Manuel Neuer. Sức trẻ kết hợp cùng kinh nghiệm đã giúp tuyển Đức trở thành ứng viên hàng đầu tại các giải đấu như World Cup 2010, Euro 2012. Đức đều dừng bước ở bán kết tại hai giải đấu này.
Đến World Cup 2014, đội tuyển Đức của Low lên đỉnh thế giới sau khi đánh bại Argentina trong trận chung kết. Đây cũng là thành tựu lớn nhất của HLV 60 tuổi. Tuy nhiên, sau giải đấu trên đất Brazil, đội tuyển Đức bước vào giai đoạn chuyển giao thế hệ tiếp theo.
Những công thần chủ chốt trong chiến dịch giành cúp vàng năm 2014 lần lượt chia tay tuyển Đức, thế chỗ cho họ là các cầu thủ trẻ giàu khát khao như Leroy Sane, Serge Gnabry. Tại vòng chung kết Euro 2021, Đức rơi vào bảng khó với đương kim vô địch Bồ Đào Nha và á quân châu lục, đồng thời là đương kim vô địch thế giới Pháp.
