Últimos años y retiro
Ese mismo 1937, disputó 22 combates, todos ellos con victorias y 21 de ellos por nocaut. Al siguiente año, 1938, gana otros siete combates, todos por KO, incluyendo uno frente al futuro campeón del mundo Chalky Wright. Su racha de nocauts terminó cuando, en uno de los cuatro combates que disputó contra Arizmendi, ganó por UD tras el décimo asalto. Luego de la pelea ante Arizmendi, Armstrong combatió contra el hermano del también legendario Fritzie Zivic, Eddie Zivic, resultando en otra victoria por KO para Armstrong.
Entre 1939 y 1940 defendió su título de peso wélter, venciendo, entre otros, al futuro campeón de peso mediano, Ceferino García, también a los legendarios Al Manfredo y Bobby Pacho. Luego no consiguió revalidar su título de peso ligero en una revancha contra Lou Ambers, perdiendo por una ajustada decisión de los jueces tras el decimoquinto asalto. Tras la derrota, volvió a la categoría de peso wélter y revalidó su título en cinco ocasiones, hasta que Fritzie Zivic se hizo con el cinturón por decisión arbitral tras un combate a 15 asaltos.
Con esta nueva derrota, el reinado de Armstrong como campeón del mundo de peso wélter llegó a su fin, dejando al púgil de Mississippi con un palmarés de 18 combates ganados, lo que lo convierte en el boxeador con más defensas mundiales en la historia en su categoría. En 1941 tuvo su revancha frente a Zivic, que perdió tras el duodécimo asalto. En 1942 no obstante obtuvo un récord de 13-1, con victorias importantes sobre campeones mundiales como Zivic, Jenkins y Juan Zurita.
Para el año 1943 termina con un palmarés de 10-3, con victorias sobre los campeones mundiales Tippy Larkin y Sammy Anggott, y tres derrotas, dos de ellas frente a campeones del mundo como Beau Jack y Sugar Ray Robinson, en combates a 10 asaltos. En 1944 peleó en 17 combates, dejando un asombroso 14-2-1, con una victoria frente a Belloise. Un año más tarde, en 1945, coincidiendo con el final de la Segunda Guerra Mundial, tomó la decisión de retirarse del boxeo tras conseguir una victoria, sufrir otra derrota y empatar en la restante pelea. Si bien participó en ceremonias y veladas de boxeo tras su retirada, Armstrong mantuvo un perfil bajo durante el resto de su vida.
Se dedicó a la religión y fue ordenado pastor, enseñando a boxear a futuras promesas del deporte. Armstrong culminó su carrera profesional con un palmarés de 150 victorias, 21 derrotas y 10 empates, además de 101 victorias por KO. Durante los primeros años de su carrera pugilística, peleó con el nombre de ‘Melody Jackson ’. Como era de espera Armstrong se convirtió en miembro del selecto del Salón internacional k: en Canastota, New York. Falleció el 22 de octubre de 1988, a la edad de 75 años, en Los Ángeles, California. Sus restos fueron enterrados en el Cementerio de Rosedale de la misma ciudad.
