Fils d’un canut « maître-fabricant », il exerça de nombreuses professions dont certaines furent liées à la soie, mais également à l’imprimerie. Ayant étudié seul la mécanique, il mit au point, en 1801, le métier à tisser Jacquard, dit métier Jacquard. Dans la continuité des travaux de Jacques de Vaucanson, il équipa son métier d’un mécanisme sélectionnant les fils de chaîne à l’aide d’un programme inscrit sur des cartes perforées.

Il devint ainsi possible à un seul ouvrier de manipuler le métier à tisser, au lieu de plusieurs auparavant.

Le 12 avril 1805, Napoléon rencontra Joseph Jacquard lors d’un séjour à Lyon. Quelques semaines plus tard, le 27 août 1805, Jacquard reçut, de la part de l’Académie de Lyon, le prix des inventeurs. À partir de cette date, il accumula les prix d’honneur et les récompenses. À Lyon, le métier Jacquard marqua les prémices de la révolution industrielle, qui profita beaucoup à la ville, mais qui entraîna aussi une restructuration sociale difficile. À ce titre, le métier Jacquard, accusé de mettre des canuts au chômage, fut souvent évoqué comme l’une des causes de la révolte des Canuts de 1831.

Le métier Jacquard, qui a inspiré Charles Babbage, est souvent présenté comme l’un des ancêtres de l’ordinateur.

Le mausolée construit au cimetière d’Oullins date de 1861.