Una de las cosas más me gusta de las distribuciones basadas en Debian es la facilidad para instalar software utilizando apt-get.
Jenkins puede instalarse utilizando apt-get, pero antes de ejecutar apt-get install jenkins, uno debería actualizar la configuración de su repositorio de paquetes para así asegurarse de instalar la última versión. Esta página describe el proceso completo de instalación.
Enjoy it!