April 12, 2014

How to build custom Debian package automatically by Jenkins

以前、OpenSSH LDAP Public key パッチ(openssh-lpk)を、Ubuntu 12.04 LTS(Precise)とDebian GNU/Linux WheezyのそれぞれのOpenSSHに適用したカスタムビルドパッケージを作りました。 1 2 OpenSSHのパッケージが更新される度に、

1. このパッチを適用し

2. pbuilderを使ってPrecise, Wheezyでビルド

3. 実環境にインストールしてテスト

4. GPG key sign

5. reprepro管理下のローカルアーカイブに登録

するという作業を行っています。といっても、PreciseやWheezyでもOpenSSHのパッケージ自体のアップデートが最近までほとんどなかったので、手動でメンテナンスを行っていたのですが、この1ヶ月くらいで何回かアップデートがあったことや、先日Jenkinsを作ったこと (Issue deploying Jenkins to Tomcat7 Debian package in Wheezy)もあったこと、職場で私以外に作業できる人がいない、という問題があるので、Jenkinsでビルドするようにしました。

OpenSSHパッケージのDebianバージョンとOpenSSH LPKパッチの関係

これを図にすると下記のようになります。 Debianのパッケージが更新されるたびに、”+cust1”を付加したバージョンをリリースするわけです。

Preciseの場合も基本的に同じです。

pbuilderのイメージ準備

Jenkinsを動かしているのは前回の通りWheezyなので、Wheezy用のbase.tgzは次のように作成します。

$ sudo pbuilder --create --distribution wheezy --basetgz /var/cache/pbuilder/wheezy-base.tgz

一方、Precise用のbase.tgzは、別途Preciseをインストールしたサーバ上で同様に作成し、そのtarballを/Jenkins用のサーバに転送＆配置します。 3

WheezyやPrecise用のbase.tgzのAPT Lineにはupdatesやsecurityのものは含まれていないので、

$ sudo pbuilder --login --save-after-login --basetgz /vat/cache/pbuilder/wheezy-base.tgz

でchroot環境にログインし、変更しておきます。 4 また、合わせて、repreproで作成したローカルアーカイブ用のGPG公開鍵をapt-key addコマンドで追加しておきます。

パッチ置き場と一次ビルドの出力先の作成

openssh-lpkパッチと、debian/rulesのパッチをを任意のWebサーバにWheezy用、Precise用とそれぞれ用意しました。下記のようなURLです。

• http://repo.example.org/wheezy/openssh-lpk.patch

• http://repo.example.org/wheezy/rules.patch

• http://repo.example.org/precise/openssh-lpk.patch

• http://repo.example.org/precise/rules.patch

また、一次ビルドで出力するソースパッケージは、/var/tmp/resultディレクトリを作成し、後述のスクリプトでそこに出力するようにします。

$ sudo install -d -o tomcat7 -g tomcat7 --mode 0700 /var/tmp/result

一次ビルド、といっているのはパッチを適用した状態で、一度debuildを実行して出力されるソースパッケージのことです。その出力されたソースパッケージを用いて、pbudilerでクリーンビルドする、という流れです。

ソースツリーからpbuilderを実行するpdebuildコマンドを使えば、そんな面倒なことをする必要はありません。が、Wheezy上でPreciseの公開鍵をインポートしなくてはいけない点と、PreciseとWheezyとで基本的に同じ手順で行いたい、という二点から、pbuilderを2回実行する形にしました。

ジョブ用のスクリプト

Wheezy, preciseとで基本同じなので、先頭の2行のみを環境に合わせて変更します。Wheezyの場合は、codenameをwheezy, distroにはstableにしますが、Preciseの場合には両方共preciseです。 5

codename=wheezy
distro=stable
bin_package=openssh-server
src_package=openssh
arch=$(dpkg-architecture -qDEB_HOST_ARCH)

# check version
cat << EOF > check_version.sh
apt-cache show $bin_package | grep Version: | sort | tail -1 | grep -v +cust > /var/tmp/result/${BUILD_ID}.txt
exit 0
EOF
sudo pbuilder --update --basetgz /var/cache/pbuilder/${codename}-base.tgz
sudo pbuilder --execute --basetgz /var/cache/pbuilder/${codename}-base.tgz --bindmounts "/var/tmp/result" -- check_version.sh
test -s /var/tmp/result/${BUILD_ID}.txt || exit

deb_version=$(awk -F: '{print $3}' /var/tmp/result/${BUILD_ID}.txt)
orig_version=$(echo $deb_version | awk -F"-" '{print $1}')

# retrieve source package and patches
cat << EOF > build.sh
apt-get -qq -y install curl devscripts quilt patch libdistro-info-perl fakeroot libldap2-dev
apt-get -qq -y build-dep $bin_package

apt-get source $src_package

curl -O http://repo.example.org/${codename}/openssh-lpk.patch
curl -O http://repo.example.org/${codename}/rules.patch
(
export DEBFULLNAME="Auto Build"
export DEBEMAIL=autobuild@example.org

cd ${src_package}-${orig_version}
echo "### applying patch ###"
patch -p1 --dry-run < ../openssh-lpk.patch || exit 1
patch -p1 < ../openssh-lpk.patch

echo "### commiting patch ###"
echo | dpkg-source --commit . openssh-lpk.patch ../openssh-lpk.patch

echo "### update Build-Depends ###"
sed -i 's/^\(Build-Depends: .*\)$/\1, libldap2-dev/' debian/control

echo "### update compile options ###"
patch -p1 --dry-run < ../rules.patch
patch -p1 < ../rules.patch

echo "### update changelog ###"
dch -l+cust -D${distro} "Applied OpenSSH LPK patch."

echo "### build package ###"
debuild -us -uc
)

cp -f ${src_package}_${deb_version}+cust1.debian.tar.gz ${src_package}_${orig_version}.orig.tar.gz ${src_package}_${deb_version}+cust1.dsc /var/tmp/result/
EOF

sudo pbuilder --execute --basetgz /var/cache/pbuilder/${codename}-base.tgz --bindmounts "/var/tmp/result" -- build.sh

# clean build
sudo pbuilder --build --basetgz /var/cache/pbuilder/${codename}-base.tgz /var/tmp/result/${src_package}_${deb_version}+cust1.dsc

# installing test
sudo piuparts -b /var/cache/pbuilder/${codename}-base.tgz -d $codename --keep-sources-list /var/cache/pbuilder/result/${src_package}_${deb_version}+cust1_${arch}.changes

大まかな流れとしては次のとおりです。

1. カスタムビルドパッケージよりも更新されたバージョンがリリースされていないかのチェック

2. pbuilderを使い、chroot環境内でのソースパッケージとパッチの取得・適用及びビルド

3. ビルドして生成されたソースパッケージを用い、pbuilderでクリーンビルド

4. クリーンビルドしてできたパッケージを、piupartsでインストールテスト

公式パッケージで更新されてパッチ適用したバージョンよりも新しいバージョンがリリースされている場合、このジョブを実行すると、パッチ適用してビルドされたパッケージが、Jenkinsサーバの/var/cache/pbuilder/resultディレクトリ下に作成されます。

後は別のジョブでdebsignでGPG key signし、repreproのincomingディレクトリにpushすれば良いわけです。 6

この記事のオチ

さて、これで自動ビルドできるようになったので楽できるわー、と思ったら、このジョブを仕込んた翌日に、 OpenSSH 6.2 以降で

• AuthorizedKeysCommand

• AuthorizedKeysCommandUser

というオプションが使えるようになったことを同僚に教えてもらいました。つまり、「もはやOpenSSH LPKなんて不要になった！」ワケです。素晴らしい。

来週リリース予定のUbuntu 14.04 LTS(Trusty)ではOpenSSH 6.6ですし、WheezyでもBackportsに6.5にあるのでわざわざこんな手の混んだことをしなくても、ミラーをすればよいのです。 なので、このジョブそのものはたった一日で不要になってしまいました。

ただし、Precise用にはWheezyのBackportsのソースパッケージをリビルドする必要があるので、今回やった事自体は役立ちそうです。このジョブに比べたら（リビルドさえちゃんと確認できれば）なんてこと無いですね。

もっと簡単にマルチディストリビューション向けに自動(カスタム)クリーンビルドする方法があれば、どなたか教えて下さい。

追記

• check_version.shに exit 0 を忘れていたので、ローカルアーカイブの方にパッチ適用済みのパッケージが存在すると、ジョブがコケてしまう、ので修正しました。

• @mizuno_as さんに複数環境向けにビルドするならpbuilder-distの方が便利ですよ、と教えてもらったので、後日検証しようと思います。

追記2

• –bindmounts オプションを /var/tmp/result /tmp としていたのですが、pbuilderのbindmountsオプションの挙動を勘違いしていました。こうするとホストの/var/tmp/resultとchroot内の/var/tmp/result、そしてホストの/tmpとchroot内の/tmpがbind-mountされるので、今回であれば/var/tmp/resultだけを記述すれば良かった、ということでした。(修正済み)

Footnotes

1

OpenSSH LDAP public key

2

Applying openssh-lpk to Wheezy

3

cowbuildreを使うことも検討したのですが、Precise上で cowbuilder –create すると失敗するためpbuilderを使うことにしました。

4

exitコマンドではなく、Ctrl + dでログアウトすると、”–save-after-login” オプションをつけていても変更が保存されないようです。

5

Wheezyでは、dchコマンドの”-D”オプションでのディストリビューションの指定には、Ubuntuと違ってコードネームの”wheezy”ではなく、”stable”でないとエラーになります。

6

今回はdebsign, repreproへのpushについては書きませんが。

投稿者 mkouhei

カテゴリー: Debian

タグ: pbuilder, Jenkins, openssh-lpk, reprepro, Wheezy, Precise, piuparts

• « Retrieve and generate debian package of Oracle JDK
• Issue deploying Jenkins to Tomcat7 Debian package in Wheezy »

最近の投稿

• LEGO 展示棚を設置しました
• Google Nest Hub, Google Home mini 復活
• ABUS Bordo Lite Mini 6055/60
• ヘッドライトとリアライト
• Brompton M6L を入手しました
• pipenv 環境でのコマンドを直接実行する
• 2017年の振り返りと2018年の抱負
• 再びpython-debianのお話
• VirtualBoxをPowerShellで操作する
• ThinkPad T470sに乗り換え

Search

カテゴリー

• ansible (2)
• Bike (3)
• book (23)
• cat (63)
• Celery (1)
• Cloud (1)
• computer (195)
• CouchDB (35)
• Debian (425)
• Dev (26)
• emacs (1)
• error (74)
• gadget (117)
• Git (14)
• git-buildpackage (1)
• Golang (2)
• Kids (1)
• LDAP (3)
• life (798)
• lint (1)
• MacBook (137)
• meeting (107)
• network (84)
• nonsense (208)
• Ops (90)
• Packaging (3)
• PowerDNS (1)
• programming (7)
• Python (19)
• Ruby (2)
• security (54)
• TeX (13)
• Unix/Linux (238)
• virt. (109)
• Windows (1)
• work (261)

タグ

ansible (2), Ansible (2), ansible galaxy (1), Apache (1), AppArmor (1), apt (3), Armadillo-9 (1), auto install (1), b-mobile WiFi (1), Bash (1), blockdiag (3), blog (1), bootstrap-py (1), Brompton (3), C (1), Cat (1), Celery (3), CentOS (3), Cisco ASA (1), ClamAV (1), CouchDB (4), CouchDB JP (1), daemontools (1), Debian (48), Debian Pure Blend (1), DebianUbuntuAdvent2012 (1), DebianUbuntuAdvent2013 (5), DebianUbuntuAdvent2017 (1), debsign (1), Display manager (1), dnsmasq (2), Dovecot (1), dovecot (1), dvipdfmx (1), e-Tax (2), El Capitan (1), emacs (2), Erlang (4), fastcgi (1), fetchmail (1), gdm (1), Genenga (1), Git (9), git-filter-branch (1), GitLab (2), GitPython (1), Gmail (1), GNU/Linux (1), GnuPG (1), Golang (3), Google Home mini (1), Google Nest Hub (1), Gosh (2), GPT (1), grub2 (3), grubs (1), hddtemp (1), Heroku (1), Hiki (1), hiki (1), i2c-tools (1), include_csv (1), iori (1), IPv6 (2), iPXE (1), Jenkins (5), JetDrive (1), JSON (1), lambda (1), ldapvi (2), LEGO (1), Lenny (4), libvirt (1), lighttpd (4), Linkdraw (1), lint (1), Linux (3), lm-sensors (1), Lua (1), lv (1), lxc (5), MacBook (4), MacBookPro (3), make-jpkg (1), Mercurial (2), mkpasswd (1), mock (1), MVNO (1), MySQL (2), net-tools (1), nginx (2), Nginx (3), nslcd (1), nwfilter (1), omame (3), OpenBlockS (3), OpenConnect (1), OpenLDAP (14), OpenMicroServer (2), OpenSSH (3), openssh-lpk (3), OpenStack (3), Oracle (1), OS X (2), packaging (1), pbuilder (1), pep8 (1), Perl (1), PHP (1), pidgin (1), pipenv (1), piuparts (1), PlantUML (1), plantuml-mode (1), PoE (1), Postfix (2), Power unit (1), PowerDNS (2), PowerShell (1), Precise (1), preseed (2), procmail (1), pylibmc (1), Pyramid (1), pystache (1), Python (16), python (4), python-debian (1), Python-LDAP (1), Python2.6 (1), Python2.7 (1), python_debian (1), python_gnupg (1), RabbitMQ (1), Redmine (1), redmine (1), REPL (1), reportbug (1), reprepro (2), rpm (1), RSA SecurID (1), rsyslog (1), RTX830 (1), Ruby (2), Scratch (1), Sendmail (1), Sid (1), Sinatra (1), slim (1), smbclient (1), sphinx (2), Sphinx (2), Squeeze (1), SSD/Linux (1), sshd (1), sudo (1), Swift (1), Switch (1), Sylpheed (1), sysbench (1), systemd (1), sysvinit (1), TACACS+ (1), td2planet (3), ThinkPad (1), tinkerer (7), Tomcat (1), TonicDNS (3), trac (1), Ubuntu (11), upstart (1), uscan (1), vi (1), virt-manager (1), VirtualBox (3), Vyatta (2), Wheezy (3), wheezy (1), wifi (1), Windows (1), Windows 10 (1), Windows 8.1 (1), work (3), yrmcds (1), ブログ移行 (1), 個人番号カード (2), 確定申告 (2), 自宅サーバの思い出 Advent Calendar 2016 (1)