届いた品

レビューを事前に確認したら異音がするとか、正規品よりも発熱するとかいうケースも見られたのですが、実際購入して使っている感じでは特にそういうことはなく、発熱も正規品と大差ありません。 唯一違っていたのは、充電中のLEDランプが正規品のそれより小さく見える、というくらいで充電完了時は同じでした。

というわけで結果的には良い買い物でした。

現在は残念ながら

購入したAmazonマーケットプレイスの 店舗では在庫切れですでに取り扱っていない様子 です。

7,000円弱では現在もまだ扱っているところもあるようです。

純正 アップル Apple 85W Magsafe A1343 MC556J/B / MacBookPro 対応 電源アダプタ バルク品

posted with amazlet at 15.07.27

Apple Computer
売り上げランキング: 2,162

Amazon.co.jpで詳細を見る

まとめ

リダイレクトしてしまうので、ドメイン名も午前と午後で変わるので、ドメインも変わらないようにするなら app.example.org をリダイレクトし、カスタムドメインをAPIで定時で削除＆追加でするとできます。一瞬アクセスできない時間ができてしまいますが。

今のところ解析結果をMemcachedに入れているだけで、特にデータ更新も行わないお遊びのサイトなので今回の方法を取りました。 無料の範囲内で遊ぶために2つもリソース使って、本末転倒じゃないかという内容なので、いろいろお察し下さい…。

footnote

1

制約超えると通知されるメールが増えてきたので…。

特徴

• ナビゲーションバーの”Example”をクリックするとpgraphの最新バージョンの依存関係を描画します

• search packages のフォームから検索すると、 PyPI のAPIでの検索したパッケージ一覧の結果を表示します

• 描画されたグラフは、ノードをクリックしてドラッグして、グリグリ動かしたり、グラフの拡大・縮小ができます

pgraphの構成

Webフレームワークには Pyramid 2 、パッケージの検索、依存関係の分析および Linkdraw用のデータ生成には、自作の py-deps、py-depsに依存関係の分析を実行させる処理は Celery でタスクキューに投げ非同期で実行し、分析した結果はキャッシュに格納します。ローカルで実行する時と、Herokuで実行する時とで、それぞれCeleryのBrokerとキャッシュのバックエンドを変更できるようにしています。

今回ハマったこと

Herokuでも当初ローカルと同様の構成にしようと、Celeryのバックエンドには CloudAMQP 、キャッシュはPickleでのファイルキャッシュにしていましたが、いろいろ問題がありました。また、Linkdrawでパッケージの依存関係を表示すること自体にも問題がありました。最後にそれらをまとめて紹介します。

$ heroku ps:scale worker=1

終わりに

特にまとめはありませんが、ぜひグリグリ遊んでみてください。

footnote

1

開発自体はpy-depsの方が先です。現状、Linkdrawと NetworkX だけに対応しています。 blockdiag にもそのうち対応する予定です。

2

仕事では Flask, Django および django REST framework が多かったのでたまには別のものも使ってみるか、というノリです。

3

pip コマンドではありません。

4

ローカルで動かす場合にはPickleを使う構成に現在もできます。なお、手元でmemcachedをバックエンドにしてテストするときには、普段yrmcdsをインストールしているのでそっちを使っています。

main関数の省略

README にも記載していますが、簡単に紹介します。

$ $GOPATH/bin/gosh

>>> fmt.Println("Hello world")
Hello world
>>>

>>> var i = 10
>>> i++
>>> fmt.Println(i)
11
>>>

>>> i := 10
>>> i += 100
>>> fmt.Println(i)
111
>>>

>>> import "github.com/bitly/go-simplejson"
>>> r, _ := http.Get("http://d.palmtb.net/_static/glaneuses.json")
>>> defer r.Body.Close()
>>> j, _ := simplejson.NewFromReader(r.Body)
>>> fmt.Println(j)

>>> func main(){}

>>> i := 1
>>> fmt.Println(i)
1
>>> i++
>>> fmt.Println(i)
2

既知の問題

• main関数を入力した後、Enterをもう一度入力しないとプロンプトが表示されない 1

  • 0.2.2 で修正しました(2015-01-14追記)

• 型の再宣言ができない

余談

前のブログでは matsuu さんの tweet やHacker Newsへの 投稿 でかなりStarsがつきました。海外の方が多いのは結構モチベーションが上がりますね。matsuuさん、ありがとうございました。

あとは、実際に使ってissues登録やpull requestしてくれる方が出てくると嬉しいですね。

Footnotes

1

上記の例で空白行を掲載しているのはそのためです。

今年の抱負

今朝見た初夢は

• 仕事の前に昼飯のつもりで買ったケーキが、ホールで一人で食べきれずに諦めて持って帰ることにして、外に食べに行ったらやたら混んでいて、通された席がトイレの前で辛い

• 泳いでいたら、プクプクみたいなのに棘を口から吹きつけられて、刺さってチクチク痛い

というよく分からん内容でした。とりあえず食べ過ぎと怪我には気をつけろ、ということなんでしょうかね。また、元日早々、おまめ二号の風邪がうつり、喉が痛かったり、おまめ二号の風邪も長いので 2 、

「家族皆健康第一」を今年の抱負にします。

KPT

その他細かい目標は以下。

抱負であった「健康第一」に対して

今年も昨年同様「健康第一」を抱負にしていました。10月に5年ぶりくらいに右肩脱臼してしまい、今もリハビリを続けてはいるものの、昨年に比べると体調が良く、病院に行く回数も非常に少なかったので達成できたと実感できる一年でした。これは2月の次女出産に伴う生活の変化が大きな要因でした。 1

次女(おまめ二号)の誕生と生活の変化

昨年の11月末に妻が切迫早産の危険が出てきたため、寝たきりにさせる必要がありました。結局、出産後の1ヶ月頃(2月下旬頃)までは長女(おまめ一号)は保育園の一時保育もしくは妻の両親に預かってもらい、在宅勤務をする、という生活を送っていました。

おまめ二号が産まれてからは、朝5-6時頃に起床し、ラジオ体操と朝食以外は、出勤で9時頃家を出るまでの間、昨年目標にした朝のコーディングを続けていました。

10月中旬頃から、諸事情により生活習慣と仕事のやり方を変える必要が出てきました。現在は、3時から4時半ごろに起床、早朝コーディングと朝食の後、5時半過ぎには出勤、7-16時を定常勤務として、17時過ぎには帰宅、21-22時には家族皆で就寝、という生活になりました。

この生活リズムに変更したことによるメリットは次の4つです。

• 体調が良くなった

• 子供たちと接する時間が増えた

• 仕事の効率が良くなった

• 朝のコーディングの時間が増えた

特に仕事面では、7時出勤だとほぼ他に人がおらず、一人で集中できる時間がとても長いので、とてもおすすめです。

仕事

今年行った割と効果の高かった内容としては、

• チームでのAnsibleの導入

• カスタムおよびバックポート用のDebainパッケージのオートビルド＆ローカルアーカイブシステム を作った

• PythonおよびDjango & django REST framework, Sphinxドキュメントの開発用スタートアップテンプレートの作成 2

• Pythonパッケージのオートビルド＆ローカルPyPIシステム 3

• 認証システムのクライアントライブラリとDjango認証モジュールの開発

あたりでしょうか。

Debian

今年の活動としては、

• yrmcds をmain入り(Python以外で初めて)

• Debian Maintainerになりました

• Debian勉強会チョットダケ参加 4

  • Golangで書かれたソフトウェアのDebianパッケージ化の話 5

  • 前述のオートビルドシステム

あたりです。少ない…。

プログラミング

年初にGolangの勉強を行ってから、Python以外でGolangでコーディングすることが増えました。 年末現在、プライベートではGolangとPythonの比率だと7:3くらいになりました。仕事でもEC2上で使うツールには、デプロイの関係上Golangで書いたりしています。しかし、前述の脚注の通り、仕事ではPythonとDjangoで開発に使う言語とフレームワークを統一したので、もっぱらPython漬けです。

年初に目標にした、早朝コーディングは大晦日現在毎日続けており、今年のGitHubのContributionsは下記のようになりました。

昨年が閑散たる有り様でしたので、結構良い状況です。

コーディング時にハマるケースが少なくなったり、実装に掛かる時間が短くなったり、などの実感の違いが出てきている気がします。 6

その他

ブログ書かなくなったなーという。ブログ書くより、コード書く方が楽しいからなんですけどね。

まとめ

まとめなし、オチ無し。来年の抱負は年明けに。

Footnotes

1

昨年の年始の段階では「諸事情」としていました。

2

開発に使う言語とフレームワークを、Pythonと、Djangoおよびdjango REST frameworkに統一したため。

3

Debianパッケージ版のオートビルドシステムをちょっとカスタマイズして、GitHub Enterprise、Jenkins、devpi & devpi-ldapを連携して作った簡単なお仕事です。

4

Debianには直接関係ないのですが、今年初めて家族を連れてOSCに参加しました。

5

SurfのDebianパッケージ化しようとしていましたが、Build-Dependsで必要なBSON用のライブラリが含まれるMongo用のドライバのビルドが通らない問題でJessie入りは断念しました。

6

個人の感想です

特徴

現在の特徴としては次のとおりです。

• Go 1.2 以上対応

• 対話形式のシェル

• package main の入力省略可 2

• 標準ライブラリの import 省略可

• 標準ライブラリ以外のライブラリの import 可 3

• import 文の重複入力を無視

• import しても未使用のパッケージを無視

• Ctrl + d で終了

やっていることとしては、単に入力したコードからを、一時ファイル作って go run を実行するだけの簡単な内容です。

インストール方法や使い方は、 README を読んでください。

今後

• main() を入力しないと実行できないので省略できるようにする

• タブ補完

• DebianパッケージなどでシステムグローバルにインストールしたGolangライブラリなどの import を省略できるようにする

などを考えています。良かったら使ってみて下さい。

Footnotes

1

ブラウザで実行したいわけではないので、Go Playgroundだと更に自分のほしいのと違うのですよね。

2

入力を省略できる、というか、入力するとエラーになります。 修正しました。(2014-11-18 追記)

3

import example.org/foo/bar のように実行すると、 go get します。

交換方法

一応、日本語で書かれたマニュアルも添付しているのですが、かなり端折っているので、上記の製品ページの動画を見るのがベストです。90GB弱の使用率で128GBのSSDをリストアするのに要した時間は約1時間半強でした。寝ている間か、風呂かメシ食っている間にやるのが良いですね。

私の使っているモデルのMacBookProの場合、裏蓋を開けるのには少し注意が必要でした。ネジがそれぞれ垂直ではなく、少し斜めになって止められています。気づかずに付属のドライバーでまっすぐ回そうとすると、ねじ山を潰してしまいます。また、ネジを全て外し終わっても、裏蓋自体も外しにくいので、少し隙間を開けたら、本体からまっすぐ持ち上げるのがよいでしょう。

こま毛に気をつけろ！

裏蓋を開けてびっくりしたのは、こま毛だらけだったことです！どうやって、こんな奥にまでこま毛が入ったものかというくらい、結構入り込んでいました。あ、こま毛ってのは、こまちゃん 2 の毛のことです。早朝、朝練や家計簿つけていると餌をねだりにやってきてます。定時 3 よりも早かったら、後でね、と放置プレーしているとMacBookProの背後に回りこむ、あいつの毛です。ハンドクリーナーとガムテープで丁寧に取っておきました。

まとめ

特に技術ネタも何もないお話でした。ポイントは、「こま毛に気をつけろ！」ということです。容量増えてとりあえず一安心ですね。

Footnotes

1

15-inch Early 2011, MC721xx/Aを英語キーボード、ノングレア液晶ディスプレイ、128GB SSD, Memory 8GBにしています。

2

久々に登場の我が愛猫こまめさん。

3

朝晩とも6時が餌の定時。

環境

検証した環境は次のとおりです。Trustyのmockパッケージも1.1.33で、後述のJenkinsでの実行は、Trusty上での実行をサンプルリポジトリを使って確認済みです。

• Debian GNU/Linux Sid

• mock 1.1.33

• chrootターゲット epel-6-x86_64 (CentOS6用) 3

  • chrootのターゲットは、/etc/mock以下の .cfgファイルから選びます。mock(1)には、デフォルトでは、/etc/mock/default.cfgというファイルが選択される、とあるのですがDebianパッケージにはこのファイルはありません。必要ならユーザが用意する必要があります。

また、site-wideの設定として/etc/mock/site-default.cfgが使用されます。こっちは後述のGit関連のオプションを指定する際に内容を確認しました。

環境準備

1. mockパッケージのインストール:

   $ sudo apt-get install mock
   

2. mockグループの作成:

   $ sudo addgroup mock
   

3. 実行ユーザをmockグループに追加:

   $ sudo adduser mkouhei mock
   

4. chroot用ディレクトリの作成:

   $ sudo install -g mock -m 2775 -d /var/lib/mock
   

5. chrootツリー作成:

   $ mock -r epel-6-x86 --init
   

これを実行しなくても、初回のビルド実行すると、chrootツリーがなければ作成されます。 /var/lib/mock/epel-6-x86_64/rootに作成されます。

Source RPMをリビルド

まずは普通にSource RPMをリビルドしてみました。:

$ mock -r epel-6-x86_64 rebuild /path/to/example-0.1-1.src.rpm

実行すると、ログと正常に実行された場合に生成されるRPMファイルが/var/lib/mock/epel-6-x86_64/result以下に生成されます。生成されるファイルは下記の通りです。

• available_pkgs

• build.log

• installed_pkgs

• root.log

• state.log

• example-0.1-1.src.rpm

• example-0.1-1.x86_64.rpm

root.log, state.log, build.logでビルドに問題無いかを確認できます。mock自体はPythonで書かれていて、実行時にエラーになるとPythonのログを吐いてくれるので、原因は割と追っかけやすいです。

chrootツリーは生成されるとepel-6-x86_64の場合約432MB、キャッシュが/var/cache/mock/epel-6-x86_64以下に約327MB、/var/cache/yum以下に約71MB程度できます。キャッシュは依存するパッケージなどによって増減するでしょうけど、まぁ最低1GB程度あれば事足りそうです。

Gitリポジトリからビルド

git-buildpackageと同様に、Gitリポジトリからビルドするには、 –scm-enable オプションおよび –scm-option オプションを使います。

mock(1)のサンプルでは、 –scm-option の引数には:

mock -r fedora-14-i386 --scm-enable --scm-option package=pkg

とだけあり、他のkey-valueが分からないのですが、ここで前述の/etc/mock/site-defaults.cfgが参考になります。次のような記述があります。

#
# Things that must be adjusted if SCM integration is used:
#
# config_opts['scm'] = True
# config_opts['scm_opts']['method'] = 'git'
# config_opts['scm_opts']['cvs_get'] = 'cvs -d /srv/cvs co SCM_BRN SCM_PKG'
# config_opts['scm_opts']['git_get'] = 'git clone SCM_BRN git://localhost/SCM_PKG.git SCM_PKG'
# config_opts['scm_opts']['svn_get'] = 'svn co file:///srv/svn/SCM_PKG/SCM_BRN SCM_PKG'
# config_opts['scm_opts']['spec'] = 'SCM_PKG.spec'
# config_opts['scm_opts']['ext_src_dir'] = '/dev/null'
# config_opts['scm_opts']['write_tar'] = True
# config_opts['scm_opts']['git_timestamps'] = True

# These options are also recognized but usually defined in cmd line
# with --scm-option package=<pkg> --scm-option branch=<branch>
# config_opts['scm_opts']['package'] = 'mypkg'
# config_opts['scm_opts']['branch'] = 'master'

この中で実質上必須のオプションは次の通りです。 これらのkey毎に –scm-option で指定する必要があります。

• package

• git_get

• spec

• wirte_tar

まず、 git_get を指定しないと上記の例がデフォルト設定になっているため、 git://localhost/package.git からcloneしようとします。 git clone をつけないといけないのと、既にclone済みのディレクトリをそのまま使えないのがイケてないですね。 ただ、後者については、 git_get=git clone /path/to/repo と指定すれば、clone済みのリポジトリからcloneできます。 4 また git_get でcloneすると、自動的にchroot内のローカルリポジトリにchdirします。

spec の指定はローカルリポジトリのディレクトリをrootとし、そこからの相対パスで指定できます。なので、upstreamのGitリポジトリにrpm用のspecファイルが含まれている場合、specファイルの相対パスを指定してビルドすることができます。簡便であるという点では良いのですが、Debianパッケージのように、upstreamのソースコードとメンテナスクリプトを分離する概念がmockしないため、第三者のFLOSSのGitリポジトリからforkしてパッケージ管理するとコミットログが混じってしまって混ぜるな危険な感じではあります。あるいは、自分で git-buildpackage のように upstream ブランチと master ブランチを分けて管理する、という方法も取れますが、自分で一からやるのは面倒ですね。

write_tar は、specファイルの中で Source タグを指定している場合、 True を指定します。デフォルトは False です。 True を指定するとchroot内の /builddir/build/SOURCES ディレクトリ以下にGitリポジトリから tar czf で生成されたtarballが配置されます。 5 これが生成されないと、mockでの rpmbuild 実行中にコケます。

実際にGitリポジトリからビルドするには次のように実行します。:

$ mock -r epel-6-x86_64 --scm-enable --scm-option package=example --scm-option git_get="git clone git@remote/example.git" --scm-option spec=rpm/example.spec --scm-option write_tar=True

ローカルミラーやローカルリポジトリを使う場合

カスタムパッケージなどに依存するパッケージを作るには、ローカルリポジトリが必要になります。 chroot環境で参照するyumリポジトリは、 -r オプションで指定した、 epel-6-x86_64.cfg に記述があります。

config_opts['root'] = 'epel-6-x86_64'
config_opts['target_arch'] = 'x86_64'
config_opts['legal_host_arches'] = ('x86_64',)
config_opts['chroot_setup_cmd'] = 'groupinstall buildsys-build'
config_opts['dist'] = 'el6' # only useful for --resultdir variable subst

config_opts['yum.conf'] = """
[main]
cachedir=/var/cache/yum
debuglevel=1
reposdir=/dev/null
logfile=/var/log/yum.log
retries=20
obsoletes=1
gpgcheck=0
assumeyes=1
syslog_ident=mock
syslog_device=

# repos
[base]
name=BaseOS
enabled=1
mirrorlist=http://mirrorlist.centos.org/?release=6&arch=x86_64&repo=os
failovermethod=priority

[updates]
name=updates
enabled=1
mirrorlist=http://mirrorlist.centos.org/?release=6&arch=x86_64&repo=updates
failovermethod=priority

[epel]
name=epel
mirrorlist=http://mirrors.fedoraproject.org/mirrorlist?repo=epel-6&arch=x86_64
failovermethod=priority

[testing]
name=epel-testing
enabled=0
mirrorlist=http://mirrors.fedoraproject.org/mirrorlist?repo=testing-epel6&arch=x86_64
failovermethod=priority

[local]
name=local
baseurl=http://kojipkgs.fedoraproject.org/repos/dist-6E-epel-build/latest/x86_64/
cost=2000
enabled=0

[epel-debug]
name=epel-debug
mirrorlist=http://mirrors.fedoraproject.org/mirrorlist?repo=epel-debug-6&arch=x86_64
failovermethod=priority
enabled=0
"""

なので、ローカルミラーやローカルリポジトリを使う場合にはここを変更すればよいでしょう。なお、デフォルトでgpgcheckは無効になっています。 6 gpgcheckを有効にして、ローカルリポジトリのGPG公開鍵を追加する場合は、/var/cache/mock/epel-6-x86_64/root_cache/cache.tar.gz を修正し、chrootツリーを作成しなおす必要があります。

Jenkinsでmockを実行する

Jenkinsでmockを実行する場合、ssh経由でしか git clone できないリポジトリを使う場合には、private keyのパスフレーズの入力面倒です。なので、JenkinsのGitプラグインを使って、JenkinsのWORKSPACEにcloneしたローカルリポジトリを使ってビルドすることになります。 ところが、前述の通り、mockは git_get で git clone する必要があります。なので、

1. JenkinsのGitプラグインで git clone する

2. mockに –scm-option git_get=’git clone ${WORKSPACE}/repo’ オプションで、JenkinsのWORKSPACEから更に git clone する

という2段階の git clone を行えば使えることになります。 なんかダサいですね。

Bitbucketに用意した サンプルリポジトリ を使うと、Jenkinのジョブ設定は下記のようになります。

• Git repository

  • https://mkouhei@bitbucket.org/mkouhei/example.git

• Branch Specifier (blank for ‘any’)

  • */master

• Local subdirectory for repo

  • example

• シェルスクリプト

mock -r epel-6-x86_64 \
    --resultdir=${WORKSPACE}/result \
    --scm-enable \
    --scm-option package=example \
    --scm-option git_get="git clone ${WORKSPACE}/example" \
    --scm-option spec=rpm/example.spec \
    --scm-option write_tar=True

–resultdir オプションで${WORKSPACE}/result を指定すると、ワークスペース下にresultディレクトリが生成されます。

残タスクとしては、生成するRPMにGPGで署名すること、ローカルリポジトリにpush & createrepoを実行することですね。

まとめ

以上で、Debian/UbuntuでJenkinsを使って、RHEL系のシステムのRPMの自動ビルドもできるようになりました。普段Debianシステムしか使ってないのに、やんごとなき事情でRPM作らざるを得なくなっても、Debianシステムだけで基本的には完結できますね。

Footnotes

1

自分で作って＆メンテしておきながら、これはヒドイ。

2

他の人が作ったspecファイルを今回の検証に使ったらそうだったのです。

3

デフォルトでは、CentOSとFedoraの各バージョン用のファイルが用意されています。この辺はpbuilder/cowbuilderよりも親切で便利ですね。

4

CVS、SVNも対応できるようにするため、とは言え、 コマンドを書かないとアカン のは微妙ですね。

5

git archive コマンド ではない のです。これもCVS, SVNも対応するためでしょう。

6

upstream自体で無効 にされています

workaround

librabbitmq1とpython-librabbitmq 2 をアンインストールすると、この問題は解決します。ちなみにSidでこれらのパッケージをインストールしてみましたが再現しなかったのでTrusty(のパッケージのバージョン)だけでの問題のようです。

Footnotes

1

パッケージ自体インストールしていませんでした。

2

librabbitmq1パッケージをアンインストールすれば、依存関係でpython-librabbitmqも自動的にアンインストールされます。

設定内容

Origin: myrepo
Label: myrepo
Suite: precise
Codename: precise
Architectures: amd64 i386 source
Components: custom
UDebComponents: custom
Description: my repository for Ubuntu precise
SignWith: yes

Origin: myrepo
Label: myrepo
Suite: trusty
Codename: trusty
Architectures: amd64 i386 source
Components: custom
UDebComponents: custom
Description: my repository for Ubuntu trusty
SignWith: yes

Name: precise
IncomingDir: incoming
TempDir: tmp
LogDir: log
Allow: precise
Default: precise

Name: trusty
IncomingDir: incoming
TempDir: tmp
LogDir: log
Allow: trusty
Default: trusty

verbose
basedir /var/lib/debpkg-custom/ubuntu
ask-passphrase

DB生成

PreciseやWheezy用のローカルアーカイブには、私のメンテナンスしているパッケージやその依存パッケージをバックポートしたり、 社内で開発＆利用しているツールをDebianパッケージにして管理しています。 私のメンテナンスしているパッケージはひと通りTrustyに入っているので、とりあえず必要ないので空のDBを生成します。

$ pwd
/var/lib/debpkg-custom/ubuntu
$ reprepro export trusty

余談。

Wheezy用には、パス自体分けて(/var/lib/debpkg-custom/debian)運用していたのですが、 なんか分けないで混ぜていても良かったなぁと思いました。が、まぁ特に困らないのでいいや。

Requirements

• python-requests

• python-query

• wget

• java-package

Prepare as following script for Jenkins.

#!/bin/sh

python retrieve_jdk.py -j $1
echo -e '\n\n' | make-jpkg $(ls -1 jdk-*-linux-x64.tar.gz | tail -1)

See also

• How to automate download and installation of Java JDK on Linux?

OpenSSHパッケージのDebianバージョンとOpenSSH LPKパッチの関係

これを図にすると下記のようになります。 Debianのパッケージが更新されるたびに、”+cust1”を付加したバージョンをリリースするわけです。

Preciseの場合も基本的に同じです。

pbuilderのイメージ準備

Jenkinsを動かしているのは前回の通りWheezyなので、Wheezy用のbase.tgzは次のように作成します。

$ sudo pbuilder --create --distribution wheezy --basetgz /var/cache/pbuilder/wheezy-base.tgz

一方、Precise用のbase.tgzは、別途Preciseをインストールしたサーバ上で同様に作成し、そのtarballを/Jenkins用のサーバに転送＆配置します。 3

WheezyやPrecise用のbase.tgzのAPT Lineにはupdatesやsecurityのものは含まれていないので、

$ sudo pbuilder --login --save-after-login --basetgz /vat/cache/pbuilder/wheezy-base.tgz

でchroot環境にログインし、変更しておきます。 4 また、合わせて、repreproで作成したローカルアーカイブ用のGPG公開鍵をapt-key addコマンドで追加しておきます。

パッチ置き場と一次ビルドの出力先の作成

openssh-lpkパッチと、debian/rulesのパッチをを任意のWebサーバにWheezy用、Precise用とそれぞれ用意しました。下記のようなURLです。

• http://repo.example.org/wheezy/openssh-lpk.patch

• http://repo.example.org/wheezy/rules.patch

• http://repo.example.org/precise/openssh-lpk.patch

• http://repo.example.org/precise/rules.patch

また、一次ビルドで出力するソースパッケージは、/var/tmp/resultディレクトリを作成し、後述のスクリプトでそこに出力するようにします。

$ sudo install -d -o tomcat7 -g tomcat7 --mode 0700 /var/tmp/result

一次ビルド、といっているのはパッチを適用した状態で、一度debuildを実行して出力されるソースパッケージのことです。その出力されたソースパッケージを用いて、pbudilerでクリーンビルドする、という流れです。

ソースツリーからpbuilderを実行するpdebuildコマンドを使えば、そんな面倒なことをする必要はありません。が、Wheezy上でPreciseの公開鍵をインポートしなくてはいけない点と、PreciseとWheezyとで基本的に同じ手順で行いたい、という二点から、pbuilderを2回実行する形にしました。

ジョブ用のスクリプト

Wheezy, preciseとで基本同じなので、先頭の2行のみを環境に合わせて変更します。Wheezyの場合は、codenameをwheezy, distroにはstableにしますが、Preciseの場合には両方共preciseです。 5

codename=wheezy
distro=stable
bin_package=openssh-server
src_package=openssh
arch=$(dpkg-architecture -qDEB_HOST_ARCH)

# check version
cat << EOF > check_version.sh
apt-cache show $bin_package | grep Version: | sort | tail -1 | grep -v +cust > /var/tmp/result/${BUILD_ID}.txt
exit 0
EOF
sudo pbuilder --update --basetgz /var/cache/pbuilder/${codename}-base.tgz
sudo pbuilder --execute --basetgz /var/cache/pbuilder/${codename}-base.tgz --bindmounts "/var/tmp/result" -- check_version.sh
test -s /var/tmp/result/${BUILD_ID}.txt || exit

deb_version=$(awk -F: '{print $3}' /var/tmp/result/${BUILD_ID}.txt)
orig_version=$(echo $deb_version | awk -F"-" '{print $1}')

# retrieve source package and patches
cat << EOF > build.sh
apt-get -qq -y install curl devscripts quilt patch libdistro-info-perl fakeroot libldap2-dev
apt-get -qq -y build-dep $bin_package

apt-get source $src_package

curl -O http://repo.example.org/${codename}/openssh-lpk.patch
curl -O http://repo.example.org/${codename}/rules.patch
(
export DEBFULLNAME="Auto Build"
export DEBEMAIL=autobuild@example.org

cd ${src_package}-${orig_version}
echo "### applying patch ###"
patch -p1 --dry-run < ../openssh-lpk.patch || exit 1
patch -p1 < ../openssh-lpk.patch

echo "### commiting patch ###"
echo | dpkg-source --commit . openssh-lpk.patch ../openssh-lpk.patch

echo "### update Build-Depends ###"
sed -i 's/^\(Build-Depends: .*\)$/\1, libldap2-dev/' debian/control

echo "### update compile options ###"
patch -p1 --dry-run < ../rules.patch
patch -p1 < ../rules.patch

echo "### update changelog ###"
dch -l+cust -D${distro} "Applied OpenSSH LPK patch."

echo "### build package ###"
debuild -us -uc
)

cp -f ${src_package}_${deb_version}+cust1.debian.tar.gz ${src_package}_${orig_version}.orig.tar.gz ${src_package}_${deb_version}+cust1.dsc /var/tmp/result/
EOF

sudo pbuilder --execute --basetgz /var/cache/pbuilder/${codename}-base.tgz --bindmounts "/var/tmp/result" -- build.sh

# clean build
sudo pbuilder --build --basetgz /var/cache/pbuilder/${codename}-base.tgz /var/tmp/result/${src_package}_${deb_version}+cust1.dsc

# installing test
sudo piuparts -b /var/cache/pbuilder/${codename}-base.tgz -d $codename --keep-sources-list /var/cache/pbuilder/result/${src_package}_${deb_version}+cust1_${arch}.changes

大まかな流れとしては次のとおりです。

1. カスタムビルドパッケージよりも更新されたバージョンがリリースされていないかのチェック

2. pbuilderを使い、chroot環境内でのソースパッケージとパッチの取得・適用及びビルド

3. ビルドして生成されたソースパッケージを用い、pbuilderでクリーンビルド

4. クリーンビルドしてできたパッケージを、piupartsでインストールテスト

公式パッケージで更新されてパッチ適用したバージョンよりも新しいバージョンがリリースされている場合、このジョブを実行すると、パッチ適用してビルドされたパッケージが、Jenkinsサーバの/var/cache/pbuilder/resultディレクトリ下に作成されます。

後は別のジョブでdebsignでGPG key signし、repreproのincomingディレクトリにpushすれば良いわけです。 6

この記事のオチ

さて、これで自動ビルドできるようになったので楽できるわー、と思ったら、このジョブを仕込んた翌日に、 OpenSSH 6.2 以降で

• AuthorizedKeysCommand

• AuthorizedKeysCommandUser

というオプションが使えるようになったことを同僚に教えてもらいました。つまり、「もはやOpenSSH LPKなんて不要になった！」ワケです。素晴らしい。

来週リリース予定のUbuntu 14.04 LTS(Trusty)ではOpenSSH 6.6ですし、WheezyでもBackportsに6.5にあるのでわざわざこんな手の混んだことをしなくても、ミラーをすればよいのです。 なので、このジョブそのものはたった一日で不要になってしまいました。

ただし、Precise用にはWheezyのBackportsのソースパッケージをリビルドする必要があるので、今回やった事自体は役立ちそうです。このジョブに比べたら（リビルドさえちゃんと確認できれば）なんてこと無いですね。

もっと簡単にマルチディストリビューション向けに自動(カスタム)クリーンビルドする方法があれば、どなたか教えて下さい。

追記

• check_version.shに exit 0 を忘れていたので、ローカルアーカイブの方にパッチ適用済みのパッケージが存在すると、ジョブがコケてしまう、ので修正しました。

• @mizuno_as さんに複数環境向けにビルドするならpbuilder-distの方が便利ですよ、と教えてもらったので、後日検証しようと思います。

追記2

• –bindmounts オプションを /var/tmp/result /tmp としていたのですが、pbuilderのbindmountsオプションの挙動を勘違いしていました。こうするとホストの/var/tmp/resultとchroot内の/var/tmp/result、そしてホストの/tmpとchroot内の/tmpがbind-mountされるので、今回であれば/var/tmp/resultだけを記述すれば良かった、ということでした。(修正済み)

Footnotes

1

OpenSSH LDAP public key

2

Applying openssh-lpk to Wheezy

3

cowbuildreを使うことも検討したのですが、Precise上で cowbuilder –create すると失敗するためpbuilderを使うことにしました。

4

exitコマンドではなく、Ctrl + dでログアウトすると、”–save-after-login” オプションをつけていても変更が保存されないようです。

5

Wheezyでは、dchコマンドの”-D”オプションでのディストリビューションの指定には、Ubuntuと違ってコードネームの”wheezy”ではなく、”stable”でないとエラーになります。

6

今回はdebsign, repreproへのpushについては書きませんが。

直接実行の場合

OpenJDKを使うため、default-jre-headless パッケージをインストールします。あとは、warファイルをダウンロードして直接実行するだけです。

$ sudo apt-get intall default-jre-headless
$ wget http://mirrors.jenkins-ci.org/war/latest/jenkins.war
$ java -jar jenkins.war

検証途中で、権限周りの設定をしている時に間違えてEnterを打ってしまい、何もできなくなるというエライことに。きっと これよくある問題 なんでしょうね。

DebianパッケージのTomcat上で動かす場合

本題です。Tomcat7をまずDebianパッケージでインストールします。

$ sudo apt-get install tomcat7 tomcat7-admin

インストールしたら自動的にTomcatが起動しますが、何の権限も無くてtomcatのweb管理画面にもアクセスできないので、/etc/tomcat7/tomcat-users.xmlを変更し、下記を<tomcat-users>の子要素として追加します。ユーザ名、パスワードは適当に設定して下さい。

<tomcat-users>
    (snip)
        <role rolename="manager"/>
        <role rolename="manager-gui"/>
        <role rolename="admin-gui"/>
        <user username="tomcat" password="passw0rd" roles="manager,manager-gui,admin-gui"/>
</tomcat-users>

設定したら、tomcat7を再起動します。

$ sudo service tomcat7 restart

これで、設定したユーザ、パスワードを使って、 http://tomcat.example.org:8080/manager/ からTomcat管理画面にアクセスできます。あとは、先ほどダウンロードしたwarファイルを使ってデプロイしてやれば、 Jenkinsが起動します。

と思ったら大間違いで、デプロイできても起動できません。

原因は、tomcat7パッケージで作られるtomcat7ユーザのホームディレクトリの位置です。 tomcat7ユーザのホームディレクトリは、/usr/share/tomcat7になっているのですが、/usr以下のディレクトリはパッケージのインストール以外で置かれる静的ファイル以外は基本置かれません。しかし、Jenkinsは実行ユーザのホームディレクトリの直下に、.jenkinsディレクトリを作成し、そこに各種出力をします。/usr/share/tomcat7の所有権はrootユーザおよびrootグループであり、自由に書き込みはできません。

なので、次のようにしてやることで、この問題を回避できます。 2

$ sudo install -d -o tomcat7 -g tomcat7 -m 700 /var/lib/jenkins
$ sudo ln -s /var/lib/jenkins /usr/share/tomcat7/.jenkins

あとは、tomcatを再起動すれば、Jenkinsが起動します。

この問題、TomcatもUpstreamのwarファイルを使うか、あるいはJenkinsも公式のDebianパッケージ 3 を使えば発生しない現象ですね、おそらく。しかし、Wheezyでは残念ながら公式パッケージにJenkinsは含まれていないので、Debianパッケージを用意するならSidからのバックポートが必要になります。が、ビルドの依存関係多いので、jenkins以外にもバックポートが多数必要という罠。今回バックポートせずにJenkinsだけをwarファイル使ったのは、たんに私の甘え＆ゆとりです。

Footnotes

1

本来のきっかけとは別に、SidからWheezyやPrecise向けにDebianパッケージをバックポートしたり、自前のツールをDebianパッケージにする際のオートビルド環境として、jenkins-debian-glue が良いよ、と @lurdan に教えて頂いたので、それも動機となっています。

2

/usr/share/tomcat7/.jenkinsディレクトリを作って、所有権をtomcat7:tomcat7にする、というのでも動きますが、お行儀悪いのでやめましょう。

3

Upstreamが配布しているDebianパッケージもあります が、これはDebianの公式パッケージではないので、私は使いません。

まとめ

今まで、パスワードなどはvars_promptで都度入力し、TLS証明書＆秘密鍵などは別途配布する、という方法でやっていました。 これでplaybook自体にansible-vaultで暗号化して管理できるので、vautl passwordのみ、keepassなどで管理すれば良さそうです。

今回の味付け変更のトピック

で秘伝のタレはDebianのバージョンアップのタイミングで味付けが変わるのですが、LennyからSqueezeの時はそんなに大きな違いはなかったのですが、今回のSqueezeからWheezyに変わったタイミングで、地味ですが一つ嬉しい変更がありました。 3 それは、コンテナのconfigに、”lxc.network.ipv4.gateway”を追加すると、default gatewayが自動設定されるということです。 4 これ、使い始めた当時(2009年ごろ)欲しかった機能の一つでした。 5 便利になったものですね。

今回のアップグレードのまとめ

では、今回やったアップグレードのメモを残しておきます。 テスト自体は、さくらのVPSで稼働中のVMイメージを、さくらのクラウドにアーカイブし、そのアーカイブからさくらのクラウドで起動し、そのイメージでアップグレードテストを行いました。

-               invoke-rc.d rsyslog reload > /dev/null
+               invoke-rc.d rsyslog rotate > /dev/null

-*.emerg
+*.emerg                                :omusrmsg:*

auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug br0
iface br0 inet static
    bridge_ports eth0
    bridge_fd 0
    address 192.0.2.100
    netmask 255.255.255.0
    gateway 192.0.2.1

余談

コンテナを止めずにホストのアップグレードをしてしまったので、稼働中のカーネルではlxcのwheezyのバージョンに対応しておらず、ホストのカーネル再起動のときにコンテナも一緒に（自動的に）停止する、ということになってしまったですが、ホスト再起動後、前述のlxc.network.ipv4.gatewayを設定していなかったのにも関わらず、コンテナを起動してもなぜかdefault gatewayが設定される、という現象が発生しました。 6 アップグレード前に正常停止させなかったから停止前の状態が残っていたのかもしれません。

ちなみに、このブログの冒頭の話をFaebookに書いたら、ITエンジニアではない方から「宇宙語？」と突っ込まれたのが本日のトピックです。w

追記

アップグレード後に新たにコンテナを追加したら、

lxc.cap.drop = sys_module mac_admin mac_override sys_time

が追加されていたので、既存のコンテナにも追加しました。日本語でのCapability関連は tenforward さんの メモ が詳しいです。

Footnotes

1

ちなみに、Lennyの時は当然さくらのVPSではありませんでしたが、さくらのVPSに移行するときには、Lennyで使っていたLXC関連の設定とコンテナのrootfsはそのままそっくり移行しました。

2

というかDockerですかね。

3

まぁ、今までと挙動が変わったでハマった原因でもあります。

4

裏を返せば、秘伝のタレの我が家のコンテナは、/etc/network/interfacesにgateway設定していたのだから(ry

5

当時は、debootstrapでrootfsを作ったあと、コンテナ起動前に/path/to/container/rootfs/etc/network/interfaces を変更する、ということをやっていた訳です。

6

なのでコンテナを一度停止してから再度稼働させるとデフォルトゲートウェイが設定されておらずハマった、という…。

sysvinit対応

sysvinitの対応は、dh_makeコマンドで生成されるテンプレートのdebian/init.dを使います。シングルバイナリパッケージの場合、ファイル名はdebian/init.dのままでも良いのですが、マルチバイナリパッケージの場合には、バイナリパッケージの名前をprefixにつけて、debian/<パッケージ名>.initのように変更します。yrmcdsのinit.dは sources.debian.net の次のURLで確認できます。 3

http://sources.debian.net/src/yrmcds/1.0.3-4/debian/yrmcds.init

check_for_upstart関数を定義し、/lib/lsb/init-functionsで定義されているinit_is_upstart関数を使って、upstartを使っている場合は、このスクリプト（つまり/etc/init.d/yrmcds)が実行されないようにしています。

upstart対応

upstartはテンプレートがありません。ファイル名は、debian/<パッケージ名>.upstartとして、upstart scriptを用意します。yrmcdsの場合、upstream側でetc/upstartが用意されています。upstreamのupstart scriptは、keepalivedの制御が入っていますが、Debianパッケージとしてはkeepalivedに依存するわけではないので、この部分はコメントアウトして、 debian/yrmcds.upstart としました。

systemd対応

systemdの場合は、debhelperのadd onとして、dh-systemdが用意されています。 ですので、まず、 debian/control のBuild-Dependsに、dh-systemdを追記します。

Build-Depends: debhelper (>= 8.0.0), (snip), dh-systemd (>= 1.5), (snip)

次に、 debian/rules の%ターゲットのdhコマンドのオプションとして、systemdを追記します。

%:
     dh $@ --with quilt,systemd

systemd用の設定ファイルは、upstartと同様テンプレートは用意されていません。debian/<パッケージ名>.serviceとして用意します。debian/yrmcds.service として作成します。

上記のみで、あとはdh-systemdが良きように設定してくれるのですが、これだけではpurge(apt-get purge)の時に残骸が残ります。 ですので、 postrm で下記のファイルを削除します。

• /etc/systemd/system/yrmcds.service

• /etc/systemd/system/multi-user.target.wants/yrmcds.service

• /var/lib/systemd/deb-systemd-helper-enabled/yrmcds.service.dsh-also

• /var/lib/systemd/deb-systemd-helper-enabled/multi-user.target.wants/yrmcds.service

• /var/lib/systemd/deb-systemd-helper-masked/yrmcds.service

initの切替

debuildして作成したパッケージは、最小構成で作っておいたSidのVMを使ってテストを行います。パッケージ側ではsysvinit, upstart, systemdの切替の際に特に設定をすることはありません。 Debianはデフォルトではsysvinitになっているので、sysvinitからの切替が必要になります。upstartの場合は、upstartパッケージをインストールするだけで、sysvinitから自動的に切り替わります。 一方、systemdの場合は、systemdパッケージをインストールするだけでは、切り替わりません。今はブートローダーにGRUBを使っていることがほとんどだと思いますが、/etc/default/grubの GRUB_CMDLINE_LINUX_DEFAULT に init=/lib/systemd/systemd を追記し、 update-grub を実行する必要があります。 4

Footnotes

1

2014/01/30現在のバージョンは 1.0.3-4 で、対応アーキテクチャは、linux-anyです。

2

某所のローカルアーカイブ用には、FlaskやDjangoアプリ用にsysvinit対応のパッケージは作成していましたが、公式パッケージとしては初めてです。

3

現状ではテンプレートの不要な処理をコメントアウトしただけの箇所が多いので、次のアップデートの時に削除する予定です。

4

https://wiki.debian.org/systemd#Issue_.231:_sysvinit_vs._systemd-sysv

昨年の主なトピック

時系列で追ってみてわかったのですが、家庭、仕事、Debian、どれかが原因、ではなく、いろいろな事象が自分の体調に影響していました。

• 2月

  • 新データセンターをリリース

    • 2012年11月からこの頃まで大体終電続き

  • 父の見舞いに、金曜の晩に職場から、あるいは週末に実家に帰っていた

  • 右足に痛みが出始める

• 3月

  • 父他界

    • 父の葬儀後、働いていた方が気が休まると思い、そのまま仕事再開

    • この時にリフレッシュ休暇を取っておけば違っていたのかもしれない

  • 8月ごろまで法事で父の実家の神戸に行ったり、最近も遺産相続手続きで実家にちょくちょく帰ったり

• 4月

  • 接骨院に通い始める

    • 歩き方が原因だったらしく、その後、右足の痛みは治った

  • しかし、その後の体調不良が重なったり、娘を抱っこした際に腰痛になったりして10月まで通う

• 5月

  • 上部消化管内視鏡検査で、逆流性食道炎が見つかる

    • 胸のあたりに違和感があったので検査をしてもらったところ逆流性食道炎になっていた

    • 投薬治療始める

  • 妻、別件で通院始める

• 6月

  • 大統一Debian勉強会2013開催

    • 二回目の開催。スタッフとして再度参加

    • スポンサー募集も行ったので、お金の管理が必要ということで会計を担当

    • 運営内部では結構いろいろあった

• 7月

  • 仕事でGrizzly版のKeyStoneの検証と、要件に合わせた修正（＝魔改造）を始める

    • これも後述の体調不良のストレスの要因の一つだったのだろう

• 8月

  • 黒色の便が出始める

    • 二回目の上部消化管内視鏡検査を行うも、異常見つからず

    • 逆流性食道炎は快癒

  • 娘と外で遊んでいるときに、肘内障にさせてしまう

  • Django関係など、仕事で使うソフトウェアのDebianパッケージのメンテナンス始める

    • それまでは仕事よりも、プライベートでの用途が主な動機

    • Django REST framework を仕事メインで使い始めたのがきっかけ

    • 自分で作ったツール (backup2swift, swiftsc)もDebianパッケージに。

• 9月

  • 大腸内視鏡検査

    • この頃、下痢も伴ったので、実際には黒ではなく、黒緑色だったことが判明

    • 念の為の検査であったのでやはり異常見つからず

  • 仕事では、KeyStoneの修正（魔改造）プロジェクトを断念

• 10月

  • 新チーム体制でプロジェクトをリセット

  • ピタッと便の異常止まる

    • その後、家庭の事情のストレスなどがあった時に再発したので、ストレスが原因であったことが判明

  • 娘が二回目の肘内障

• 11月

  • 娘が熱痙攣を起こし、救急外来に

    • 初めての経験でかなり大変だった

  • 娘が三回目の肘内障

• 12月

  • 諸事情により、自動車を買い換え

  • 妻が食事、トイレ、風呂以外安静にしなくてはいけなくなり、兼業主夫を再開＆母親代わりの一人三役生活を始める

  • 娘が風邪を引き、それを自分も伝染ってしまったため、妻を自宅に置いて、娘と二人で実家に一週間疎開

総括

2013年は娘の生まれた2012年以上にいろいろありすぎたこと、また自分で思っているよりもしっかり休みを取らないと体調を崩すようになったのを実感した年でした。ストレス要因で体調悪化していただけでなく、年末に風邪をひいて体調崩したのも、結局は自分では大丈夫だ、と思って一人三役を頑張り過ぎた結果によるものでした。

新年を迎えて

今年の抱負は、昨年の達成できなかった「健康第一」としました。また昨年の反省から「休むときにしっかり休む」「人に頼る」「無理をしない」を念頭に置きたいと思います。

諸事情により妻の状態については触れませんが、現在の一人三役の生活はまだ2,3ヶ月ほど続きます。妻の両親、実家の家族の協力や、職場の上司や同僚の理解を得られてはじめて成り立っています。大変感謝しております。

動きたくても動いてはいけない妻には娘や私の様子に心配をさせてしまい、娘には母親に甘えたくても甘えさせられず、さらに急に保育園に通わせるようになったり、妻の実家に数日預けたりと、突然の環境の変化に一番辛い目に合わせてしまっていますが、2,3ヶ月後に今の状態を無事に終えるようにすることが、目下の目標であり、夫、父親、家計の主としての責務です。

勉強会関係は、娘が産まれてから基本Debian関係しか参加していませんが、Debian勉強会への参加もおそらく4月以降でないと難しい状況です。今の状況が落ち着いたら勉強会への参加を再開したいと思っています。また、Debianパッケージのメンテナンスももう一歩ステップアップしたいと考えています。

ブログは一昨年から勉強を兼ねて英語で書くようにしていますが、今年も継続しようと思っています。が、新年最初のエントリーは年末のDebian/Ubuntu Advent Calendar 2013の流れでそのまま日本語にしてしまいました。

プログラミングは専らPythonで時間取れたときにはそこそこやっていたのですが、最近はなかなか時間が作れなくなってしまい、めっきりです。

昨年、 @miurahr さんから伺った朝の30分コードハックの習慣をつけようと思います。最近、ようやく起床から娘のトイレの世話、朝食の用意＆片付け、洗濯、保育園への送りなどが、すこし要領よくできるようになってきたこともあるので。

各所、当面いろいろご迷惑をお掛けすると思いますが、どうぞよろしくお願いします。

はじめに

ネットワーク機器へのアクセス制御用のプロトコルに TACACS+ というのがあります。またプロトコルと同じ名前の、Unix/Linux 上で動くデーモンもあります。元々CiscoがGPLv2で公開したものを機能拡張してメンテナンスされているのが リンク先 で公開されているもので、これは Debianパッケージ にもなっています。

背景

ネットワークエンジニア自体の数はたいてい少数で、共有アカウントでのネットワーク機器の運用を行っていることも多いかと思います。しかし、一方で、誰が何をやったのか、という作業ログは取りたい、という要望もあるでしょう。するとアカウンティングは最低限TACACS+でやろう、という話になるかと思います。そのついでに個人ユーザ化もできると良いよね、という展開になりますね。

さて、TACACS+では個人ユーザアカウントを作るには、設定ファイル(/etc/tacacs+/tac_plus.conf)で次のいずれかの設定を行います。

• loginディレクティブなどで指定したpasswd(5)フォーマットのファイルでユーザ管理する

• 必要なユーザ数分、userディレクティブで定義する

前者の場合、ユーザ名、および平文もしくはDES暗号化したパスワードを下記のように記述したファイルを作成します。

user1:password::::
user2:password::::

これを、 `login = file /path/to/passwd` として設定します。この方法のメリットは、このファイルを更新しても、tac_plusデーモンを再起動する必要がないことです。しかしこの方法の最大のデメリットは、この方法での一番のネックは「DESで暗号化したパスワードが必要」という点です。既にLDAPなどでユーザアカウントの管理を一元管理している場合、パスワードをユーザに入力させて、平文のパスワードをDESで暗号化し、その暗号化されたパスワードをこのファイルに登録ないし、更新を行わなければなりません。この方法を使うのであれば、LDAP用のパスワード変更用UIのバックエンドでこのファイルの更新処理も行うようにするという方法になるかと思いますが、処理が面倒な上、そのUIの管理が自分でない場合は、さらに(その管理者との)調整なども面倒です。また、ファイルの読み取りができればBrute force attackでパスワードの解読も可能な点も考えると、LDAPなどで一元管理していても別で漏れてしまう可能性がある方法を採用するのは避けたいところです。

一方、後者の必要なユーザ数分、userディレクティブで定義する場合、基本的には次のような設定を行います。 2

user = fred {
    login = des mEX027bHtzTlQ
    # (snip)
}

これではここにユーザ設定した上にDESで暗号化したパスワードも記述しないといけない分、先ほどのpasswdファイルでの管理よりも不便になってしまいます。そこで、PAMとの連携です。loginで指定している認証方法には PAM を使うこともできます。設定方法は下記の通りです。

user = fred {
    login = PAM
}

認証自体はPAMに任せてしまえば、あとはPAMで良きように計らってくれるのです。つまり、pam-ldapを使い、LDAPでユーザ認証を行っているのであれば、TACACS+で認証させたいユーザアカウントをtac_plus.confに定義だけ行っておけば、パスワード自体の管理は行う必要はありません。先ほどよりも結構便利です。

しかし、この方法もまだ不便な点があります。つまりtac_plus.confにユーザ定義を行わないと行けない、という点です。ユーザの追加・削除のたびにtac_plus.confを変更するという運用を行わなければいけません。

対応

とりうる対策としては2つです。

1. LDAPからユーザアカウントが登録 or 削除されたら、tac_plus.confを書き換え、tac_plusにSIGHUPを発行する

2. default authentication をPAM対応させる

前者で行うなら、LDAPのパスワード変更用UIのバックエンドで処理させたり、定期的にLDAPのデータをチェックして更新するようなジョブを組めば良いかもしれません。しかし、ansibleなどでpush型で反映するなり、TACACS+サーバ上で、ldapsearchの結果を元に変更するpull型でも即時反映されずタイムラグがある点を考慮すると微妙な感じです。

後者のdefault authenticationは、tac_plus.confで使えるデフォルトの認証方法の指定を行うためのディレクティブです。 が、現時点では前述の login ディレクティブなどで設定する、 file /path/to/passwd のような値しか取れません。なので、現時点ではgroup ディレクティブの中でloginの値として使う場合と同様、 TACACS+サーバにpasswd ファイルを配置し、その管理を行わなければなりません。 そこで、このdefault authenticationでPAMをサポートするようにしたのが今回の対応です。

default authentication = PAM

上記の設定を行うことで、個々のuserディレクティブの設定が不要になります。 3

この対応を、Sid版のtacacs+ 4.0.4.26と、Wheezy版の4.0.4.19にパッチを当てて、git-buildpackagesで管理したものをGitHubで公開しています。なので、git-buildpackageコマンドで自分でDebianパッケージを作成してお試しいただくこともできます。

• for Wheezy

• for Sid

また、Upstreamにパッチが取り込まれると、手離れできて嬉しいので、 MLに投稿してみました 。が、今のところ開発者からの反応はないので取り込まれるのは難しいのかなぁという感じです。クリスマスまでに反応があれば最高のクリスマスプレゼントなんですけどね。 :)

1

またしてもホノルル時間です。

2

この例はtac_plus.conf(5)に載っている例の一部引用です。

3

ちなみにgroupディレクティブにlogin = PAMを設定すれば良いのではないか、と考えるかもしれませんが、その設定を行った場合でも、個々のuserディレクティブの設定が必要です。

presice の場合

cp -f /dev/null /etc/resolvconf/resolv.conf.d/original
sed -i 's/domain-name-servers, //' /etc/dhcp/dhclient.conf
cat << 'EOF' >  /etc/network/interfaces
> auto lo
> iface lo inet loopback
>
> auto eth0
> {% if host.ipv4 %}
> iface eth0 inet dhcp{% endif %}
> iface eth0 inet6 auto
>     dns-nameservers {{ dns_ipv6 }}
>     dns-search {{ subdomain }}.{{ dns_suffix }} {{ dns_suffix }}
> EOF

wheezy の場合

$ apt-get install -y resolvconf
$ cp -f /dev/null /etc/resolvconf/resolv.conf.d/original
$ sed -i 's/domain-name-servers, //' /etc/dhcp/dhclient.conf
$ cat << 'EOF' >  /root/interfaces
> auto lo
> iface lo inet loopback
>
> auto eth0
> {% if host.ipv4 %}
> iface eth0 inet dhcp{% endif %}
> iface eth0 inet6 auto
>     dns-nameservers {{ dns_ipv6 }}
>     dns-search {{ subdomain }}.{{ dns_suffix }} {{ dns_suffix }}
> EOF
$ sed -i 's/{{ host }}.bad/{{ host }}.{{ subdomain }}.{{ dns_suffix }}/g' /etc/hosts
$ echo '{{ host }}.{{ subdomain }}.{{ dns_suffix }}' > /etc/mailname
$ test -x /usr/sbin/postconf && /usr/sbin/postconf -e mydomain='{{ subdomain }}.{{ dns_suffix }}'

preciseとの違いとして、resolvconfをインストールとPostfixの設定を行っています。これらはUbuntu, DebianとでOSインストール後の設定や挙動を同じにするためです。preciseではresolvconfがデフォルトでインストールされますが、wheezyではインストールされません。また、後者はDebianではデフォルトMTAはEximなのでこれをPostfixに変更しているのですが 1 、これらの設定を行わないと、localhost.localdomainのままになっているからです。

/etc/resolvconf/resolv.conf.d/originalを/dev/nullで上書きし、/etc/dhcp/dhclient.confでdomain-name-serversを削除していますが、これらは、前述のOSインストール時にはIPv4を使い、インストール後にはIPv6をデフォルト、必要に応じてデュアルスタックにする、というところに副作用があるためです。

このoriginalファイルはインストール時の情報を元に下記のように設定されます。wheezyの場合は、resolvconfパッケージをインストールした時点で、/etc/resolv.confの情報を元に設定されます。

search sub.example.org example.org
nameserver 192.0.2.1

しかしIPv6をデフォルトとしている環境なので、nameserverは、IPv6アドレスになっていることが本来の期待値です。

なので、これをこのままにしておくと、再起動やnetworkingの再起動時などの/etc/network/if-up.d/000resolvconfでresolvconf -aが実行されると、/etc/resolv.confの内容が書き換えられてしまう、という問題が発生します。なので、originalの中身を消しておけば、OS起動時などにRAで通知される値が正しく割り当てられます。

また、デュアルスタックを使用している場合には、DHCPのリース更新時や、dhclientの手動実行、あるいはservice networking restart実行時に、/etc/resolv.confのnameserverの値がIPv4に設定されてしまいます。これは、上述のdomain-name-serversを削除することによって、IPv6アドレスのままになります。なお、domain-nameを同様に削除すると、dhclient実行時に、下記のようなエラーが発生してしまうため、これは削除しません。

$ sudo dhclient eth0
RTNETLINK answers: File exists
chmod: cannot access `/etc/resolv.conf.dhclient-new.1276': No such file or directory
mv: cannot stat `/etc/resolv.conf.dhclient-new.1276': No such file or directory

今の職場環境の特殊事情ではありますが、もし同様なケースの場合には参考にしてみてはいかがでしょうか。

Footnotes

1

ごめんなさい、小室さん

See also

The “auto” parameter is not yet modified in following document.

B.2.3. Auto mode

version.h

Index: openssh-6.0p1/version.h
===================================================================
--- openssh-6.0p1.orig/version.h        2013-06-20 06:11:07.000000000 +0000
+++ openssh-6.0p1/version.h     2013-06-20 06:23:27.808046150 +0000
@@ -3,7 +3,8 @@
 #define SSH_VERSION    "OpenSSH_6.0"

 #define SSH_PORTABLE   "p1"
-#define SSH_RELEASE_MINIMUM    SSH_VERSION SSH_PORTABLE
+#define SSH_LPK                "lpk"
+#define SSH_RELEASE_MINIMUM    SSH_VERSION SSH_PORTABLE SSH_LPK
 #ifdef SSH_EXTRAVERSION
 #define SSH_RELEASE    SSH_RELEASE_MINIMUM " " SSH_EXTRAVERSION
 #else

Makefile.in

Index: openssh-6.0p1/Makefile.in
===================================================================
--- openssh-6.0p1.orig/Makefile.in      2013-06-20 06:11:07.000000000 +0000
+++ openssh-6.0p1/Makefile.in   2013-06-20 06:25:46.242305737 +0000
@@ -94,7 +94,7 @@
        sftp-server.o sftp-common.o \
        roaming_common.o roaming_serv.o \
        sandbox.o sandbox-null.o sandbox-rlimit.o sandbox-systrace.o \
-       sandbox-darwin.o sandbox-seccomp-filter.o
+       sandbox-darwin.o sandbox-seccomp-filter.o ldapauth.o

 MANPAGES       = moduli.5.out scp.1.out ssh-add.1.out ssh-agent.1.out ssh-keygen.1.out ssh-keyscan.1.out ssh.1.out sshd.8.out sftp-server.8.out sftp.1.out ssh-keysign.8.out ssh-pkcs11-helper.8.out ssh-vulnkey.1.out sshd_config.5.out ssh_config.5.out
 MANPAGES_IN    = moduli.5 scp.1 ssh-add.1 ssh-agent.1 ssh-keygen.1 ssh-keyscan.1 ssh.1 sshd.8 sftp-server.8 sftp.1 ssh-keysign.8 ssh-pkcs11-helper.8 ssh-vulnkey.1 sshd_config.5 ssh_config.5

Execute “dpkg-source –commit”.

In addition to the change at the time of the precise, “confflags + = - with-libs =-lldap” you must append.

confflags += --with-ldap
confflags += --with-libs=-lldap
# (snip)
cflags += -DWITH_LDAP_PUBKEY

Other procedures are the same as for the precise.

CPU temparature

Firstly you should install “lm-sensors” package.

$ sudo apt-get install lm-sensors

lm-sensors has sensors command and sensors-detect command. The former prints sensors information, the latter is enable to detect hardware monitoring chips.

$ sensors
axp-hwmon-isa-0000
Adapter: ISA adapter
T-junction:  +54.5°C  (low  = +10.0°C, high = +105.0°C)  sensor = thermal dioed

$ sensors
axp-hwmon-isa-0000
Adapter: ISA adapter
T-junction:   +0.1°C  (low  =  +0.0°C, high =  +0.1°C)  sensor = thermal diode

$ sensors
No sensors found!
Make sure you loaded all the kernel drivers you need.
Try sensors-detect to find out which these are.

$ sudo sensors-detect
(snip)
Some Super I/O chips contain embedded sensors. We have to write to
standard I/O ports to probe them. This is usually safe.
Do you want to scan for Super I/O sensors? (YES/no):
Probing for Super-I/O at 0x2e/0x2f

Message from syslogd@obsax3 at Jan  8 00:33:13 ...
kernel:Internal error: : 1028 [#2] SMP

Message from syslogd@obsax3 at Jan  8 00:33:13 ...
kernel:Process sensors-detect (pid: 1397, stack limit = 0xeb8882f0)
kohei@obsax3:~$
Message from syslogd@obsax3 at Jan  8 00:33:13 ...
kernel:Stack: (0xeb889f20 to 0xeb88a000)

Message from syslogd@obsax3 at Jan  8 00:33:13 ...
kernel:9f20: 00000001 eb8f6f00 00205998 eb889f70 eb889f6c eb889f40 c00fafa8 c0268880
(snip)

Storage temparature

You should install “hddtemp” package.

$ sudo apt-get install hddtemp

debconf setting is like as following.

• SUID root: no

• interval of check temparature: 0

• daemon: yes

• listen IP address: 127.0.0.1

• port: 7634

hddtemp reads temparature with “S.M.A.R.T.”. It is supported by the following storage;

• HalfSlim SSD 16GB MLC installed at OpenBlockS A6 product version and OpenBlockS AX3 rented

• MLC SSD 128GB(PH-128G/SSDMA/AX3) installed OpenBlockS AX3 purchased

$ sudo hddtemp /dev/sda
/dev/sda: MRSAJ5A016GC118C00: 40 C

$ sudo hddtemp /dev/sda
/dev/sda: ADATA SP900: 27 C

I2C

You should install i2c-tools package.

$ sudo apt-get install i2c-tools

Execute “i2cdetect command” to detect I2C chips.

$ sudo i2cdetect -l
i2c-0   i2c             mv64xxx_i2c adapter                     I2C adapter
i2c-1   i2c             mv64xxx_i2c adapter                     I2C adapter
$ sudo i2cdetect -y 0
     0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f
00:          -- -- -- -- -- -- -- -- -- -- -- -- --
10: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
20: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
30: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
40: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
50: 50 -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
70: -- -- -- -- -- -- -- --
$ sudo i2cdetect -y 1
     0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f
00:          -- -- -- -- -- -- -- -- -- -- -- -- --
10: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
20: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
30: UU UU UU UU UU UU UU UU -- -- -- -- -- -- -- --
40: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
50: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
70: -- -- -- -- -- -- -- --

$ sudo sensors-detect
(snip)
Lastly, we can probe the I2C/SMBus adapters for connected hardware
monitoring devices. This is the most risky part, and while it works
reasonably well on most systems, it has been reported to cause trouble
on some systems.
Do you want to probe the I2C/SMBus adapters now? (YES/no): yes
Sorry, no supported PCI bus adapters found.

Next adapter: mv64xxx_i2c adapter (i2c-0)
Do you want to scan it? (YES/no/selectively):
Client found at address 0x50
Probing for `Analog Devices ADM1033'...                     No
Probing for `Analog Devices ADM1034'...                     No
Probing for `SPD EEPROM'...                                 No
Probing for `EDID EEPROM'...                                No
(snip)

$ sudo i2cdetect -l
i2c-0   i2c             mv64xxx_i2c adapter                     I2C adapter
$  sudo i2cdetect -y 0
     0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f
00:          -- -- -- -- -- -- -- -- -- -- -- -- --
10: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
20: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
30: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
40: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
50: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
70: -- -- -- -- -- -- -- --

ES version of A6

OpenBlockS A6 I rented the first was ES(engineering sample) version. It was exchanged to the product version on the way. The difference of both on the appearance was screws of body. The diameter of the screw hole of product version is smaller than ES version. The storage installed of ES version was ADATA’s 2.5 inch SSD 396 30GB, that of product version was HalfSlim SSD 16GB MLC.

Comaprison v.s. OpenBlockS 600

I compare their bodies against OpenBlockS 600. OpenBlockS A3 is slightly larger than OpenBlockS 600.

Filesystem

I was formatted storage because The storage of ES version was not formatted. It is the same that case I bought OpenBlockS AX3 J. The storatge of product version was already mounted with UnionFS. It was the same that case I had rented OpenBlockS AX3.

$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/ram0 124M 92M 27M 78% /
udev 10M 88K 10M 1% /dev
tmpfs 64M 4.0K 64M 1% /dev/shm
/dev/sda1 14G 618M 13G 5% /.rw
unionfs 14G 618M 13G 5% /etc
unionfs 14G 618M 13G 5% /bin
unionfs 14G 618M 13G 5% /home
unionfs 14G 618M 13G 5% /lib
unionfs 14G 618M 13G 5% /sbin
unionfs 14G 618M 13G 5% /usr
unionfs 14G 618M 13G 5% /var
unionfs 14G 618M 13G 5% /root
unionfs 14G 618M 13G 5% /opt
unionfs 14G 618M 13G 5% /srv
unionfs 14G 618M 13G 5% /media

It is /etc/mtab as folloing.

$ cat /etc/mtab
/dev/ram0 / ext2 rw 0 0
proc /proc proc rw,noexec,nosuid,nodev 0 0
sysfs /sys sysfs rw,noexec,nosuid,nodev 0 0
udev /dev tmpfs rw,mode=0755 0 0
tmpfs /dev/shm tmpfs rw,nosuid,nodev,size=64m 0 0
devpts /dev/pts devpts rw,noexec,nosuid,gid=5,mode=620 0 0
/dev/sda1 /.rw ext4 rw,relatime,barrier=1,data=ordered 0 0
unionfs /etc unionfs rw,relatime,dirs=/.rw/etc=rw:/etc=ro 0 0
unionfs /bin unionfs rw,relatime,dirs=/.rw/bin=rw:/bin=ro 0 0
unionfs /home unionfs rw,relatime,dirs=/.rw/home=rw:/home=ro 0 0
unionfs /lib unionfs rw,relatime,dirs=/.rw/lib=rw:/lib=ro 0 0
unionfs /sbin unionfs rw,relatime,dirs=/.rw/sbin=rw:/sbin=ro 0 0
unionfs /usr unionfs rw,relatime,dirs=/.rw/usr=rw:/usr=ro 0 0
unionfs /var unionfs rw,relatime,dirs=/.rw/var=rw:/var=ro 0 0
unionfs /root unionfs rw,relatime,dirs=/.rw/root=rw:/root=ro 0 0
unionfs /opt unionfs rw,relatime,dirs=/.rw/opt=rw:/opt=ro 0 0
unionfs /srv unionfs rw,relatime,dirs=/.rw/srv=rw:/srv=ro 0 0
unionfs /media unionfs rw,relatime,dirs=/.rw/media=rw:/media=ro 0 0

This UnionFS is controlled by “/etc/init.d/openblocks-setup” and “/etc/default/openblocks”. This init script also controls hardware specific to OpenBlockS. Other are the same as a normal Debian system.

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
tmpfs                 507M     0  507M   0% /lib/init/rw
udev                   10M   48K   10M   1% /dev
tmpfs                 507M     0  507M   0% /dev/shm
rootfs                7.4G  869M  6.2G  13% /

$ cat /etc/mtab
tmpfs /lib/init/rw tmpfs rw,nosuid,mode=0755 0 0
proc /proc proc rw,noexec,nosuid,nodev 0 0
sysfs /sys sysfs rw,noexec,nosuid,nodev 0 0
udev /dev tmpfs rw,mode=0755 0 0
tmpfs /dev/shm tmpfs rw,nosuid,nodev 0 0
devpts /dev/pts devpts rw,noexec,nosuid,gid=5,mode=620 0 0
rootfs / rootfs rw 0 0

Change the NAME and MAIL

Filtering with “git filter-branch –commit-filter” and execute ‘git commit-tree “$@”’, a new commit tree is generated. Original tree is taken a backup to “original/refs/heads”.

$ git filter-branch --commit-filter  '
GIT_AUTHOR_NAME="Kouhei Maeda";
GIT_AUTHOR_EMAIL=mkouhei@palmtb.net;
GIT_COMMITTER_NAME="Kouhei Maeda";
GIT_COMMITTER_EMAIL=mkouhei@palmtb.net;
git commit-tree "$@"
' -- --all
Rewrite 97d9b7d1899f7e6b08d91f5e606c8521f907b01c (43/43)
Ref 'refs/heads/devel' was rewritten
Ref 'refs/heads/master' was rewritten
Ref 'refs/tags/v0.1' was rewritten
WARNING: You said to rewrite tagged commits, but not the corresponding tag.
WARNING: Perhaps use '--tag-name-filter cat' to rewrite the tag.
Ref 'refs/tags/v0.1.1' was rewritten
WARNING: You said to rewrite tagged commits, but not the corresponding tag.
WARNING: Perhaps use '--tag-name-filter cat' to rewrite the tag.
Ref 'refs/tags/v0.1.2' was rewritten
WARNING: You said to rewrite tagged commits, but not the corresponding tag.
WARNING: Perhaps use '--tag-name-filter cat' to rewrite the tag.

It is easy to understand with “gitk –all”.

Rewrite commit messages and contents

$ git filter-branch -f --msg-filter '
sed -e "s/\(Signed-off-by: \).*/\1Kouhei Maeda <mkouhei@palmtb.net>/g"
' -- --all
Rewrite 13cfa3ac719e507168822783822fa2480018a5ec (82/82)
Ref 'refs/heads/devel' was rewritten
Ref 'refs/heads/master' was rewritten
Ref 'refs/tags/v0.1' was rewritten
WARNING: You said to rewrite tagged commits, but not the corresponding tag.
WARNING: Perhaps use '--tag-name-filter cat' to rewrite the tag.
Ref 'refs/tags/v0.1.1' was rewritten
WARNING: You said to rewrite tagged commits, but not the corresponding tag.
WARNING: Perhaps use '--tag-name-filter cat' to rewrite the tag.
Ref 'refs/tags/v0.1.2' was rewritten
WARNING: You said to rewrite tagged commits, but not the corresponding tag.
WARNING: Perhaps use '--tag-name-filter cat' to rewrite the tag.

$ git filter-branch -f --tree-filter '
find ./ -name "*.py" -o -name "*.rst" -o -name "*.html" -o -name "*.1"| xargs sed -i "
s/mkouhei@workstation.example.com/mkouhei@palmtb.net/g
s/Kohei Maeda/Kouhei Maeda/g
s/http:\/\/scm.example.com/https:\/\/github.com\/mkouhei/g
s/Kohei Maeda <mkouhei@workstation>/Kouhei Maeda <mkouhei@palmtb.net>/g
s/mkouhei/testuser/g
s/test.example.com/ldap.example.org/g
s/dc=example,dc=com/dc=example,dc=org/g
"' -- --all
Rewrite 05db18486e3285bb6178d8da0c8952e63542ec80 (82/82)
Ref 'refs/heads/devel' was rewritten
Ref 'refs/heads/master' was rewritten
Ref 'refs/tags/v0.1' was rewritten
WARNING: You said to rewrite tagged commits, but not the corresponding tag.
WARNING: Perhaps use '--tag-name-filter cat' to rewrite the tag.
Ref 'refs/tags/v0.1.1' was rewritten
WARNING: You said to rewrite tagged commits, but not the corresponding tag.
WARNING: Perhaps use '--tag-name-filter cat' to rewrite the tag.
Ref 'refs/tags/v0.1.2' was rewritten
WARNING: You said to rewrite tagged commits, but not the corresponding tag.
WARNING: Perhaps use '--tag-name-filter cat' to rewrite the tag.

re-tags

I used a signed tag, so replace the same name tag with “-f” option. Firstly I confirmed date of original tag.

$ git show v0.1
tag v0.1
Tagger: Kouhei Maeda <mkouhei@palmtb.net>
Date:   Wed Dec 19 01:42:35 2012 +0900

release 0.1
(snip)

commit 795897ff28cea6512c457de02a1d6043236c685b
Merge: c4bc5bf a90fa12
Author: Kouhei Maeda <mkouhei@palmtb.net>
Date:   Wed Dec 19 01:39:02 2012 +0900

Merge branch 'devel'

Confirm commit hash of the same commit in a new tree.

$ git log --oneline :/Merge branch 'devel'
(snip)
1f1a023 Merge branch 'devel'
7e2682a closed #19 packaging Debian package
89a35fe Fix fail to execute console script

Replace tag.

$ GIT_COMMITER_DATE="2012-12-19 01:42:35+0900" git tag -f -s -m "release 0.1" -u 7E37CE41 v0.1 1f1a023

次のユーザーの秘密鍵のロックを解除するには
パスフレーズがいります:“Kouhei Maeda <mkouhei@palmtb.net>”
4096ビットRSA鍵, ID 7E37CE41作成日付は2009-06-19

Updated tag 'v0.1' (was 83cb501)

Repeat as many as numbers of tags. You should confirm commit messages and contents before you will push new remote repository.

See also

• 6.4 Git のさまざまなツール - 歴史の書き換え

Review last year

This year

I decided two simply.

GPTとは

GUIDパーティションテーブル(GUID Partition Table)の略で、EFIの一部であることから、rEFItを使ってIntel Mac、特にMacBookなどにDebianをインストールしている面々には聞きなれた用語かと思います。EFIはx86アーキテクチャのBIOSに、GPTはMBRを置き換えるものとなっています。MBRの場合、2TBの壁がありますが、最近のディスクの大容量化により、2TBを超えるディスクを持っている方も増えているのではないかと思います。

ちなみに我が家では、OpenBlockS 266で使用している40GBとか80GBの5400rpmの2.5インチハードディスクが大半で、普段つかっているMacBook Pro 15インチは120GBのSSD、一番大きい容量でもMac miniの500GBなので、2TBを超えるなんてまだ当面先の話です。

閑話休題。2TBを超えるディスクといえば、1Uサーバでもお目にかかるようになりました。今回、職場で導入するサーバの一部で、2TBを超えるサーバにpreseedでUbuntu 12.04 LTSをインストールすることになったので、説明したいと思います。

Preseedについて

Preseedでの書き方について触れる前に、そもそもPreseedって何ぞや、という方のために少し説明。PreseedはDebianおよびDebianから派生したディストロで使用される、自動インストールのための仕組みです。みんな大好きRHEL系のディストロではKickStartに相当するものです。Debian系ではKickStartを使ってPXEブートで自動インストールすることもできますが、できることに一部制限があるので、Preseedを使うのがよいでしょう。

preseedでのパーティショニング

公式ドキュメントの B.4.7. パーティション分割 に例が記述されています。細かく指定するには、”partman-auto/expert_recipe”を使うのですが、残念ながらこの指定方法について細かく載っているマニュアルは、ネットで検索してもなかなか出てきません。上記リンク先で説明のあるとおり、debian-installerパッケージに含まれる、/usr/share/doc/debian-installer/devel/partman-auto-recipe.txt.gzを読むのが良いでしょう。公式ドキュメントのサンプルでは、

# If not, you can put an entire recipe into the preconfiguration file in one
# (logical) line. This example creates a small /boot partition, suitable
# swap, and uses the rest of the space for the root partition:
#d-i partman-auto/expert_recipe string                         \
#      boot-root ::                                            \
#              40 50 100 ext3                                  \
#                      $primary{ } $bootable{ }                \
#                      method{ format } format{ }              \
#                      use_filesystem{ } filesystem{ ext3 }    \
#                      mountpoint{ /boot }                     \
#              .                                               \
#              500 10000 1000000000 ext3                       \
#                      method{ format } format{ }              \
#                      use_filesystem{ } filesystem{ ext3 }    \
#                      mountpoint{ / }                         \
#              .                                               \
#              64 512 300% linux-swap                          \
#                      method{ swap } format{ }                \
#              .

と記載されていますが、各パラメータについての説明はありません。これは、partman-auto-recipe.txtによると、

<limits>::=<minimal size>_<priority>_<maximal size>_<parted fs>

となっています。サイズはmegabytesもしくはディスク容量の割合(%)で指定することができます。minimal sizeは最小サイズを指定します。priorityは小さい値の方が優先度が高くなります。maximalサイズは割り当ての上限サイズを指定し、-1を指定すると無制限となります。parted_fsは割り当てるパーティションの種類です。

つまり、上記では、

• /boot

  • 最低40MB、最大100MBを割り当て

  • ext3ファイルフォーマット

  • 優先度はもっとも高い

• /

  • 最低500MB、最大10^9MBを割り当て

  • ext3ファイルフォーマット

  • 優先度もっとも低い

• swap

  • 最低64MB、最大メモリサイズの300%(3倍)のサイズを割り当て

  • swap領域

  • 優先度は2番めに高い

ということになります。

GPT対応した書き方

GPTの場合、1MBのbiosgrubという領域が必ず必要になります。これを忘れると、preseedでの自動インストールの途中、パーティショニングのところで失敗してしまいます。また、$gptonly{ }というパラメータも必要になります。

d-i partman-auto/expert_recipe string \
32 32 32 free \
$gptonly{ } \
$primary{ } \
$bios_boot{ } \
method{ biosgrub } \
. \
boot-root :: \
300 50 300 ext4 \
$gptonly{ } \
$primary{ } $bootable{ } \
method{ format } format{ } \
use_filesystem{ } filesystem{ ext4 } \
mountpoint{ /boot } \
. \
500 10000 -1 ext4 \
$gptonly{ } \
method{ format } format{ } \
use_filesystem{ } filesystem{ ext4 } \
mountpoint{ / } \
. \
8192 512 8192 linux-swap \
$gptonly{ } \
$primary{ } \
method{ swap } format{ } \
.

上記での場合、1MBのbiosgrub領域、300MBの/boot、8GBのswap領域、そして残りはすべて / ファイルシステムになる、ということです。この辺は、 Re: GPT preseed [ almost solved ] に掲載されています。なお、2TB未満のシステムであってもこれはそのまま使えます。(もしかしたら、そのまま使えるのはUEFI対応の機器だけかも知れませんが、その点は未検証です。)

さあ、これでもう迷わず preseed でパーティショニングの一番面倒な設定部分を書けるようになりましたね。おめでとうございます。

さーて、明日のAdvent Calendarは？

さあ、誰なんでしょうね。俺にも書かせろ、という方はぜひAdvent Calendarに参加してみてください。

See also

• 付録 B. preseed を利用したインストールの自動化

• 事前設定ファイルのサンプル

• Re: GPT preseed [ almost solved ]

Intall python-ldap

python-ldap is provided as Debian package.

$ sudo apt-get install python-ldap

Connect to LDAP server

To connect to LDAP server in the following conditions, as described below.

• URI

  • ldap://ldap.example.org

• rootDN

  • cn=admin,dc=example,dc=org

• method

  • simple bind

>>> import ldap
>>> uri = "ldap://ldap.example.org"
>>> l = ldap.initialize(uri)
>>> rootdn = "cn=admin,dc=example,dc=org"
>>> password = "xxxxxxxx"
>>> method = ldap.AUTH_SIMPLE
>>> l.bind(rootdn, password, method)
1

Search

To search with filter is following.

• search base

  • ou=People,dc=example,dc=org

• search scope

  • subtree

• search filter

  • ‘(uid=*)’

>>> search_base = 'ou=People,dc=example,dc=org'
>>> search_scope = ldap.SCOPE_SUBTREE
>>> search_filter = '(uid=*)'
>>> l.search_s(search_base, search_scope, search_filter)
[('uid=nanashigonbeh,ou=People,dc=example,dc=org', {'cn': ['gonbeh'], 'objectClass': ['top', 'inetOrgPerson', 'posixAccount'], 'userPassword': ['{SSHA}M6H0rX2tGCwf6jBcgdP2hxSRisVoY55b=='], 'uidNumber': ['99999'], 'gidNumber': ['10000'], 'sn': ['nanashi'], 'homeDirectory': ['/home/nanashigonbeh'], 'mail': ['nanashigonbeh@net.example.org'], 'uid': ['nanashigonbeh']}), ('uid=nenashigonsaku,ou=People,dc=example,dc=org', {'cn': ['gonsaku'], 'objectClass': ['top', 'inetOrgPerson', 'posixAccount'], 'userPassword': ['{SSHA}M6H0rX2tGCwf6jBcgdP2hxSRisVoY55b=='], 'uidNumber': ['99998'], 'gidNumber': ['10000'], 'sn': ['nenashi'], 'homeDirectory': ['/home/nenashigonsaku'], 'mail': ['nenashigonsaku@net.example.org'], 'uid': ['nenashigonsaku']}), ('uid=yamadataro,ou=People,dc=example,dc=org', {'cn': ['taro'], 'objectClass': ['top', 'inetOrgPerson', 'posixAccount'], 'userPassword': ['{SSHA}M6H0rX2tGCwf6jBcgdP2hxSRisVoY55b=='], 'uidNumber': ['99997'], 'gidNumber': ['10000'], 'sn': ['yamada'], 'homeDirectory': ['/home/yamadataro'], 'mail': ['yamadataro@com.example.org'], 'uid': ['yamadataro']}), ('uid=tanakajiro,ou=People,dc=example,dc=org', {'cn': ['jiro'], 'objectClass': ['top', 'inetOrgPerson', 'posixAccount'], 'userPassword': ['{SSHA}M6H0rX2tGCwf6jBcgdP2hxSRisVoY55b=='], 'uidNumber': ['99996'], 'gidNumber': ['10000'], 'sn': ['nanaka'], 'homeDirectory': ['/home/tanakajiro'], 'mail': ['tanakajiro@com.example.org'], 'uid': ['tanakajiro']})]

Format of result is following.

[
    ('dn', {
        'attribute': ['value'],
        'attribute': ['value', 'value', 'value'],
        (snip)
        'attribute': ['value']
        }),
    ('dn', {
        'attribute': ['value'],
        'attribute': ['value', 'value', 'value'],
        ...
        'attribute': ['value']
        }),
    (snip)
]

This format is enable to use for other processing.

Add

Firstly, you must use ldap.modlist.addModlist(). addModlist() convert dictionary into list of tuple.

>>> result = l.search_s(search_base, search_scope, search_filter)
>>> result[0][1]
{'cn': ['gonbeh'], 'objectClass': ['top', 'inetOrgPerson', 'posixAccount'], 'userPassword': ['{SSHA}M6H0rX2tGCwf6jBcgdP2hxSRisVoY55b=='], 'uidNumber': ['99999'], 'gidNumber': ['10000'], 'sn': ['nanashi'], 'homeDirectory': ['/home/nanashigonbeh'], 'mail': ['nanashigonbeh@net.example.org'], 'uid': ['nanashigonbeh']}
>>> import ldap.modlist
>>> data_l = ldap.modlist.addModlist(result[0][1])
>>> data_l
[('cn', ['gonbeh']), ('objectClass', ['top', 'inetOrgPerson', 'posixAccount']), ('userPassword', ['{SSHA}M6H0rX2tGCwf6jBcgdP2hxSRisVoY55b==']), ('uidNumber', ['99999']), ('gidNumber', ['10000']), ('sn', ['nanashi']), ('homeDirectory', ['/home/nanashigonbeh']), ('mail', ['nanashigonbeh@net.example.org']), ('uid', ['nanashigonbeh'])]

Override values of “uid”, “sn”, “cn”, “uidNumber”, “homeDirectory”, “mail” as like folloing.

>>> user = result[0][1].copy()
>>> user['uid'] = ['foobar']
>>> user['sn'] = ['foo']
>>> user['cn'] = ['bar']
>>> user['uidNumber'] = ['123456']
>>> user['homeDirectory'] = ['/home/foobar']
>>> user['mail'] = ['foobar@example.org']
>>> user
{'cn': ['bar'], 'objectClass': ['top', 'inetOrgPerson', 'posixAccount'], 'userPassword': ['{SSHA}M6H0rX2tGCwf6jBcgdP2hxSRisVoY55b=='], 'uidNumber': ['123456'], 'gidNumber': ['10000'], 'sn': ['foo'], 'homeDirectory': ['/home/foobar'], 'mail': ['foobar@example.org'], 'uid': ['foobar']}

Convert with addModlist().

>>> user_l = ldap.modlist.addModList(user)
>>> user_l
[('cn', ['bar']), ('objectClass', ['top', 'inetOrgPerson', 'posixAccount']), ('userPassword', ['{SSHA}M6H0rX2tGCwf6jBcgdP2hxSRisVoY55b==']), ('uidNumber', ['123456']), ('gidNumber', ['10000']), ('sn', ['foo']), ('homeDirectory', ['/home/foobar']), ('mail', ['foobar@example.org']), ('uid', ['foobar'])]

To add data is necessary to use add_s() with dn and list of data. When it is succeed to add, the response is “(105, [])”. “105” is tag of adding.

>>> dn = result[0][0]
>>> dn
'uid=nanashi_gonbeh,ou=People,dc=example,dc=org'
>>> dn = 'foobar,ou=People,dc=example,dc=org'
>>> l.add_s(dn, user_l,)
(105, [])

Compare and modify

To detect changed data, use compare_s(). To need to prepare below data. First argument is dn, second argument is attribute name, third argument is value (value is not list).

>>> user2 = result[0]
>>> user2[1]['userPassword']
['{SSHA}M6H0rX2tGCwf6jBcgdP2hxSRisVoY55b==']
>>> password = '{SSHA}Z7H50qdkcYdH+8ghga6MCevOSa8ax3xp'
>>> userdn2 = user2[0]
>>> l.compare_s(userdn2, 'userPassword', user2[1].get('userPassword')]
0
>>> l.compare_s(userdn2, 'userPassword', password)
1

>>> mod_info_l = ldap.modlist.modifyModlist(current_dict, new_dict)
>>> mod_info_l
[(1, 'userPassword', None), (0, 'userPassword', ['{SSHA}Z7H50qdkcYdH+8ghga6MCevOSa8ax3xp'])]

>>> ldap.modlist.modifyModlist(current, new)
[(1, 'cn', None), (0, 'cn', ['bar']), (1, 'uidNumber', None), (0, 'uidNumber', ['123456']), (1, 'sn', None), (0, 'sn', ['foo']), (1, 'homeDirectory', None), (0, 'homeDirectory', ['/home/foobar']), (1, 'mail', None), (0, 'mail', ['foobar@example.org']), (1, 'uid', None), (0, 'uid', ['foobar'])]

>>> l.modify_s(dn, mod_info_l)
(103, [])

Delete

Delete is specified dn only.

>>> l.delete_s(dn)
(107, [], 12, [])

“107” is tag of delete. “12” is sequence number of registered ldap object.

See also

• Documentation

If you failed authentication after you have change PIN code

If you fail next prompt, then you will not be able to authenticate.

Enter new PIN with the next card code to complete authentication.
PASSCODE:

Please request to administrator to reset your PIN code.

Install packages

$ sudo apt-get install dovecot-pop3d dovecot-lmtpd dovecot-ldap dovecot-postfix

Configuration

!include_try /usr/share/dovecot/protocols.d/*.protocol
dict {
}
!include conf.d/*.conf
!include_try local.conf

uris = ldap://ldap01.example.org/ ldap://ldap02.example.org/
tls = yes
tls_ca_cert_file = /etc/ssl/certs/ca-certificates.crt
tls_ca_cert_dir = /etc/ssl/certs
auth_bind = yes
auth_bind_userdn = uid=%n,ou=People,dc=example,dc=org
ldap_version = 3
base = ou=People,dc=example,dc=org
deref = never
scope = subtree
user_attrs = homeDirectory=home,uidNumber=uid,gidNumber=gid
user_filter = (&(objectClass=posixAccount)(uid=%n))
pass_attrs = uid=user,userPassword=password
pass_filter = (&(objectClass=posixAccount)(uid=%n))

auth_mechanisms = plain
!include auth-system.conf.ext

auth_mechanisms = plain
!include auth-ldap.conf.ext

mail_location = maildir:/var/vmail/%d/%n/Maildir

Check configuration

Check configuration finally with “doveconf -n” command.

See also

Multiple LDAP authentication servers

• http://www.dovecot.org/list/dovecot/2011-October/061431.html

• http://www.dovecot.org/list/dovecot/2011-October/061431.html

• http://www.dovecot.org/list/dovecot/2011-October/061435.html

• https://help.ubuntu.com/community/Dovecot

• https://help.ubuntu.com/community/DovecotLDAP

• https://help.ubuntu.com/community/POP3Aggregator

• http://wiki2.dovecot.org/Variables

Install packages

$ sudo apt-get install postfix-ldap mailutils

Install postfix-doc if you needs postfix-ldap documentation, then see /usr/share/doc/postfix/html/LDAP_README.html.

Configuration

The points are next parameters of postmap for ldap.

• “query_filter” is “(mail=%s)”

• “result_attribute” is some cases

• “scope” is “one”

$ sudo postconf alias_maps=hash:/etc/aliases,ldap:/etc/postfix/ldap-aliases.cf

server_host = ldap://ldap01.example.org ldap://ldap02.example.org
timeout = 10
search_base = ou=People,dc=example,dc=org
domain = example.org
query_filter = (mail=%s)
result_attribute = mail
scope = one
bind = no
dereference = 0
start_tls = yes
version = 3
tls_ca_cert_dir = /etc/ssl/certs
tls_ca_cert_file = /etc/ssl/certs/ca-certificates.crt