#xenserver

XenServer is a powerful hypervisor platform that allows an organization to easily create/manage virtual server infrastructure. learn more....

XenServer 7.1 is a spectacular hypervisor software that allows an organization or company to easily set up and install a virtualized server infrastructure in just a matter of seconds. read more...

XenServer 7.1 is a spectacular hypervisor software that allows an organization or company to easily set up and install a virtualized server infrastructure in just a matter of seconds. read more...

XenServer の inode が枯渇したというお話。 とっくに解決した問題なんですが、備忘のためにメモします。

調子の悪くなった XenServer を発見。ssh はいいんだけど、API を使った連携もできず、XAPI(管理ツール)の再起動もできない。バージョンは6.2と古くてサポート切れ。

なんだよもーって感じで調べるも、なんでかわからん。本番稼働中なので再起動も許されない。冗長化してるんだけど、VM移動の瞬間停止すら駄目って鬼畜かよ。

なんか変だなー怖いなーって稲川淳二っぽく色々調べてたらこれですよ

# df -i Filesystem Inodes IUsed IFree IUse% Mounted on /dev/sda1 524288 524288 0 100% / none 94257 8 94249 1% /dev/shm /opt/xensource/packages/iso/XenCenter.iso 0 0 0 - /var/xen/xc-install

inodeが枯渇！なんで？

どこのどいつだって調べていったらこいつですわ

# find / -xdev -printf '%h\n' | sort | uniq -c | sort -k 1 -n -r |more 480750 /var/lock/sm/lvm-e2e73bc8-7db3-f061-22e9-0345bacb5229 1056 /var/xapi/blobs/messages/uuids 1056 /var/xapi/blobs/messages/refs 1056 /var/xapi/blobs/messages/gen 777 /usr/share/man/man1 666 /usr/bin 586 /usr/share/man/man3 585 /usr/lib/python2.4 560 /usr/share/locale

/var/lock/sm/lvm-e2e73bc8-7db3-f061-22e9-0345bacb5229 ていうディレクトリに48万個のファイル？

どうも lock ファイルみたいなのがいっぱい入ってる。うかつに消せないしどうしよう。

XenServer 使ってる人あんま居ないし…

なので海外のフォーラム 「Citrix Forums - Discussions」 で聞いてみました。なんか本家っぽいし強そうだ。

高校の時に取った英検2級を武器にスレ立てました。緊張したなー。

作ったのがこのスレ inode is Almost empty - Command-Line Interface - Discussions

立てて数時間後にはレスが来て嬉しかった。やっぱ本場は違うね。

立てた後に、なんで A だけ大文字なんだとか思ったけど、誰もそんな野暮な突込みはせずに優しく教えてくれた。

2人に回答してもらいました。一人はアーカンソー州ロジャース市の職員？ もう一人はCitrix Technology Professional かつ NVIDIA GPU Community Advocacy。NVIDIAのGPUコミュニティの提唱者？エバンジェリスト的な人なのかな？。

2人のアドバイスを要約すると

こんなの始めてみたw

起動後のは触れないけど、古いロックファイルは消えるはずだけどなあ

/var/log の中消すか、他のストレージにvm移せば綺麗になるかもなあ

SR（ストレージリポジトリ）のロックファイルっぽいけど、そんなにinode消費してる理由は知らんわ

てかその XenServer 古くね？セキュリティ的な問題もあるから更新しろよw

ですよねー。更新しろって話ですよね。

このあとおとなしく最新化しました。「df -i」に気づくのに二日かかりました。

2台構成のpoolのmasterと通信できなくなった… XenServerのバージョンは7.1

xencenterはこんなエラー

サーバのコンソールはこんな感じで操作不能

sshで接続してみよう

# ssh root@ipアドレス ssh_exchange_identification: Connection closed by remote host

え？なんで？

# ssh -v root@ipアドレス OpenSSH_6.6.1, OpenSSL 1.0.1e-fips 11 Feb 2013 debug1: Reading configuration data /etc/ssh/ssh_config debug1: /etc/ssh/ssh_config line 56: Applying options for * debug1: Connecting to ipアドレス [ipアドレス] port 22. debug1: Connection established. debug1: permanently_set_uid: 0/0 debug1: identity file /root/.ssh/id_rsa type 1 debug1: identity file /root/.ssh/id_rsa-cert type -1 debug1: identity file /root/.ssh/id_dsa type -1 debug1: identity file /root/.ssh/id_dsa-cert type -1 debug1: identity file /root/.ssh/id_ecdsa type -1 debug1: identity file /root/.ssh/id_ecdsa-cert type -1 debug1: identity file /root/.ssh/id_ed25519 type -1 debug1: identity file /root/.ssh/id_ed25519-cert type -1 debug1: Enabling compatibility mode for protocol 2.0 debug1: Local version string SSH-2.0-OpenSSH_6.6.1 ssh_exchange_identification: Connection closed by remote host

なんやのー

~/.ssh/known_hosts 消してもダメ

XenServerは多くの通信で tcp/443 を使う。XenCenterとの通信もだ。curlしてみよう。

マトモなXenServerにつなぐとこうなる

# curl --insecure -D - -o /dev/null https://ipアドレス:443 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0HTTP/1.1 200 OK content-length: 4426 connection:keep-alive content-type:text/html 100 4426 100 4426 0 0 33036 0 --:--:-- --:--:-- --:--:-- 33278

んで、繋がらない方にcurlしてみると

# curl --insecure -D - -o /dev/null https://ipアドレス:443 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0curl: (35) Encountered end of file

EOFて何でやねん。

slaveにログインしてxeコマンド

# xe pool-list The server failed to handle your request, due to an internal error. The given message may give details useful for debugging the problem. # xe host-list The server failed to handle your request, due to an internal error. The given message may give details useful for debugging the problem. message: INTERNAL_ERROR: [ Cli_protocol.Unmarshal_failure(_, "") ] # xe vm-list The server failed to handle your request, due to an internal error. The given message may give details useful for debugging the problem. message: Xmlrpc_client.Stunnel_connection_fail

まとめると

コンソール：操作不能

ssh：×

tcp/4443：×

xeコマンド：×

なんすかこれ

なんなんすかこれ

どうせっちゅうのよ。。。。マスタ上のvmは稼働してるので、下手に手が出せん。

せめてマスタ上のvmを正常稼働してるslaveにマイグレーションしたい

# xe vm-migrate host=ccndmg01 The server failed to handle your request, due to an internal error. The given message may give details useful for debugging the problem. message: Xmlrpc_client.Stunnel_connection_failed

やっぱ通信できないから無理だよねそりゃ

vmには通信できるから、Dom0に通信できなくなってるんだよな。はぁ

IMMで見てもサーバに異常は起きていない。どー見ても異常なんですけど

Dom0がハングしてるんだろうな。強制再起動しかないか…

24時間たっても状況変わらずなので強制再起動した。なーむー

無事再起動できた！vmも大丈夫！やれやれだぜ

しかしなんでハングしたんだろ？

ログ見てみるか

何も出てねえ…

てか、sarのログなんかは普通に出てるんだよな…NICだけハング？

XenServer界を震撼させた前回の投稿ですが、前回の結びで

XenCenterをダウングレード

心臓に優しいアイコンに仕様変更するのを待つ

という提起をしていました。

ところが、XenCenterとXenServerは互換性の問題があって、

XenCenterのバージョンがXenServerより古いと接続できないという仕様があってですね、こんなエラーが出ます。

さー困った。最新のXenServerを使うには最新のXenCenterが必要だけど、Unlicensedって出ちゃう。

そこで登場したのが Xen Orchestra です。

Xen Orchestra とは

Vatesという会社が作っている、XenServerをWebGUIで管理できるツールです。公式Doc

Free版と有償版があって、Free版は、OVA/XVAのexport/importが出来なかったりします。（Xen Orchestra Pricing）

アーキテクチャとしては、クライアントにインストールするXenCenterとは違い、XOA（Xen Orchestra Applianceかな？）というVMをXenServerにimportし、XOAのWebインターフェースに接続して使います。詳しくはこっち見てください。

XOAのインストール

すっごい簡単でコマンド1発で入ります。XenServerのDom0にログインして以下のコマンドを打つだけです。

bash -c "$(curl -s http://xoa.io/deploy)"

そうすると、VMのimportとセットアップが始まります。

Welcome to the XOA auto-deploy script!

Network settings: IP address? [dhcp] xxx.xxx.xxx.xxx Netmask? [255.255.255.0] 255.255.255.0 Gateway? xxx.xxx.xxx.xxx dns? [8.8.8.8] xxx.xxx.xxx.xxx Importing XOA VM… Booting XOA VM… Waiting for your XOA to be ready…

Your XOA is ready on https://IP or Hostname/

Default UI credentials: [email protected]/admin Default console credentials: xoa/xoa

VM UUID: 1fe0788b-cc63-1efa-359f-705c950d0034

しばらく待ってhttps://IP or Hostname/にアクセスすると Xen OrchestraのUIに接続できます。XOA自体は

2 vCPUs

2GB of RAM

15GB of disk (10GB for / and 5GB for /var)

が必要なリソースです。

無事VMが出来ると以下の様なログイン画面が出るので

あとは、Hostを追加していって下さい。

そうすると、VM一覧やらHost一覧を見ることができるようなります。

画面はVM一覧です。

各バージョンのXenServerを見ても"Unlisenced"なんか出ません。

7.4がFree！

6.2もFree！

弊社、5年くらい前からXenServerを愛用しております。バージョンは5.xあたりからかな？

新しく環境を作ろうとして最新のXenServer7.4のisoを落として、ついでにクライアントツールのXenCenter（vCenter的なものです）も最新のを落として起動し、ホスト一覧見たらこの有様ですよ。

今まで無かったのに、急にビックリマークが勢ぞろい！

本番機もあるので情シスとしては「ハイ死んだ！」と思うわけですよ。

でも、「クライアントツールのバージョン上げただけで死ぬわけないじゃないか」と冷静になってよく見ると、Statusが「Unlicensed」になってる。画面に出ているXenServerのバージョンは全て6.5です。

たしかに結構前のバージョン（6.2より前だったかな？）だと、Free版であってもライセンスキーを入れる作業が必要で、1年の有効期限が切れるとVMの操作ができなくなるとかだったんですが、6.２以降（だったかな？）をFreeで使うときはライセンス関連の操作が全て不要になって、便利になったと感心しました。

でも最新のXenCenterが「ライセンスがねーよ！」と怒ってるわけですよ。

うーん、困ったなー。なんで前のような挙動に戻すのよー。ググっても90日間の試用ライセンスしかないし、画面的に気持ち悪いので色々調べてみるとcitrixのforumで以下のようなやり取りがありました。7.3でも同様みたいですね。

俺は今7.3をテストしてるんだけど、"Unlicensed"がホスト名の近くに出てるんだ。Free版で行きたいんだけど、この表示消す方法ある？

するとこんな回答。

もうライセンス済みじゃない？"Unlicensed"てのはFreeの意味なんだ。これ以上インストールするフリーラインセンスっていうのは俺の知ってる限りは無いね、とにかくfreeとUnlicensedていうのは同じ意味なんだよ。

え？ビックリマーク消せないの？

この後は

このアイコンは気にくわない

改悪だ

そんなにライセンス買わせたいのか

せめて"Free"て書いてある緑のアイコンにしてよ

もうやってられるか！俺はproxmoxに移行したぞ！アバヨ！

みたいなやり取りが続いてます。

確かに嫌ですねコレ。

XenCenterをダウングレード

心臓に優しいアイコンに仕様変更するのを待つ

どっちかかな？

XenServer7.4を古いバージョンのXenCenterで見た時の挙動は今度確認します。