さくらVPS設定マニュアルを含め、よくCentOSで使うコマンドを残しておきます。コピペでどんどん使って下さい。
真夏ですし、今日は恐怖の怪談話をしましょう。。
突然電話が鳴ってですね、こう言われるんですよ。。。。。
「サイト落ちてますよ」
Webエンジニア恐いのは、幽霊じゃない、妖怪じゃない、ゾンビじゃない！！
「サイトが何故か落ちてる」問題！！
震える指先、笑うヒザ。。安定運用を3年、なーんの異常もないまま3年経過した運用サーバ。(VPS) クラウドじゃないのでオートスケール対応してないので、何らかの事情で落ちるケースもある。お安いVPS。落ちることもたまにはあるでしょう。
過去の経験則から Apacheかと推測し、とりま再起動しようとするも。。あれ？Apacheは落ちてない。
？？
アンちゃん。。。。
MySQLもアクセス不可で落ちることもありますね。
MySQLを再起動するも。。。。。
※CentOS6の運用サーバのため、古いコマンドです
??あれ？停止したあと起動しない
!!!!!????????
起動しない！！
何度やっても起動しない！
運用サーバのMySQLが死亡した模様。。
No space left on device?? お前のデバイスはもう空きがない、HDDがいっぱいで起動出来ないですと？？
-hオプションで容量に対してそれっぽい単位で表示してくれます
100%!!!!use 100%!! もう全く容量が完全に限界まで使われていました。
今回運用していたサーバは格安のVPS。クラウドではないため 容量アップも出来ません。そもそもコンテンツとしての容量も100GB容量のVPSに10GB程度しか積んでません。
でも原因は分かりました。何かがHDDの容量を圧迫していてMySQLの起動に失敗しているようです。
.
.
.
8.0K /tmp
789M /usr
90G /var
これでどのディレクトリがどれだけの容量のデータを積んでいるのかわかります。varが90Gも持ってることが分かりますね。
あとはディレクトリの階層を掘りながら再びds
HDDの容量90%を占める溜まりまくったクソログが原因と判明。。
btmpとsecureのログがかなり溜まっている様子。サーバへの不正ログイン系ですね。
確かにSSHは22番ポートをデフォルトで使っていましたが、こういう不正ログインのクソログの温床にもなるのでやはりsshのポートは22以外にしておくのがベータのようです。
このほかApacheでも大量のログを持っていることが判明。
手順はどのログの削除も一緒なのでbtmpのみ記載します
touchして権限を600にしておきます。同様に全てのクソログ溜まったログファイルを同様の手順で一度削除して、新しくファイルを作ってください。
やばいファイルをrmしたはずなのに、HDDの使用量に変化がほぼ変化が起きない
rmでファイル削除後にdf -hで容量が減らない時の対処(Linux)
参考の通りなのですが、プロセスが活きている使用中のファイルはrmしても変化が無いようです。
今回だと調べた結果、一番ヤバいログはhttpdに関連するログでした。対象のログファイルをrmしたあとhttpdを再起動したところ無事HDDの使用量は劇的に減りました
# /etc/init.d/mysqld start
MySQL Daemon failed to start.
Starting mysqld: [OK]
無事起動が確認できました
サーバ管理の専門職では無いためやはり運用しているサイトのサーバが落ちると焦ります。が、やはり冷静にログを見れば解決方法は必ずあるはずなので。
サイトが落ちたときの監視として クラウドサーバ以外のサーバでは外部サービスで80ポート監視して一定時間応答がなければメールでお知らせするように設定していました。
今回だとMySQLが完全に落ちてしまい、アクセス不可による停止出なかったた80ポートは正常動作。これにより発見が遅れてしまいました。
クラウドサーバだとこれらHDDの容量制限が危なくなるとメールでお知らせしてくれるものですが、格安VPSにはこれらは自分で監視しなければなりません。。
やっぱりクラウドが何かと安心で便利。月額1000円程度のVPSは月間数万PVくらいしか耐えられないかもしれません。やはり今回の運用サイトは移転が必要かもしれません。
あ、なお今回落としたのはITかあさんブログではありません。ITかあさんはクラウドでオートスケールに対応しているからです。
今後はログも含めたHDDの容量の監視にも目を光らせていと思います。まる。
おじいさんは山へ芝刈りに、おばあさんはMacのターミナルでCentOS 5.11でyumコマンドを叩いたそうな。
そうです、baseurlが未定義だったのです。
baseurlにcentosを配布してくれているriken.jpにbaseurlを設定することにしました。
おばあさんは理研の配布元にアクセスしました。すると。。
CentOS-5 is now past EOL
You can get the last released version of centos 5.11 here:
http://vault.centos.org/5.11/
Please NOTE: this is not being maintained for security since moving to Vault.
It will have security issues, you should upgrade to a new version instead.
EOL(End Of Life) お前はすでに死んでいる。
でも対処方法はわかりました、baseurlにcentos5.11の配布元を探して設定すればいいのです。
おばあさんはarchive.kernel.orgというサイトを見つけました。
http://archive.kernel.org/centos-vault/
ここになら目的のCentOSのバージョンが配布していそうです。
baseurlを目的のクソ古いバージョンに変えてあげます
おばあさんは無事CentOS5.11のupdateができましたとさ。 めでたしめでたし
久々にWordPressでWEBサイト構築したんですよ、CentOS7とApache2系で。
ことの発端はWordPressのメディアアップローダーが動作しないこと、何度やっても「ディレクトリに移動できません」エラー。ややや？
permission777にしても、ユーザーグループをapacheにしても権限エラーが出るので完全にお手上げ。php.iniのsafe_modeもoffになっているのでこれも違う。
LinuxベースのセキュアOSのSELinux。たとえroot がのっとられてもシステムの影響を最小限にしようぜ！的な考えがあるようですが、かあさんの脳みそでは詳しいことは分かりません。
乱暴ですが、SELinuxを強制的にoffにすることで書き込み権限に関する問題は解決できました！
一応、切らずに設定もできるようです。
私の場合、一度offにしｈていたのですが、サーバーを落として再度起動した際に再びONになってしまったため発生した問題のようです。
permission 権限、safe_modeもいずれも問題ないのにpermissionエラーが発生したらSELinuxを思い出して頂ければと思います。
MongoDBはリポジトリを予め指定しておく必要があります。
ITかあさんのブログはWindowsAzureというクラウドサーバーで運用されています。ちなみにITかあさんの運営されているサーバーのスペックは以下の通り。
まあ、一端のエンジニアごとき戯れ言のブログですから、これくらいあれば十分ですね。
こちらのグラフが明け方から落ち着きを取り始めた現在のWindowsAzureのCPU使用率なのですが、グラフの山が盛り上がっていますね。
あまりの重たさに一時的に
までメモリを増しましにした状態で、CPU６０%越えに振り切れているっちゅーことで半端じゃないCPUの使用率ということがお分かり頂けると思います。
サーバーが落ちる時点でもう顔面蒼白なのですが、メモリを一時的に増大させて何とかサイトを復旧させてここで一旦冷静に状況の分析から。なんとなーく原因はDOSくらっているんだろうなあと過去の経験から分かっているのですが。。
明らかにCPUが高過ぎるので、「何がCPUを大量に消費しているのか」を調べます。
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1997 0.0 0.0 4060 584 tty1 Ss+ Feb17 0:00 /sbin/mingetty
root 1979 0.0 0.0 4060 584 tty5 Ss+ 00:56 0:00 /sbin/mingetty
root 1981 0.0 0.0 4060 584 tty6 Ss+ 00:56 0:00 /sbin/mingetty
apache 2056 3.1 0.5 480216 38728 ? S 00:56 1:06 /usr/sbin/httpd
apache 2258 3.2 0.5 479168 39076 ? S 00:56 1:07 /usr/sbin/httpd
apache 2272 3.3 0.5 478932 38792 ? S 00:56 1:10 /usr/sbin/httpd
apache 2509 3.3 0.5 476300 36152 ? S 01:00 1:01 /usr/sbin/httpd
apache 2615 3.4 0.5 480420 40356 ? S 01:02 1:00 /usr/sbin/httpd
。。。。。。。。
すると
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
apache 2056 3.1 0.5 480216 38728 ? S 00:56 1:06 /usr/sbin/httpd
apache 2258 3.2 0.5 479168 39076 ? S 00:56 1:07 /usr/sbin/httpd
以下100行ほどapacheのプロセスが大量に渡って来ます。
試しにGoogleアナリティクスでリアルタイムのアクセス状況拾ってもその時間にサイトにアクセスしているのは朝方っていうこともあって数人しかおりません。
（っつーか１回のapacheプロセスに対して、CPU３％超えるようなアクセスってなんだよ！という話であってですね。もうこれはDOSアタックしかないですね）
いつ落ちてもおかしく無いので一時的に国外からのアクセスを禁止します。（この手のDOSは中国系のDOSアタックが多いのは経験済みなので）
こちらのサイトから国外からのアクセスを禁止できる.htaccessを入手できますので、一先ずこれをWordPressの閲覧可能ディレクトリの直下の.htaccessにコピペします。
ただしこれをそのままにしておくことは出来ません。なぜならこのままだとfacebookからサイトにアクセスすることができないのでogpの取得ができなくなるのでソーシャルに一切対応していないサイトになってしまうからです。なので対処としては一時的に。
Apacheのmod_evasiveモジュールでDOSアタックに対処します。１秒間に●●回アクセスしてくるIPアドレスを●●秒アクセス禁止にする
という設定が可能な有名なモジュールですね。
epelリポジトリが追加されているサーバーであればyumコマンドでインストール出来ます。
mod_evasive.confの設定を変更します。
テストコマンドは以下。バージョンによって変わるので、/usr/share/docをlsコマンドで中身確認してtestスクリプトを実行してください。
ちなみに私はテストすら出来ませんでした。
何度やってもテストがぜーんぶ200 OKでレスポンスが返ってくるんですね。最初なんでだろう！って辛くなったんですが、冷静に考えてみればこのテストの最中もアホか！ってほどDOS喰らっていたので、テストのシェルスクリプト１行ごとの実行に１秒より多くかかっていたためにまともにテストできなかったんですよ。あるんだねー、テストすらできなくなるほどのDOSアタック。
CPUが突然爆発的に消費をはじめたらpsコマンドで原因を突き止めて、サイトのアクセス数に対してhttpdに対するCPUが爆発的に消費されていたらDOSアタック対策を行うこと。
以上！
mod_evasiveは正しく設定できていたはずなのに、海外からのアクセスをもう一度許可をすると再びCPUが激しく増加しました。自分のサイトへの攻撃はDOSではなくDDOS（ディードス）だったもようで、mod_evasiveだけでは防ぐことが出来ませんでした。
ゆえに自分は海外からのアクセスは完全に拒否する対策を取って、facebookでOGPキャッシュを作る時だけ海外アクセスを許可する方法を取りたいと思います。出来れば国内だけに限定させるのは自分としてはあまりいい対処だとは思ってはいないので今後もDDOSへの対策を考えたいと思います。
そうですか、ないんですか。
１）If there is a permission problem in the file and mysqld cannot
InnoDB: open the file, you should modify the permissions.
（パーミッションの問題があるならパーミッションを編集してね）
きたーーーーー！
数年前からLAMP環境は当たり前のように作るんですが、MySQL5.6の新しい環境を使うようになってからよくパーミッション問題に悩まされるようになりました。
エラーログを冷静に見て、パーミッションならchownコマンドでパーミッションをmysqlにしてあげようっと。
MySQLがシャットダウンできない！再起動できない！PIDファイルがないってどういうことだ！
ps auxww | grep mysql
どうやら、本来必要なPIDは赤字の箇所みたい。
PIDファイルをcatしても無いようなのでPIDファイルとやらを作成。
で、白紙のpidファイルに青字の数値だけを記載して保存。
今度は無事に終了できたー！
そんな訳で、PHP5.5 MySQLは5.6をインストールするお話をメモがてら残しておく。
epelとremiのリポジトリの追加リポジトリからPHP5.5をインストールします。
インストールをチェック
MySQLの5.6は、MySQLの公式サイトよりリポジトリを追加して そのリポジトリからMySQL5.6をんストールします。
既存のMySQLをチェック。
あとはリポジトリを元にMySQL5.6をインストール
最後にバージョンの確認。
以上終了！
PHP5.4をremiリポジトリから5.6をインストールしようとしたところ、以下のようなエラーで失敗。
remiリポジトリが２つあるらしいので、remiリポジトリを削除します。
これで再度remiリポジトリをインストールすればよいのです。
MacのターミナルからSCPコマンドでLinuxサーバー上に置いてあるフォルダを一括ダウンロードします。
もちろんSCP,SFTP対応のアプリ、フリーソフトはたくさんあるんだけれどMacのターミナル、SSHから出来たら便利。
たまに使うのに忘れてしまうのでメモ。
直後にパスワードを聞かれるのでパスワードを入力すれば指定したローカルのフォルダに大してファイル、フォルダをコピーしてくれます。
Macのターミナルじゃなくて、これをやればサーバー間でファイルの相互バックアップが出来ますね。