OOM-Killer nach Patchen Server tot

[Ingo]

Hallo,

ich habe gestern auf meinen 12.3. Webserver die letzten Patches ca. 2-3
Wochen eingespielt. Seit dem habe ich massive Probleme auf dem Server,
die bis zum Totalausfall führen, ich finde ein Haufen seltsamer
Meldungen im Log mit denen ich nichts anfangen kann, dass ist nur ein
Auszug davon:

[0] => 2014-06-30T19:34:28.763907+02:00 web kernel: [20113.324264]
trivial-rewrite invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[1] => 2014-07-01T03:20:39.465341+02:00 web kernel: [19336.499279]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[2] => 2014-07-01T05:47:15.944643+02:00 web kernel: [28109.862779]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[3] => 2014-07-01T06:16:54.082534+02:00 web kernel: [29883.435734]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[4] => 2014-07-01T06:16:54.302037+02:00 web kernel: [29883.613492]
lsof_checker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[5] => 2014-07-01T07:01:13.049213+02:00 web kernel: [32535.921626]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[6] => 2014-07-01T07:01:13.107944+02:00 web kernel: [32535.934890]
systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[7] => 2014-07-01T07:17:13.752706+02:00 web kernel: [33494.258905]
systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[8] => 2014-07-01T07:17:14.002822+02:00 web kernel: [33494.271203]
/usr/sbin/munin invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[9] => 2014-07-01T07:28:48.631259+02:00 web kernel: [34187.163725]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[10] => 2014-07-01T07:34:55.209410+02:00 web kernel: [34550.328805]
php-cgi invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0
[11] => 2014-07-01T07:34:56.535274+02:00 web kernel: [34550.666277]
php-cgi invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[12] => 2014-07-01T07:35:03.632258+02:00 web kernel: [34561.226609]
php-cgi invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0
[13] => 2014-07-01T07:35:04.691031+02:00 web kernel: [34562.390885]
httpd2-worker invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[14] => 2014-07-01T07:35:18.883960+02:00 web kernel: [34576.100428]
lsof invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[15] => 2014-07-01T08:13:53.806581+02:00 web kernel: [36885.211786]
fail2ban-server invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[16] => 2014-07-01T08:13:56.257791+02:00 web kernel: [36885.225231]
in:imklog invoked oom-killer: gfp_mask=0x200da, order=0, oom_score_adj=0

sowas

2014-07-01T03:20:40.346194+02:00 web kernel: [19336.499287] Pid: 5097,
comm: mysqld Not tainted 3.7.10-1.32-desktop #1
2014-07-01T03:20:40.421283+02:00 web kernel: [19336.499288] Call Trace:
2014-07-01T03:20:40.421292+02:00 web kernel: [19336.499300]
[<ffffffff81004818>] dump_trace+0x88/0x300
2014-07-01T03:20:40.433641+02:00 web kernel: [19336.499305]
[<ffffffff8158b573>] dump_stack+0x69/0x6f
2014-07-01T03:20:40.433655+02:00 web kernel: [19336.499309]
[<ffffffff8158e079>] dump_header+0x70/0x200
2014-07-01T03:20:40.433656+02:00 web kernel: [19336.499313]
[<ffffffff81112ad4>] oom_kill_process+0x244/0x390

Das ganze hatte den Server gestern Abend total abgeschossen, so dass nur
noch auschalten geholfen hat. Bin über jeden Hilfe dankbar.

Gruß Ingo

[Markus Heinze]

Moin moin,

Post by Ingo
Hallo,
ich habe gestern auf meinen 12.3. Webserver die letzten Patches ca.
2-3 Wochen eingespielt. Seit dem habe ich massive Probleme auf dem
Server, die bis zum Totalausfall führen, ich finde ein Haufen
seltsamer Meldungen im Log mit denen ich nichts anfangen kann, dass
[0] => 2014-06-30T19:34:28.763907+02:00 web kernel: [20113.324264]
trivial-rewrite invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[1] => 2014-07-01T03:20:39.465341+02:00 web kernel: [19336.499279]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[2] => 2014-07-01T05:47:15.944643+02:00 web kernel: [28109.862779]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[3] => 2014-07-01T06:16:54.082534+02:00 web kernel: [29883.435734]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[4] => 2014-07-01T06:16:54.302037+02:00 web kernel: [29883.613492]
lsof_checker invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[5] => 2014-07-01T07:01:13.049213+02:00 web kernel: [32535.921626]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[6] => 2014-07-01T07:01:13.107944+02:00 web kernel: [32535.934890]
systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[7] => 2014-07-01T07:17:13.752706+02:00 web kernel: [33494.258905]
systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[8] => 2014-07-01T07:17:14.002822+02:00 web kernel: [33494.271203]
/usr/sbin/munin invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[9] => 2014-07-01T07:28:48.631259+02:00 web kernel: [34187.163725]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[34550.328805] php-cgi invoked oom-killer: gfp_mask=0x200da, order=0,
oom_score_adj=0
[34550.666277] php-cgi invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[34561.226609] php-cgi invoked oom-killer: gfp_mask=0x280da, order=0,
oom_score_adj=0
[34562.390885] httpd2-worker invoked oom-killer: gfp_mask=0x201da,
order=0, oom_score_adj=0
[34576.100428] lsof invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[36885.211786] fail2ban-server invoked oom-killer: gfp_mask=0x201da,
order=0, oom_score_adj=0
[36885.225231] in:imklog invoked oom-killer: gfp_mask=0x200da,
order=0, oom_score_adj=0
sowas
2014-07-01T03:20:40.346194+02:00 web kernel: [19336.499287] Pid: 5097,
comm: mysqld Not tainted 3.7.10-1.32-desktop #1
2014-07-01T03:20:40.421292+02:00 web kernel: [19336.499300]
[<ffffffff81004818>] dump_trace+0x88/0x300
2014-07-01T03:20:40.433641+02:00 web kernel: [19336.499305]
[<ffffffff8158b573>] dump_stack+0x69/0x6f
2014-07-01T03:20:40.433655+02:00 web kernel: [19336.499309]
[<ffffffff8158e079>] dump_header+0x70/0x200
2014-07-01T03:20:40.433656+02:00 web kernel: [19336.499313]
[<ffffffff81112ad4>] oom_kill_process+0x244/0x390
Das ganze hatte den Server gestern Abend total abgeschossen, so dass
nur noch auschalten geholfen hat. Bin über jeden Hilfe dankbar.

Naja, die Frage ist doch wer braucht den ganzen Hauptspeicher.
Möglicherweise eine kompromittierte Webseite (php etc.) welche
massenhaft Mails generiert oder als Phishing Ziel dient. Mal schauen was
vor oom-killer passiert ist.

mfg
max

Post by Ingo
Gruß Ingo

[Ingo]

Post by Markus Heinze
Moin moin,

Post by Ingo
Hallo,
ich habe gestern auf meinen 12.3. Webserver die letzten Patches ca.
2-3 Wochen eingespielt. Seit dem habe ich massive Probleme auf dem
Server, die bis zum Totalausfall fÃŒhren, ich finde ein Haufen
seltsamer Meldungen im Log mit denen ich nichts anfangen kann, dass
[0] => 2014-06-30T19:34:28.763907+02:00 web kernel: [20113.324264]
trivial-rewrite invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[1] => 2014-07-01T03:20:39.465341+02:00 web kernel: [19336.499279]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[2] => 2014-07-01T05:47:15.944643+02:00 web kernel: [28109.862779]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[3] => 2014-07-01T06:16:54.082534+02:00 web kernel: [29883.435734]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[4] => 2014-07-01T06:16:54.302037+02:00 web kernel: [29883.613492]
lsof_checker invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[5] => 2014-07-01T07:01:13.049213+02:00 web kernel: [32535.921626]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[6] => 2014-07-01T07:01:13.107944+02:00 web kernel: [32535.934890]
systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[7] => 2014-07-01T07:17:13.752706+02:00 web kernel: [33494.258905]
systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[8] => 2014-07-01T07:17:14.002822+02:00 web kernel: [33494.271203]
/usr/sbin/munin invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[9] => 2014-07-01T07:28:48.631259+02:00 web kernel: [34187.163725]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[34550.328805] php-cgi invoked oom-killer: gfp_mask=0x200da, order=0,
oom_score_adj=0
[34550.666277] php-cgi invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[34561.226609] php-cgi invoked oom-killer: gfp_mask=0x280da, order=0,
oom_score_adj=0
[34562.390885] httpd2-worker invoked oom-killer: gfp_mask=0x201da,
order=0, oom_score_adj=0
[34576.100428] lsof invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[36885.211786] fail2ban-server invoked oom-killer: gfp_mask=0x201da,
order=0, oom_score_adj=0
[36885.225231] in:imklog invoked oom-killer: gfp_mask=0x200da,
order=0, oom_score_adj=0
sowas
2014-07-01T03:20:40.346194+02:00 web kernel: [19336.499287] Pid: 5097,
comm: mysqld Not tainted 3.7.10-1.32-desktop #1
2014-07-01T03:20:40.421292+02:00 web kernel: [19336.499300]
[<ffffffff81004818>] dump_trace+0x88/0x300
2014-07-01T03:20:40.433641+02:00 web kernel: [19336.499305]
[<ffffffff8158b573>] dump_stack+0x69/0x6f
2014-07-01T03:20:40.433655+02:00 web kernel: [19336.499309]
[<ffffffff8158e079>] dump_header+0x70/0x200
2014-07-01T03:20:40.433656+02:00 web kernel: [19336.499313]
[<ffffffff81112ad4>] oom_kill_process+0x244/0x390
Das ganze hatte den Server gestern Abend total abgeschossen, so dass
nur noch auschalten geholfen hat. Bin ÃŒber jeden Hilfe dankbar.

Naja, die Frage ist doch wer braucht den ganzen Hauptspeicher.
Möglicherweise eine kompromittierte Webseite (php etc.) welche
massenhaft Mails generiert oder als Phishing Ziel dient. Mal schauen
was vor oom-killer passiert ist.

Ja habe ich mir schon angeschaut, aber es gibt nichts auffälliges. Ich
bin mir nun sicher das es wieder mit php, apache oder fcgid
zusammenhängt. Momentan lasse ich den Apache per Cron alle Stunde
restarten. Nur wie schon beschrieben, lief der Webserver ein Jahr lang
superstabil, bis gestern und da waren PHP-Patches dabei. Ich gehe also
davon aus das sich hier durch die Patches was verändert hat. Es ist wohl
tatsächlich so, dass der Server nach ca. 6-8 Stunden ein Speicherproblem
bekommt und das dann irgendwann zum Absturz führt.

Gruß Ingo

[Markus Heinze]

Post by Ingo

Post by Markus Heinze
Moin moin,

Post by Ingo
Hallo,
ich habe gestern auf meinen 12.3. Webserver die letzten Patches ca.
2-3 Wochen eingespielt. Seit dem habe ich massive Probleme auf dem
Server, die bis zum Totalausfall fÃŒhren, ich finde ein Haufen
seltsamer Meldungen im Log mit denen ich nichts anfangen kann, dass
[0] => 2014-06-30T19:34:28.763907+02:00 web kernel: [20113.324264]
trivial-rewrite invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[19336.499279]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[28109.862779]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[29883.435734]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[29883.613492]
lsof_checker invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[32535.921626]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[32535.934890]
systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[33494.258905]
systemd-journal invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[33494.271203]
/usr/sbin/munin invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[34187.163725]
mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
[34550.328805] php-cgi invoked oom-killer: gfp_mask=0x200da, order=0,
oom_score_adj=0
[34550.666277] php-cgi invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[34561.226609] php-cgi invoked oom-killer: gfp_mask=0x280da, order=0,
oom_score_adj=0
[34562.390885] httpd2-worker invoked oom-killer: gfp_mask=0x201da,
order=0, oom_score_adj=0
[34576.100428] lsof invoked oom-killer: gfp_mask=0x201da, order=0,
oom_score_adj=0
[36885.211786] fail2ban-server invoked oom-killer: gfp_mask=0x201da,
order=0, oom_score_adj=0
[36885.225231] in:imklog invoked oom-killer: gfp_mask=0x200da,
order=0, oom_score_adj=0
sowas
2014-07-01T03:20:40.346194+02:00 web kernel: [19336.499287] Pid: 5097,
comm: mysqld Not tainted 3.7.10-1.32-desktop #1
2014-07-01T03:20:40.421292+02:00 web kernel: [19336.499300]
[<ffffffff81004818>] dump_trace+0x88/0x300
2014-07-01T03:20:40.433641+02:00 web kernel: [19336.499305]
[<ffffffff8158b573>] dump_stack+0x69/0x6f
2014-07-01T03:20:40.433655+02:00 web kernel: [19336.499309]
[<ffffffff8158e079>] dump_header+0x70/0x200
2014-07-01T03:20:40.433656+02:00 web kernel: [19336.499313]
[<ffffffff81112ad4>] oom_kill_process+0x244/0x390
Das ganze hatte den Server gestern Abend total abgeschossen, so dass
nur noch auschalten geholfen hat. Bin ÃŒber jeden Hilfe dankbar.

Naja, die Frage ist doch wer braucht den ganzen Hauptspeicher.
Möglicherweise eine kompromittierte Webseite (php etc.) welche
massenhaft Mails generiert oder als Phishing Ziel dient. Mal schauen
was vor oom-killer passiert ist.

Ja habe ich mir schon angeschaut, aber es gibt nichts auffälliges. Ich
bin mir nun sicher das es wieder mit php, apache oder fcgid
zusammenhängt. Momentan lasse ich den Apache per Cron alle Stunde
restarten. Nur wie schon beschrieben, lief der Webserver ein Jahr lang
superstabil, bis gestern und da waren PHP-Patches dabei. Ich gehe also
davon aus das sich hier durch die Patches was verändert hat. Es ist
wohl tatsächlich so, dass der Server nach ca. 6-8 Stunden ein
Speicherproblem bekommt und das dann irgendwann zum Absturz führt.

Wäre auch meine Vermutung das es php-fpm ist. Mal die Anzahl
Server/Children/Request modifizieren in der php-fpm.conf und vor allem
mal die Apache logs auswerten. Das Changelog von PHP auf deprecated und
removed functions prüfen bzw. ob sich Funktionsaufrufe gändert haben.

mfg
max

Post by Ingo
Gruß Ingo