Docker中のウェブサーバプロセス数を制御する



ウェブサービス目的のDockerのコンテナでは、当然のことながら内部でウェブサーバを起動している。Apacheやnginxである。しかし、特にApacheの場合には、ほうっておくと起動プロセス数が多すぎ、メモリを圧迫し、Apacheではなく、他プログラムが落ちてしまうことがある。

実際に、Apacheのプロセス数が多すぎて、Javaのサーバプログラムが落ちてしまう事例に見舞われた。

その時の対処方法が、Apacheのメモリ消費を抑える(prefork)にある。

状況の確認

これはホスト側のメモリ状況を見てみればわかる。起動直後と、その後のメモリ消費状況をみてみると、明らかに大きく異なっており、何者かがメモリを食い尽くしているのがわかる。

特にapacheのプロセスを見てみると、こんな具合だ。もちろんホスト側を調べている。

# ps ax | grep apache
  43958 ?        Ss     0:04 apache2 -DFOREGROUND
  44051 ?        S      1:17 apache2 -DFOREGROUND
  44052 ?        S      1:18 apache2 -DFOREGROUND
  44053 ?        S      1:13 apache2 -DFOREGROUND
  44054 ?        S      1:12 apache2 -DFOREGROUND
  44055 ?        S      1:15 apache2 -DFOREGROUND
  44951 ?        S      1:15 apache2 -DFOREGROUND
  44952 ?        S      1:19 apache2 -DFOREGROUND
  44981 ?        S      1:14 apache2 -DFOREGROUND
  44982 ?        S      1:15 apache2 -DFOREGROUND
  44984 ?        S      1:18 apache2 -DFOREGROUND
  51945 ?        S      0:04 apache2 -DFOREGROUND
  52001 ?        S      0:20 apache2 -DFOREGROUND
  52002 ?        S      0:20 apache2 -DFOREGROUND
  52003 ?        S      0:20 apache2 -DFOREGROUND
  52004 ?        S      0:21 apache2 -DFOREGROUND
  52005 ?        S      0:21 apache2 -DFOREGROUND
  52811 ?        S      0:21 apache2 -DFOREGROUND
 702819 pts/0    S+     0:00 grep --color=auto apache

どうもDockerの環境において、pstreeを使っても、どのコンテナがこれらのプロセスを生み出しているのかわからない。何かしらそういう方法があるのかも、現在のところわからない。

コンテナ内のapacheプロセスを調べる

現在のところ、一つ一つコンテナを探っていくしか無いと判断した。

例えば、mailuシステムだが、これだけのコンテナが動作している。

# docker ps | grep mailu
4c7e64a48d01   mailu/roundcube:1.8             "docker-php-entrypoi…"   37 hours ago   Up 37 hours (healthy)   80/tcp                                                                                                                                                                                                                                                                                                                                                   mailu_webmail_1
4c926a10619c   mailu/postfix:1.8               "/bin/sh -c /start.py"   37 hours ago   Up 37 hours (healthy)   25/tcp, 10025/tcp                                                                                                                                                                                                                                                                                                                                        mailu_smtp_1
3d543fc97e02   mailu/dovecot:1.8               "/bin/sh -c /start.py"   37 hours ago   Up 37 hours (healthy)   110/tcp, 143/tcp, 993/tcp, 2525/tcp, 4190/tcp                                                                                                                                                                                                                                                                                                            mailu_imap_1
2255453af60a   mailu/rspamd:1.8                "/bin/sh -c /start.py"   37 hours ago   Up 37 hours (healthy)   11332/tcp, 11334-11335/tcp                                                                                                                                                                                                                                                                                                                               mailu_antispam_1
11cd1edf975c   mailu/admin:1.8                 "/bin/sh -c /start.py"   37 hours ago   Up 37 hours (healthy)   80/tcp                                                                                                                                                                                                                                                                                                                                                   mailu_admin_1
10afa7ffe8c3   mailu/fetchmail:1.8             "/fetchmail.py"          37 hours ago   Up 37 hours                                                                                                                                                                                                                                                                                                                                                                      mailu_fetchmail_1
bbc84e8aafe7   mailu/unbound:1.8               "/bin/sh -c /start.py"   37 hours ago   Up 37 hours (healthy)   53/tcp, 53/udp                                                                                                                                                                                                                                                                                                                                           mailu_resolver_1
7c7761781dbb   mailu/nginx:1.8                 "/bin/sh -c /start.py"   37 hours ago   Up 37 hours (healthy)   0.0.0.0:25->25/tcp, :::25->25/tcp, 0.0.0.0:110->110/tcp, :::110->110/tcp, 0.0.0.0:143->143/tcp, :::143->143/tcp, 0.0.0.0:465->465/tcp, :::465->465/tcp, 0.0.0.0:993->993/tcp, :::993->993/tcp, 80/tcp, 10025/tcp, 0.0.0.0:995->995/tcp, :::995->995/tcp, 10143/tcp, 0.0.0.0:8443->443/tcp, :::8443->443/tcp, 0.0.0.0:49156->587/tcp, :::49156->587/tcp   mailu_front_1
d38f37e58bd0   redis:alpine                    "docker-entrypoint.s…"   37 hours ago   Up 37 hours             6379/tcp                                                                                                                                                                                                                                                                                                                                                 mailu_redis_1

おそらくは、mailu_webmail_1というコンテナだろう。これを調べてみる。

# docker exec -it mailu_webmail_1 bash
root@4c7e64a48d01:/var/www/html# ps ax | grep apache
      7 ?        S      0:04 apache2 -DFOREGROUND
     29 ?        S      0:21 apache2 -DFOREGROUND
     30 ?        S      0:21 apache2 -DFOREGROUND
     31 ?        S      0:21 apache2 -DFOREGROUND
     32 ?        S      0:21 apache2 -DFOREGROUND
     33 ?        S      0:21 apache2 -DFOREGROUND
     60 ?        S      0:21 apache2 -DFOREGROUND
  35767 pts/1    S+     0:00 grep apache
r# cd /etc/apache2
# ls
apache2.conf    conf-enabled  magic           mods-enabled  sites-available
conf-available  envvars       mods-available  ports.conf    sites-enabled
# 

案の定、Apacheプロセスが不必要に起動している。私の環境では、使っても数人、それも同時に使うことはほとんど無いだろう。そこで、Apacheをチューニングしてプロセス数を減らすことにする。

現状のMPMを確認する

docker exec -it mailu_webmail_1 bash

として

apachectl -V | grep MPM

とすると、

Server MPM:     prefork

とpreforkになっていることがわかる。

Apacheの設定ファイルを外部に出す

まずは、現状ではコンテナ内にあるデフォルトのApache設定ファイルを外に出してやる。コンテナ内のままでも設定変更はできるが、再インストールの際には失われてしまうため、外に出した方が良い。

docker cp mailu_webmail_1:/etc/apache2 ./apache2

とし、docker-compose.ymlを書き換える。

  # Webmail
  webmail:
    image: ${DOCKER_ORG:-mailu}/${DOCKER_PREFIX:-}roundcube:${MAILU_VERSION:-1.8}
    restart: always
    env_file: mailu.env
    volumes:
      - "./webmail:/data"
      - "./apache2:/etc/apache2" # これを追加
    depends_on:
      - imap

Apache2の設定変更

問題としては、apacheのMPMがpreforkになっており、それがデフォルトで必要以上のプロセスを発生していることである。これについては、ApacheのMPMはpreform,worker,eventのどれを選ぶべきか?を参照のこと。

この設定を変更してみる。Apache2のバージョンや、構成によって異なるのかもれないが、設定ファイルは以下の構成になっている。

# ls -lR
.:
total 76
drwxr-xr-x. 8 root root  4096 Oct 12  2021 apache2
-rw-r--r--. 1 root root  7244 Oct 15  2021 apache2.conf
drwxr-xr-x. 2 root root  4096 Oct 15  2021 conf-available
drwxr-xr-x. 2 root root  4096 Oct 15  2021 conf-enabled
-rw-r--r--. 1 root root  1924 Oct 12  2021 envvars
-rw-r--r--. 1 root root 31063 Aug  8  2020 magic
drwxr-xr-x. 2 root root  8192 Oct 14  2021 mods-available
drwxr-xr-x. 2 root root  4096 Oct 14  2021 mods-enabled
-rw-r--r--. 1 root root   320 Aug  8  2020 ports.conf
drwxr-xr-x. 2 root root    54 Oct 12  2021 sites-available
drwxr-xr-x. 2 root root    30 Oct 12  2021 sites-enabled

バージョンやディストリビューションによって、様々な設定方法があるようだが、この環境では以下と同じ設定ファイル構成のようだ。

つまり、mods-available内に、使われているいないに関わらずあらゆる設定があり、そのうちの使うものがmods-enabledにリンクされているというだけだ。

mods-enabled内でls- lすると以下になる。

lrwxrwxrwx. 1 root root 36 Oct 12  2021 access_compat.load -> ../mods-available/access_compat.load
lrwxrwxrwx. 1 root root 28 Oct 12  2021 alias.conf -> ../mods-available/alias.conf
lrwxrwxrwx. 1 root root 28 Oct 12  2021 alias.load -> ../mods-available/alias.load
lrwxrwxrwx. 1 root root 33 Oct 12  2021 auth_basic.load -> ../mods-available/auth_basic.load
lrwxrwxrwx. 1 root root 33 Oct 12  2021 authn_core.load -> ../mods-available/authn_core.load
lrwxrwxrwx. 1 root root 33 Oct 12  2021 authn_file.load -> ../mods-available/authn_file.load
lrwxrwxrwx. 1 root root 33 Oct 12  2021 authz_core.load -> ../mods-available/authz_core.load
lrwxrwxrwx. 1 root root 33 Oct 12  2021 authz_host.load -> ../mods-available/authz_host.load
lrwxrwxrwx. 1 root root 33 Oct 12  2021 authz_user.load -> ../mods-available/authz_user.load
lrwxrwxrwx. 1 root root 32 Oct 12  2021 autoindex.conf -> ../mods-available/autoindex.conf
lrwxrwxrwx. 1 root root 32 Oct 12  2021 autoindex.load -> ../mods-available/autoindex.load
lrwxrwxrwx. 1 root root 30 Oct 12  2021 deflate.conf -> ../mods-available/deflate.conf
lrwxrwxrwx. 1 root root 30 Oct 12  2021 deflate.load -> ../mods-available/deflate.load
lrwxrwxrwx. 1 root root 26 Oct 12  2021 dir.conf -> ../mods-available/dir.conf
lrwxrwxrwx. 1 root root 26 Oct 12  2021 dir.load -> ../mods-available/dir.load
lrwxrwxrwx. 1 root root 26 Oct 12  2021 env.load -> ../mods-available/env.load
lrwxrwxrwx. 1 root root 29 Oct 12  2021 filter.load -> ../mods-available/filter.load
lrwxrwxrwx. 1 root root 27 Oct 12  2021 mime.conf -> ../mods-available/mime.conf
lrwxrwxrwx. 1 root root 27 Oct 12  2021 mime.load -> ../mods-available/mime.load
lrwxrwxrwx. 1 root root 34 Oct 12  2021 mpm_prefork.conf -> ../mods-available/mpm_prefork.conf
lrwxrwxrwx. 1 root root 34 Oct 12  2021 mpm_prefork.load -> ../mods-available/mpm_prefork.load
lrwxrwxrwx. 1 root root 34 Oct 12  2021 negotiation.conf -> ../mods-available/negotiation.conf
lrwxrwxrwx. 1 root root 34 Oct 12  2021 negotiation.load -> ../mods-available/negotiation.load
lrwxrwxrwx. 1 root root 27 Oct 14  2021 php7.load -> ../mods-available/php7.load
lrwxrwxrwx. 1 root root 33 Oct 12  2021 reqtimeout.conf -> ../mods-available/reqtimeout.conf
lrwxrwxrwx. 1 root root 33 Oct 12  2021 reqtimeout.load -> ../mods-available/reqtimeout.load
lrwxrwxrwx. 1 root root 31 Oct 12  2021 setenvif.conf -> ../mods-available/setenvif.conf
lrwxrwxrwx. 1 root root 31 Oct 12  2021 setenvif.load -> ../mods-available/setenvif.load
lrwxrwxrwx. 1 root root 29 Oct 12  2021 status.conf -> ../mods-available/status.conf
lrwxrwxrwx. 1 root root 29 Oct 12  2021 status.load -> ../mods-available/status.load

これをまずは変更する。

rm -f mpm_prefork.*
ln -s ../mods-available/mpm_event.load .
ln -s ../mods_available/mpm_event.conf ,

これでmailuを再起動してみる。すると、エラーが発生する。

webmail_1    | [Sat Oct 29 12:28:10.916685 2022] [php7:crit] [pid 7:tid 140663369444672] Apache is running a threaded MPM, but your PHP Module is not compiled to be threadsafe.  You need to recompile PHP.
webmail_1    | AH00013: Pre-configuration failed
mailu_webmail_1 exited with code 1
smtp_1       | Oct 29 12:28:11 mail 

PHPがスレッドセーフでないと言う。面倒なので元に戻す。ともあれ、外部に出したApache2の設定が反映されていることは確認できた。

rm -f mpm_event.*
ln -s ../mods-available/mpm_prefork.load .
ln -s ../mods_available/mpm_preform.conf ,

preforkのまま設定を変更する

eventにするにはPHPまで何らかの変更をしなければならないらしい。preforkのまま、メモリ使用量を減らすことにする。

mods-available/mpm_prefork.confを見ると以下の設定になっている。

<IfModule mpm_prefork_module>
        StartServers                     5
        MinSpareServers           5
        MaxSpareServers          10
        MaxRequestWorkers         150
        MaxConnectionsPerChild   0
</IfModule>

チューニングの仕方はApacheのメモリ消費を抑える(prefork)に書いたが、しかしこの頃とはチューニングパラメータが異なるようだ。以前の設定をそのまま移行することができない。迷惑な話だ。

今回はメールサーバのユーザインターフェースということもあり、最小限で十分だ。以下の設定をする。

<IfModule mpm_prefork_module>
        StartServers                     1
        MinSpareServers           1
        MaxSpareServers          1
        MaxRequestWorkers         1
        MaxConnectionsPerChild   0
</IfModule>

これで問題ないようだ。

# docker exec -it mailu_webmail_1 bash
# ps ax | grep apache

とすると、プロセスは二つしか起動していない。おそらく、複数の人間が使ったとしてもこのままだろう。

Nextcloudの設定

NextCloudも同様にApache2を使用していた。しかし、Nextcloudの場合には、上の設定だと全くページが表示されず、ログを見ると警告がでている。以下の値を変更した。

        MaxRequestWorkers         50

未分類

Posted by ysugimura