HTTPの診断
目標
HTTPのレスポンスを、ステータスコード・ヘッダー・タイミングの3つの軸に分けて読み、ヘルスチェックにまとめた後、「モニターはFAILなのに自分の環境では動く」と「名前は合っているのに証明書エラー」を、数字とフィールドで見分けます。
なぜ重要なのか
「レスポンスが遅い・動かない」という報告に必要なのは、より多くのダッシュボードではなく、1つのリクエストを数字に分解して見ることです。curl -wは、ステータスコード・リダイレクト回数・区間ごとの時間を、それぞれ教えてくれます。ヘルスチェックには必ず最大待ち時間をかける必要があります — ないと、相手が応答しないときにスクリプトが永遠に止まり、そうしたスクリプトが溜まっていきます。
最後の2つのインシデントでは、その数字を実戦で使います。モニターには3つとも「FAIL」の一語ですが、1つはサーバーのリダイレクトルールがループし、1つはHostヘッダーに合うバーチャルホストがなく、1つはモニタープロセスの環境にだけあるプロキシ変数が原因です — 「誰が、どんな環境でリクエストしたか」が診断の半分です。証明書のインシデントでは、サブジェクト(CN)が合っていても、クライアントが実際に見るSANが違えば切断されることを、検証を無効にせずに直します。
ステップ
/root/wwwをドキュメントルートに、/root/httpを作業ディレクトリとして使います。
/root/www/index.htmlにlabhub-http-okを入れ、/root/wwwをドキュメントルートとするHTTPサーバーを127.0.0.1:8000で起動した後、PIDを/root/http/server_pid.txtに書いてください。- 存在しないパスをリクエストしたときのステータスコードを、
/root/http/status404.txtに、数字だけで書いてください。 /index.htmlのレスポンスヘッダーだけを受け取って、/root/http/headers.txtに保存してください。- リクエストの
time_namelookup、time_connect、time_totalの3つの値を、空白で区切って1行で/root/http/timing.txtに保存してください。 /root/www/subディレクトリを作り、http://127.0.0.1:8000/subをたどらないとき・たどるときのステータスコードを、/root/http/redirect.txtにno_follow=<code>・follow=<code>で書いてください。/root/http/healthcheck.sh <URL>を作ってください。2xxならok code=<code> time=<seconds>と終了コード0、2xx以外ならdown code=<code>と1、接続失敗ならdown …と1 — 10秒以内に判定します。- インシデント
incident ln-http-monitor— モニターが3つのサイトを同じようにFAILと見ています。3つともOKにして、サイトごとに原因を報告してください。 - インシデント
incident ln-http-tls— 証明書エラーでHTTPSが切断されます。検証を無効にせずに開けるようにして、原因を報告してください。
参考
- インシデントツール:
incident listは発生させられるインシデントと1行の症状を、incident show <name>はチケットを再表示します。同じインシデントをもう一度発生させると、最初の故障状態に戻ります。 - 報告書は
/root/incident/<incident-name>/report.txtです。原因が1つならcause: <candidate-code>、サイトが複数なら<site>: <candidate-code>を1行ずつ、そしてevidence: <one observed output line>です。採点はcurlで実際に測り直して確認します。 - 接続失敗時、
%{http_code}は000です。%{num_redirects}と%{redirect_url}は、リダイレクトを数字で見せてくれます。 - インシデントのWebサーバー・モニターは
ln-webが管理します。設定は起動時に一度だけ読まれるので、直した後は起動し直す必要があります。 - よくある間違い: ステップ5で末尾にスラッシュを付けてリクエストすると、リダイレクトがないので両方とも200になります。インシデントで
-kや.curlrcで検証を無効にするのは、直したことになりません。
ローカルHTTPサーバーを起動する
/root/www/index.htmlを作ってlabhub-http-okを入れ、/root/wwwをドキュメントルートとするHTTPサーバーを127.0.0.1:8000でバックグラウンドで起動した後、PIDを/root/http/server_pid.txtに書いてください。
python3のhttp.serverモジュールには、バインドするアドレスとドキュメントルートを選ぶオプションがあります(-h)。ドキュメントルートを指定しないと、現在のディレクトリを公開します。
ステータスコードだけを取り出す
存在しないパスをリクエストしたときのステータスコードを、/root/http/status404.txtに、数字だけで書いてください。
本文を捨てて、レスポンスの数字だけを出力させるcurlの書き出し形式(-w)の変数があります。
ヘッダーだけを受け取る
/index.htmlの応答ヘッダーだけを受け取って、/root/http/headers.txtに保存してください。本文が混ざってはいけません。
本文なしでヘッダーだけを返してもらうHTTPメソッドがあり、curlにはそのリクエストを送るオプションがあります。
区間ごとの所要時間を測る
リクエストのtime_namelookup、time_connect、time_totalの3つの値を、空白で区切って1行で/root/http/timing.txtに保存してください。
-wの形式文字列の中に3つの変数を空白でつないで、1行で出力してください。3つの値は、リクエスト開始からの累積時間です。
リダイレクトをたどる
/root/www/subディレクトリを作って、ファイルを1つ入れてください。http://127.0.0.1:8000/subを、リダイレクトをたどらずにリクエストしたときと、たどったときのステータスコードを、/root/http/redirect.txtに、次の2行で書いてください。
no_follow=<code>follow=<code>
curlはデフォルトでリダイレクトをたどりません。ディレクトリを末尾のスラッシュなしでリクエストすると、サーバーがスラッシュ付きのアドレスに送ります。
ヘルスチェックスクリプト
/root/http/healthcheck.sh <URL>を作ってください。
- 2xxなら
ok code=<code> time=<seconds>を出力し、終了コード0 - レスポンスは来たが2xxでなければ
down code=<code>を出力し、終了コード1 - 接続自体ができなければ
downで始まるメッセージを出し、終了コード1。10秒以内に判定する必要があります。
正常・レスポンスは来たが異常・まったく届かない、の3つを切り分ける必要があります。届かなかったときにcurlが出すコードが何か、そして相手が答えないときに何秒で諦めるかを決めてください。
インシデント — モニターの3つのFAIL
incident ln-http-monitorを実行した後、モニター(/var/log/ln-web/monitor.log)がshop.lab.test・api.lab.test・docs.lab.testの3つをすべてOKと見るように直してください。モニターを止めたり、リストからアドレスを外したりしてはいけません。直した内容は設定ファイルに残り、起動し直しても維持される必要があります。/root/incident/ln-http-monitor/report.txtにshop: <code>・api: <code>・docs: <code>の3行とevidence: <one observed output line>を書いてください。コードの候補: proxy-env(リクエストする側のプロキシ環境変数)・redirect-loop(リダイレクトがループしている)・server-down(サーバーが応答しない)・tls-name(証明書の名前が違う)・vhost-mismatch(Hostヘッダーに合うバーチャルホストがない)。
方向: FAILという一語を数字に変えてください。そして「自分のシェルでは動く」という言葉は、リクエストする側が違うという意味です。 ツール: curl(-w、-H、-L)、/proc、cat。 具体: モニターログの数値の列、リダイレクトをたどらない1回分のレスポンス、サーバーが名前でサイトを選ぶ仕組み、そしてモニタープロセスが実際に持っている環境(/proc)を見てください。Webの設定は起動時に一度だけ読まれます。また、社内のプロキシポリシーそのものは守る必要があります。
インシデント — 名前は合っているのに証明書エラー
incident ln-http-tlsを実行した後、検証を無効にしないcurlでhttps://secure.lab.test:9443/が開けるように直してください(-k禁止)。証明書は社内CA(/etc/ln-web/tls/ca/)が署名したものである必要があり、/etc/ln-web/tls.confが指すファイルに残って、起動し直しても維持される必要があります。/root/incident/ln-http-tls/report.txtにcause: <code>とevidence: <one observed output line>を書いてください。コードの候補: ca-untrusted(署名したCAを信頼していない)・cert-expired(証明書の期限が切れている)・key-mismatch(証明書と秘密鍵がペアではない)・proxy-env(リクエストする側のプロキシ環境変数)・tls-name(証明書の名前が接続した名前と違う)。
方向: curlのエラー文は、TLSのどの確認で切断されたのかを教えてくれます。その確認が証明書のどのフィールドを見るのかが核心です。 ツール: curl -v、openssl s_client、openssl x509。 具体: ファイルではなく、接続して実際に受け取った証明書の、名前に関するフィールドをすべて見て、クライアントがそのうちどれを比較するのかを思い出してください。直すときは、このサーバーのクライアントが信頼している発行者が誰なのかをまず確認してください。