Windows 10でMSVCでnghttp2のサンプルを動かす
概要
nghttp2はMSVCでもライブラリ単体はビルド可能とgithubのリポジトリのREADMEにも書かれている通り、 cmakeで特に依存ライブラリは必要ともせず、容易にビルドできる。
しかし、いざ、nghttp2ライブラリを使おうとしたら、数日ハマった。
一日がかりで、nghttp2をMSVC環境でライブラリのみをビルドして、examplesのlibevent-server.cを動かそうとしたら、libevent側でbufferevent_openssl.cをWindowsは除いてビルドしているので、結局リンクエラー
— kjunichi (@kjunichi) 2017年1月7日
nodeはWindowsをサポートしており、http2をサポートする際はnghttp2を使う予定とのことで、この週末、windowsでnghttp2のサンプル動かそうとしてるが色々ハードル高くて勉強になる#と前向きなツイートしとくか
— kjunichi (@kjunichi) 2017年1月8日
何とかhghttp2のサンプルのlibevent-server.cをwindowsでビルド通したが、writecbが動いたあと、ブラウザに応答が戻らない
— kjunichi (@kjunichi) 2017年1月9日
WindowsのMSVC環境でlibeventのマスターをビルドしてそのサンプルを動かせ、libeventでHTTPサーバーは動かせた。しかし、httpsでのクライアントのコードはあり、これも動かせたが、サーバーのコードがないので、OpenSSLでサーバーができるのか現時点で不明
— kjunichi (@kjunichi) 2017年1月9日
MSVC環境でのnghttp2のサンプルが動かない問題。切り分けの為に、自前でビルドしたlibeventとOpenSSLの組み合わせでhttpsサーバーは動いた。 / “httpsserver.c · GitHub” https://t.co/Fqcm6ds3zO
— kjunichi (@kjunichi) 2017年1月11日
書いた人の背景
自分はWindows初心者だが、cygwin使えばこの手のものは動くのは分かっている。
2016年のMacBook ProがNVIDIAじゃないからCUDA使えないし、mrubyでクロスビルドでWinなバイナリを作った 経験も溜まってきたし、安定の開発者の天国のLinux環境では当たり前すぎるから、 最近Windows環境への定住を本気で考えている。
要約すると金が無いから新しいMacBook Pro買えないだけ。
nghttp2ライブラリを動かす為に必要な物
ホントにスキルがあれば、ライブラリ本体を使うだけでも動かせると思う。
が、一般人は、TLS周りにOpenSSL使ったり、非同期ライブラリ?としてlibeventを使ったりして、 これらを組み合わせてnghttp2ライブラリをつかってHTTP2が喋れるサーバーを組むことになる模様。
- OpenSSL
- libevent
OpenSSL、libeventともにWindowsで動くバージョンが複数あり、少しハマった。
OpenSSLのバージョン
1.1系で作業をはじめて、途中動かなかったから、OpenSSLのバージョンも疑ったが、1.0系でなくとも問題なさそうだった。
libeventのバージョン
これが問題だった。安定版と言われている2.0.x系はWindowsプラットフォーム、少なくともMSVC環境では、openssl周りの面倒を見てくれない。 ここはおとなしくgithubからcloneして最新版(2.1.x系)を使った。
OpenSSLのビルド
chocolateyでActivePerl、nasmを入れてから、公式のドキュメントに従い、インストール
libeventのビルド
git cloenしてcmakeでビルド、上でいれたOpenSSLを自動的に検出してくれたハズ。 VS 2015でビルドしてインストール
nghttp2のビルド
cmakeでビルドできるが、公式の指定だと、32ビットでビルドされてしまったので、 開発者向けプロンプトを開いて以下を実行した。
set PATH=%PATH%; cmake -G "Visual Studio 14 2015 Win64" . cmake --build .
nghttp2をビルド https://t.co/5lowomQDLi pic.twitter.com/QMwgR1AeVi
— kjunichi (@kjunichi) 2017年1月7日
管理者権限で開発者プロンプトを開いて
set PATH=%PATH%; cmake --build . --target install
これで、nghttp2のexample/libevent-server.cをビルドする準備が整った。
libevent-server.cを動かす
各種修正
ソケット周りをWinsock2使う修正
#ifdef HAVE_NETINET_IN_H #include <netinet/in.h> #endif /* HAVE_NETINET_IN_H */ +#if defined(_MSC_VER) +#include <winsock2.h> +#include <ws2tcpip.h> +#else #include <netinet/tcp.h> +#endif
int main(int argc, char **argv) { + #if defined(_MSC_VER) + WSADATA wsa_data; + WSAStartup(MAKEWORD(2,2), &wsa_data); + #else struct sigaction act; + #endif if (argc < 4) {
SSIZE_T問題の対応とエラー出力周辺の対応とU対応とO_RDONLY対応
#include <event2/listener.h> +#if defined(_MSC_VER) +void +_verrx(int eval, const char *fmt, va_list ap) +{ + (void)fprintf(stderr, "%s: ", "server"); + if (fmt != NULL) + (void)vfprintf(stderr, fmt, ap); + (void)fprintf(stderr, "\n"); + exit(eval); +} + +void +errx(int eval, const char *fmt, ...) +{ + va_list ap; + + va_start(ap, fmt); + _verrx(eval, fmt, ap); + va_end(ap); +} + +void +warnx(const char *fmt, ...) +{ + va_list ap; + + va_start(ap, fmt); + _verrx(0, fmt, ap); + va_end(ap); +} + +#include <BaseTsd.h> +typedef SSIZE_T ssize_t; +typedef SIZE_T size_t; +#include <io.h> +#include <fcntl.h> +#define O_RDONLY _O_RDONLY +#define _U_ +#endif + #include <nghttp2/nghttp2.h>
pipe対応
Windowsにもpipeに似た_pipeがあり、とりあえずこれで今回は回避できた模様。
nghttp2_nv hdrs[] = {MAKE_NV(":status", "404")}; - rv = pipe(pipefd); + rv = _pipe(pipefd, strlen(ERROR_HTML), _O_BINARY); if (rv != 0) {
libevent 2.1.x対応
これが今回のキモ。 openssl統合されたlibeventをWindowsで使うには2.0系ではなく、2.1系のlibeventを使うのだが、 nghttp2のサンプルのlibevent-server.cはlibeventの2.0向けに書かれており、 以下の修正を行わないとサーバーが反応しない (たったの1行追加だけど)
bufferevent_setcb(session_data->bev, readcb, writecb, eventcb, session_data);
+ bufferevent_enable(session_data->bev, EV_READ);
}
ビルド
INCLUDE,LIBの設定
gcc,clangのような-I,-Lのオプションを知らないので、cl.exeでは以下のように環境変数で指定した。
set INCLUDE=%INCLUDE%;C:\Program Files\OpenSSL\include;C:\Program Files\libevent\include;C:\Program Files\nghttp2\includes set LIB=%LIB%;C:\Program Files\nghttp2\lib;C:\Program Files\libevent\lib;C:\Program Files\OpenSSL\lib
ビルド
cl libevent-server.c nghttp2.lib event.lib msvcrt.lib ws2_32.lib libssl.lib libcrypto.lib Advapi32.lib /link /nodefaultlib:libcmt /nodefaultlib:msvcrtd
実行
set PATH=%PATH%;C:\Program Files\nghttp2\lib libevent-server 8080 key.pem cert.pem
ようやくWindowsでnghttp2 ライブラリ使ってHTTP2でサーバー動かせた! https://t.co/hRFaVx8DJZ pic.twitter.com/D4mnR04ocx
— kjunichi (@kjunichi) 2017年1月12日
IPv6が有効な環境だと、IPv6でのアクセスのみ受け付けるようだった。getaddrinfoの第一引数のNULLを"0.0.0.0"に変えたら、 IPv4で通信ができた。
まとめ
OpenCVのビルドやh2oのビルドで使うことになったcmakeがlibeventやnghttp2でも使われていることを知った。 いまだに64ビットがデフォルトではなく、明示的にビルド時に指定する場面があることが驚きだった。 libeventやOpenSSLのバージョンに少し詳しくなれた。
もしかするとzlibを入れておく必要があるかも。
関連記事
- Windowsでmruby-http2を動かした
- Windows(MSVC)でmrubyからGPU対応のTensorflowを動かせた
- Cygwinでh2oが動いた日
- 久しぶりに自作PCをリニューアルした
4年前の記事
2017年、あけおめことよろ!
久しぶりに自作PCをリニューアルして、Xeonマシンを組んだ
こんばんは、2016年は残念ながらパーソナルアドベントカレンダーは失敗に終わりました。@kjunichiです。
これまでのPC
OSv動かせなかったおもいで
【悲報】うちの自作PCではOSvが試せない模様。LinuxのKVMが動作条件にIntel VT搭載CPUとあるが、Core 2 QuadなCPUはそれ以前の世代みたいだからなぁ / “第2回 Linux KVMで知る仮想マシンの概…” http://t.co/C2bvV7pinE
— kjunichi (@kjunichi) 2014年2月26日
2007年から9年後の2016年
ここ数年、何度かAkiba PCをいつもより熱心に読んでイマドキにチップセット等をキャッチアップしようとはしていましたが、2016年の12月まであたらしいPCを組めずにいた。
今回の構成
LGA2011-v3 なので、チップセットはX99一択っぽい。
MB
ASRock Intel X99搭載 ATXマザーボード X99 Taichi
CPU
当初は、Xeonが3万円程度のラインナップがあることを知らず、型落ちで激安と思い込み、 Intel CPU Xeon E5-2603V3 1.60GHz 15Mキャッシュ LGA2011-3 BX80644E52603V3 を頼んでしまう。
しかし、amazonの返品は手軽にできることを知っているので、返品手続きを進めて、2016年に発売された、 E5-2603v4にしようとするも、プライム対象でなく、配送に日にちかかりそうなので、 amazonで翌日に届く、
Intel Broadwell-EP XeonE5-2609v4 1.70GHz 8コア/8スレッド LGA2011-3 BX80660E52609V4
を買ってしまいました。
メモリ
X99では基本4枚刺しを知らずに
VGA
GTX1080欲しいが、電気代もきになるし、何よりお金がないw
玄人志向 ビデオカードGEFORCE GTX 1060搭載 GF-GTX1060-3GB/OC/DF
その他
FDDやATAPIがない!
FDDはともかく、ATAPIがないのが痛かった。SATAのDVDドライブを注文中。
買わずにすんだ電源
ベースは9年前のものだが、今の家に引っ越して早々、電源が火を吹いて逝ってしまい
玄人志向 ATX電源 オール105℃コンデンサ 最大出力500W KRPW-V500W
に替えていたのが幸いしてなのか、ATXのコネクタ以外に12Vのコネクタもついており、 X99を動かすことができた。
なんでこんなのにしたの
- 並列・並行プログラミングを体で覚えるため
- OpenCLがはやらず、CUDAを扱いたくなった
- 機械学習をGPUでやりたい
- M.2でRAIDを将来的にやれる可能性を残したくて、PCI40レーン使用可能なCPUにしたかった
Why めにいこあ
プログラムしてると並列・並行処理をよく目にするし、2012年のMacBook Proですら4コア8スレッドなので、さぞ世間のPCはコアをたくさん詰んでるのかとおもいきや、 メインストリームと言われているLGA1151は多くて4コアじゃないか!だまされた!意外と多コア化の進行は遅いようだ。
LGA2011-v3は究極のエンスー向けとか言われてたので、当初候補から外れてたが、こっちじゃなきゃダメじゃん。チョット趣味でいまどきの言語で並列・並行処理を勉強するには6コアくらい欲しいよね。 ちょっと古ければ、手ごろな価格のCPUがあるだろ?とおもい、ありました。 Xeonです!(ファミコンカセットのPentium IIのころXeonはいつかは自作したいとおもってましたが、イクメンしながらXeonですよ!)
おわりに
当初はよくてメインストリームでと考えていたもの、全然コア数が少ないので、世間一般ではハイエンドと言われるチップセットを選択せざるをえなく、 つらかったが、子供たちの魔の手から守りw、大事に使って、ゆくゆくはビデオカードの2枚ざし等夢が広がる。
core 7iは高いから避けたのだが、結局8コアのXeonを4万ちょっと出して買っており、ちょっと反省。。。