http2 ハッカソン #5に行ってきた

おはようございます。週末は長男の自転車の補助輪をとり、練習をはじめました。@kjunichiです。

初めてのハッカソン

先日の初めての勉強会に参加に続き、初めてのハッカソンに行ってきました。といっても、今回は報告会もあり、HTTP2のプライオリティに関する議論もありの構成でした。

Jxckさん、y_iwanaga_さん、並びにhttp2study関係者の皆様、ありがとうございました。懇親会行けず残念でした。

自分がハッカソンで出来たこと

libh2oをhttps化して、mrubyハンドラを有効化して動かす
Electronでhttp2を喋らせる

libh2oをhttps化してmrubyハンドラを動かす

example/libh2o/simple.cをベースにhttpsのフラグ有効化し、さらにSSL周りの処理をh2oのmain.cを参考に追加して、FirefoxやChromeからオレオレ証明書でアクセス可能にした。

また、先日Rack APIに変更されたmrubyハンドラを有効化した。

File: libh2o_with_https_and_mruby.c ------------------------- /* * Copyright (c) 2014 DeNA Co., Ltd. * * Permission is hereby granted, free of charge, to any person obtaining a copy * of this software and associated documentation files (the "Software"), to * deal in the Software without restriction, including without limitation the * rights to use, copy, modify, merge, publish, distribute, sublicense, and/or * sell copies of the Software, and to permit persons to whom the Software is * furnished to do so, subject to the following conditions: * * The above copyright notice and this permission notice shall be included in * all copies or substantial portions of the Software. * * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS * IN THE SOFTWARE. */ #include #include #include #include #include #include #include #include #include "h2o.h" #include "h2o/http1.h" #include "h2o/http2.h" #include "h2o/memcached.h" #include "h2o/mruby_.h" #define USE_HTTPS 1 #define USE_MEMCACHED 0 static h2o_pathconf_t *register_handler(h2o_hostconf_t *hostconf, const char *path, int (*on_req)(h2o_handler_t *, h2o_req_t *)) { h2o_pathconf_t *pathconf = h2o_config_register_path(hostconf, path); h2o_handler_t *handler = h2o_create_handler(pathconf, sizeof(*handler)); handler->on_req = on_req; return pathconf; } static int chunked_test(h2o_handler_t *self, h2o_req_t *req) { static h2o_generator_t generator = {NULL, NULL}; if (!h2o_memis(req->method.base, req->method.len, H2O_STRLIT("GET"))) return -1; h2o_iovec_t body = h2o_strdup(&req->pool, "hello world\n", SIZE_MAX); req->res.status = 200; req->res.reason = "OK"; h2o_add_header(&req->pool, &req->res.headers, H2O_TOKEN_CONTENT_TYPE, H2O_STRLIT("text/plain")); h2o_start_response(req, &generator); h2o_send(req, &body, 1, 1); return 0; } static int reproxy_test(h2o_handler_t *self, h2o_req_t *req) { if (!h2o_memis(req->method.base, req->method.len, H2O_STRLIT("GET"))) return -1; req->res.status = 200; req->res.reason = "OK"; h2o_add_header(&req->pool, &req->res.headers, H2O_TOKEN_X_REPROXY_URL, H2O_STRLIT("http://www.google.com/")); h2o_send_inline(req, H2O_STRLIT("you should never see this!\n")); return 0; } static int post_test(h2o_handler_t *self, h2o_req_t *req) { if (h2o_memis(req->method.base, req->method.len, H2O_STRLIT("POST")) && h2o_memis(req->path_normalized.base, req->path_normalized.len, H2O_STRLIT("/post-test/"))) { static h2o_generator_t generator = {NULL, NULL}; req->res.status = 200; req->res.reason = "OK"; h2o_add_header(&req->pool, &req->res.headers, H2O_TOKEN_CONTENT_TYPE, H2O_STRLIT("text/plain; charset=utf-8")); h2o_start_response(req, &generator); h2o_send(req, &req->entity, 1, 1); return 0; } return -1; } static h2o_globalconf_t config; static h2o_context_t ctx; static h2o_multithread_receiver_t libmemcached_receiver; static h2o_accept_ctx_t accept_ctx; #if H2O_USE_LIBUV static void on_accept(uv_stream_t *listener, int status) { uv_tcp_t *conn; h2o_socket_t *sock; if (status != 0) return; conn = h2o_mem_alloc(sizeof(*conn)); uv_tcp_init(listener->loop, conn); if (uv_accept(listener, (uv_stream_t *)conn) != 0) { uv_close((uv_handle_t *)conn, (uv_close_cb)free); return; } sock = h2o_uv_socket_create((uv_stream_t *)conn, (uv_close_cb)free); h2o_accept(&accept_ctx, sock); } static int create_listener(void) { static uv_tcp_t listener; struct sockaddr_in addr; int r; uv_tcp_init(ctx.loop, &listener); uv_ip4_addr("127.0.0.1", 7890, &addr); if ((r = uv_tcp_bind(&listener, (struct sockaddr *)&addr, 0)) != 0) { fprintf(stderr, "uv_tcp_bind:%s\n", uv_strerror(r)); goto Error; } if ((r = uv_listen((uv_stream_t *)&listener, 128, on_accept)) != 0) { fprintf(stderr, "uv_listen:%s\n", uv_strerror(r)); goto Error; } return 0; Error: uv_close((uv_handle_t *)&listener, NULL); return r; } #else static void on_accept(h2o_socket_t *listener, int status) { h2o_socket_t *sock; if (status == -1) { return; } if ((sock = h2o_evloop_socket_accept(listener)) == NULL) return; h2o_accept(&accept_ctx, sock); } static int create_listener(void) { struct sockaddr_in addr; int fd, reuseaddr_flag = 1; h2o_socket_t *sock; memset(&addr, 0, sizeof(addr)); addr.sin_family = AF_INET; addr.sin_addr.s_addr = htonl(0x7f000001); addr.sin_port = htons(7890); if ((fd = socket(AF_INET, SOCK_STREAM, 0)) == -1 || setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, &reuseaddr_flag, sizeof(reuseaddr_flag)) != 0 || bind(fd, (struct sockaddr *)&addr, sizeof(addr)) != 0 || listen(fd, SOMAXCONN) != 0) { return -1; } sock = h2o_evloop_socket_create(ctx.loop, fd, H2O_SOCKET_FLAG_DONT_READ); h2o_socket_read_start(sock, on_accept); return 0; } #endif static void setup_ecc_key(SSL_CTX *ssl_ctx) { int nid = NID_X9_62_prime256v1; EC_KEY *key = EC_KEY_new_by_curve_name(nid); if (key == NULL) { fprintf(stderr, "Failed to create curve \"%s\"\n", OBJ_nid2sn(nid)); return; } SSL_CTX_set_tmp_ecdh(ssl_ctx, key); EC_KEY_free(key); } static int setup_ssl(const char *cert_file, const char *key_file) { SSL_load_error_strings(); SSL_library_init(); OpenSSL_add_all_algorithms(); accept_ctx.ssl_ctx = SSL_CTX_new(SSLv23_server_method()); SSL_CTX_set_options(accept_ctx.ssl_ctx, SSL_OP_NO_SSLv2); setup_ecc_key(accept_ctx.ssl_ctx); if (USE_MEMCACHED) { accept_ctx.libmemcached_receiver = &libmemcached_receiver; h2o_accept_setup_async_ssl_resumption(h2o_memcached_create_context("127.0.0.1", 11211, 1, "h2o:ssl-resumption:"), 86400); h2o_socket_ssl_async_resumption_setup_ctx(accept_ctx.ssl_ctx); } /* load certificate and private key */ if (SSL_CTX_use_certificate_file(accept_ctx.ssl_ctx, cert_file, SSL_FILETYPE_PEM) != 1) { fprintf(stderr, "an error occurred while trying to load server certificate file:%s\n", cert_file); return -1; } if (SSL_CTX_use_PrivateKey_file(accept_ctx.ssl_ctx, key_file, SSL_FILETYPE_PEM) != 1) { fprintf(stderr, "an error occurred while trying to load private key file:%s\n", key_file); return -1; } /* setup protocol negotiation methods */ #if H2O_USE_NPN h2o_ssl_register_npn_protocols(accept_ctx.ssl_ctx, h2o_http2_npn_protocols); #endif #if H2O_USE_ALPN h2o_ssl_register_alpn_protocols(accept_ctx.ssl_ctx, h2o_http2_alpn_protocols); #endif return 0; } #if H2O_USE_ALPN static int on_alpn_select(SSL *ssl, const unsigned char **out, unsigned char *outlen, const unsigned char *_in, unsigned int inlen, void *_protocols) { const h2o_iovec_t *protocols = _protocols; size_t i; for (i = 0; protocols[i].len != 0; ++i) { const unsigned char *in = _in, *in_end = in + inlen; while (in != in_end) { size_t cand_len = *in++; if (in_end - in < cand_len) { /* broken request */ return SSL_TLSEXT_ERR_NOACK; } if (cand_len == protocols[i].len && memcmp(in, protocols[i].base, cand_len) == 0) { goto Found; } in += cand_len; } } /* not found */ return SSL_TLSEXT_ERR_NOACK; Found: *out = (const unsigned char *)protocols[i].base; *outlen = (unsigned char)protocols[i].len; return SSL_TLSEXT_ERR_OK; } // void h2o_ssl_register_alpn_protocols(SSL_CTX *ctx, const h2o_iovec_t *protocols) { SSL_CTX_set_alpn_select_cb(ctx, on_alpn_select, (void *)protocols); } #endif static int compile_test(h2o_mruby_config_vars_t *config, char *errbuf) { mrb_state *mrb; if ((mrb = mrb_open()) == NULL) { fprintf(stderr, "%s: no memory\n", H2O_MRUBY_MODULE_VERSION); abort(); } int ok = !mrb_nil_p(h2o_mruby_compile_code(mrb, config, errbuf)); mrb_close(mrb); return ok; } typedef struct mruby_configurator_t mct; int my_mruby_register(struct st_h2o_pathconf_t *url, const char *path) { FILE *fp = NULL; h2o_iovec_t buf = {}; int ret = -1; h2o_mruby_config_vars_t vars; /* open and read file */ if ((fp = fopen(path, "rt")) == NULL) { //h2o_configurator_errprintf(cmd, node, "failed to open file: %s:%s", path, strerror(errno)); goto Exit; } while (!feof(fp)) { buf.base = h2o_mem_realloc(buf.base, buf.len + 65536); buf.len += fread(buf.base, 1, 65536, fp); if (ferror(fp)) { //h2o_configurator_errprintf(cmd, node, "I/O error occurred while reading file:%s:%s", node->data.scalar, // strerror(errno)); goto Exit; } } /* set source */ vars.source = buf; buf.base = NULL; vars.path = path; /* the value is retained until the end of the configuration phase */ vars.lineno = 0; /* check if there is any error in source */ char errbuf[256]; if (!compile_test(&vars, errbuf)) { //h2o_configurator_errprintf(cmd, node, "failed to compile file:%s:%s", node->data.scalar, errbuf); goto Exit; } /* register */ h2o_mruby_register(url, &vars); ret = 0; Exit: if (fp != NULL) fclose(fp); if (buf.base != NULL) free(buf.base); } int main(int argc, char **argv) { h2o_hostconf_t *hostconf; signal(SIGPIPE, SIG_IGN); h2o_config_init(&config); hostconf = h2o_config_register_host(&config, h2o_iovec_init(H2O_STRLIT("default")), 65535); register_handler(hostconf, "/post-test", post_test); register_handler(hostconf, "/chunked-test", chunked_test); h2o_reproxy_register(register_handler(hostconf, "/reproxy-test", reproxy_test)); my_mruby_register(h2o_config_register_path(hostconf, "/mrb"), "hello.rb"); h2o_file_register(h2o_config_register_path(hostconf, "/"), "examples/doc_root", NULL, NULL, 0); /* set source */ #if H2O_USE_LIBUV uv_loop_t loop; uv_loop_init(&loop); h2o_context_init(&ctx, &loop, &config); #else h2o_context_init(&ctx, h2o_evloop_create(), &config); #endif if (USE_MEMCACHED) h2o_multithread_register_receiver(ctx.queue, &libmemcached_receiver, h2o_memcached_receiver); if (USE_HTTPS && setup_ssl("examples/h2o/server.crt", "examples/h2o/server.key") != 0) goto Error; /* disabled by default: uncomment the line below to enable access logging */ /* h2o_access_log_register(&config.default_host, "/dev/stdout", NULL); */ accept_ctx.ctx = &ctx; accept_ctx.hosts = config.hosts; if (create_listener() != 0) { fprintf(stderr, "failed to listen to 127.0.0.1:7890:%s\n", strerror(errno)); goto Error; } #if H2O_USE_LIBUV uv_run(ctx.loop, UV_RUN_DEFAULT); #else while (h2o_evloop_run(ctx.loop) == 0) ; #endif Error: return 1; }

use with Gist Search

やってみて分かったこと

現在のlibh2o.aにはmruby関連のもモジュールが含まれていないようで

File: how2buildwithLibh2o.md ------------------------- ``` gcc -I libressl-build/include -I ../deps/mruby/include/ -I ../include/ -luv \ ./libh2o.a -L libressl-build/lib -lcrypto -lssl mruby/host/lib/libmruby.a \ CMakeFiles/h2o.dir/lib/handler/mruby.c.o simple.c ```

use with Gist Search

のようにビルドする必要があった。（h2oのソースツリーの最上位にbuildディレクトリを作成し作業）

libh2oのサンプルのHTTPSの処理のままでは、最近のブラウザにはハネられる。

SSL_CTX_set_options(accept_ctx.ssl_ctx, SSL_OP_NO_SSLv2);

setup_ecc_key(accept_ctx.ssl_ctx); // <- この処理をh2oのmain.cより追加

if (USE_MEMCACHED) {

mrubyはmy_mruby_registerなる関数をon_config_mruby_handler_fileを参考に(というか、ほぼそのまま)作ることで対応できた。

サーバサイドは何と目標達成し、libh2oをhttps有効でmrubyハンドラ使えるように出来た！ #http2study pic.twitter.com/wldUTaMoF9
— kjunichi (@kjunichi) 2015, 9月 13

ElectronでHTTP2通信する

内部で使われているChromiumはとっくにHTTP2に対応しているのに、いつまでたってもHTTP2でのアクセスが出来ない。

どうも、Electronが使っているChromium content moduleの層ではなく、Chomeの層でHTTP2に対応しているのかもという気が最近して、だったら、node.jsのhttp2モジュールを使って自前でHTTP2通信するしかないのかもということで、今回のハッカソンで実際に

npm install http2

で入れたhttp2モジュールを使ってElectronでhttp2通信出来るか試してみた。

electronでサクッと、http2でgetできる様になったが、DOMのレンダリングでReactで消耗せずにWebGLでやろうと計画していたが、そもそも当てにしてたText2DOMの過去のコードが上手く動かずクライアントサイドの進捗は今後の課題に #http2study
— kjunichi (@kjunichi) 2015, 9月 13

File: main.js -------------------------

use with Gist Search こちらのコードはハッカソンから帰宅して、続きに取り組み、DOMの生成まで出来るようにしたコード。

やってみて分かったこと

http2モジュールで取得したテキスト文字列をDOMに変換する処理が以前作った処理が流用出来ず、時間切れ。

また、ハッカソンから帰って気がついたが、実際にhttp2モジュールがhttp2で通信しているのか確認出来ていない。Wireshark等でパケットダンプして確認しないと行けないかも。もしくはhttp2オンリーのtrusterdのmruby-http2モジュールのnpnのh2バージョンをh2-16からh2に変更して動かして、これと通信出来るか確認するなど。