LIVESENSE ENGINEER BLOG

リブセンスエンジニアの活動や注目していることを発信しています

MENU

DNS over HTTPSを使ってDNSレコードを外形監視

こんにちは、インフラグループの水野です。

みなさん、DNSのレコードの監視を行っていますか? DNSレコードの変更ミス等を検知することはもちろん、自分たちの運営しているサービスの名前解決がユーザ側でどのように見えているのかというのを確認することは大切です。

しかしながら、DNSレコードを外形監視してくれる監視ツールは数が少なく中々コレといったものがありません。 外部からの監視をしたいがためにパブリッククラウドに監視専用のインスタンスを建てるのももったいないです。

弊社ではメインの監視ツールとして Mackerel を利用していますが、MackerelにはURL外形監視はありますが、DNS外形監視はありません。 別途 pingdom のDNS外形監視を利用していましたが、pingdomではIPアドレスとのマッチしかできません。 IPアドレスもひとつしか登録できないため、ELBのようにIPアドレスが定期的に変わるCNAMEレコードなどを監視する際にはあまり相性がよくないという課題を抱えていました。

今回はDNS over HTTPSを使ってこの課題を解決した取り組みをご紹介したいと思います。

f:id:nashiox:20180518113217p:plain

DNS over HTTPS

DNS over HTTPS とは IETF1が標準化を進めているHTTPSを用いてDNSの通信を行う技術です。

従来のDNSの通信は主にUDPを用いて平文でやり取りされます。 この特徴はセキュリティ的にもプライバシー的にも問題視されており、その対策として誕生したのがDNS over HTTPSです。 既にGoogle Public DNSや先日話題となったCloudflareが提供を始めたパブリックDNSでもこの機能が提供されています。

従来のDNSのプロトコルで外形監視を行おうと思うと専用の機能が必要となりますが、HTTPのプロトコルを利用したURL外形監視であれば多くの監視ツールでサポートされています。 今回はこのDNS over HTTPSとMackerelのURL外形監視の機能を利用してDNSレコードの外形監視を実現します。

まずはDNS over HTTPSの動作を確認

今回はGoogle Public DNSCloudflareのパブリックDNS(1.1.1.1) 2つのDNS over HTTPSの機能を試してみたいと思います。 標準化が進んでるだけあってどちらもほとんど同じ使い勝手で使うことができます。

Google Public DNS

Google Public DNSのDNS over HTTPSではAPI版のURL(https://dns.google.com/resolve)、GUI版のURL(https://dns.google.com/query)が用意されています。 今回はAPI版を利用します。

サポートされているパラメータはいくつかありますが、name にFQDNを指定することでレコードを引くことができます。

$ curl -s 'https://dns.google.com/resolve?name=made.livesense.co.jp' | jq .
{
  "Status": 0,
  "TC": false,
  "RD": true,
  "RA": true,
  "AD": false,
  "CD": false,
  "Question": [
    {
      "name": "made.livesense.co.jp.",
      "type": 1
    }
  ],
  "Answer": [
    {
      "name": "made.livesense.co.jp.",
      "type": 5,
      "TTL": 195,
      "data": "hatenablog.com."
    },
    {
      "name": "hatenablog.com.",
      "type": 1,
      "TTL": 31,
      "data": "13.230.115.161"
    },
    {
      "name": "hatenablog.com.",
      "type": 1,
      "TTL": 31,
      "data": "13.115.18.61"
    }
  ]
}

上記のようにレコードを引くことができます。 Answer 部分が応答になっており、 type がレコードタイプ(1がAレコード、5がCNAMEレコード)、 data がレコードの値になります。

パラメータで type を指定すると指定タイプのレコードを引くこともできます。

$ curl -s 'https://dns.google.com/resolve?name=made.livesense.co.jp&type=CNAME' | jq .
{
  "Status": 0,
  "TC": false,
  "RD": true,
  "RA": true,
  "AD": false,
  "CD": false,
  "Question": [
    {
      "name": "made.livesense.co.jp.",
      "type": 5
    }
  ],
  "Answer": [
    {
      "name": "made.livesense.co.jp.",
      "type": 5,
      "TTL": 298,
      "data": "hatenablog.com."
    }
  ]
}

CloudflareのパブリックDNS(1.1.1.1)

CloudflareのパブリックDNSのDNS over HTTPS(https://cloudflare-dns.com/dns-query)ではDNS WireformatとJSONフォーマットがAPIで用意されています。 今回はJSONフォーマットを利用します。

パラメータはGoogle Public DNS同様、 nametype 、更にMIME Typeを指定する ct がサポートされています。

$ curl -s 'https://cloudflare-dns.com/dns-query?ct=application/dns-json&name=made.livesense.co.jp' | jq .
{
  "Status": 0,
  "TC": false,
  "RD": true,
  "RA": true,
  "AD": false,
  "CD": false,
  "Question": [
    {
      "name": "made.livesense.co.jp.",
      "type": 1
    }
  ],
  "Answer": [
    {
      "name": "made.livesense.co.jp.",
      "type": 5,
      "TTL": 300,
      "data": "hatenablog.com."
    },
    {
      "name": "hatenablog.com.",
      "type": 1,
      "TTL": 24,
      "data": "13.115.18.61"
    },
    {
      "name": "hatenablog.com.",
      "type": 1,
      "TTL": 24,
      "data": "13.230.115.161"
    }
  ]
}

出力はGoogle Public DNSとほとんど同じです。 標準化って素晴らしいですね。

レコードタイプの指定も同様にできます。

$ curl -s 'https://cloudflare-dns.com/dns-query?ct=application/dns-json&name=made.livesense.co.jp&type=CNAME' | jq .
{
  "Status": 0,
  "TC": false,
  "RD": true,
  "RA": true,
  "AD": false,
  "CD": false,
  "Question": [
    {
      "name": "made.livesense.co.jp.",
      "type": 5
    }
  ],
  "Answer": [
    {
      "name": "made.livesense.co.jp.",
      "type": 5,
      "TTL": 246,
      "data": "hatenablog.com."
    }
  ]
}

MackerelでDNS外形監視

ここまで来れば勘のいい人は大体お気づきだとは思いますが、MackerelのURL外形監視にDNS over HTTPSのURLを指定し、レスポンスボディのチェックでDNSレコードの外形監視をやってしまおうという魂胆です。

監視ルールを追加から外形監視を設定して新規監視ルールを作成します。 監視対象のURLに先ほど試した Google Public DNS または Cloudflare DNS のURLをパラメータを設定して入力します。

f:id:nashiox:20180517205103p:plain

レスポンスボディのチェックに監視したいレコードの内容を入れます。

f:id:nashiox:20180517205519p:plain

非常に簡単ですね。

後は実際に動作を確認するだけです。 レスポンスボディのチェックと実際に引ける内容が異なるときちんと通知されました。

f:id:nashiox:20180517211016p:plain

おわりに

DNS外形監視は今までこれというものが中々見つかりませんでしたが、今回のDNS over HTTPSを使った外形監視は結構使い勝手が良いんじゃないかと思っています。

DNS over HTTPSはまだドラフト段階ですが、2018年中には標準化を完了させる目標になっているそうです。 HTTPで利用できると言うのは他にも色々活用方法がありそうなので今後も色々試していきたいと思います。


  1. Internet Engineering Task Force (https://www.ietf.org/)

ビジョン合宿はやはり良かった

はじめまして。
昨年の11月にリブセンスにジョインして、今は転職会議のエンジニアをしたり、その他イロイロやっている しらかわ と申します。

先日 (といっても先月ですが) 、わたしの所属する組織では、One-DAYビジョン合宿というものが行われました。
そのときの様子と、なぜ合宿までしてビジョンを追求するのか。という話をしようと思います。

f:id:livesense-blog:20180427153342j:plain

なぜやるのか

この合宿を実施する上で、4つの理由がある。すべてはそこから始まりました。
開催にあたってのリーダーの言葉を借ります。

  1. 誰かがプロダクトを作るのではない。自分たちが作るんだ。
  2. ひとつ屋根の下、1日しゃべってお互いの理解を深めよう。
  3. 事業領域理解・自社理解を深めよう。
  4. 転職会議の進むべき方向性を決めるための素材を集めよう。

どんな準備が必要か

1. みんなが知っていることをそろえる

2時間くらい "合宿事前セミナー" というものを実施しました。
転職会議というプロダクトは人材業界と切り離して考えることはできません。
わたしたちが携わるプロダクトについて業界のプロに本格的な話をしてもらうことで、より理解や深まり、課題を掘り下げやすくなったと思います。

2. ひとりでじっくり考えてくる

シートを埋めました。宿題です。
項目はこんな感じでした。

  • なぜ存在するのか
  • ミッションはなにか
    • 誰に対して
    • どんな価値を
    • どのように提供するか
  • どうありたいか

この "どうありたいか" がビジョンになります。
これを、転職会議に訪れてくれるユーザと、転職会議に求人情報を載せてくれているクライアントに対して、それぞれ考えてみました。

3. 時間割をきめる

数名が "プレ合宿" と称して、合宿のリハーサルを行い、当日の時間割を考えました。
これがあったおかげで、当日の流れが大変スムーズになったと思います。

どんなことをしたのか

f:id:livesense-blog:20180427155029j:plain

阿佐ヶ谷の古民家!を丸一日借り切っての合宿となりました。
6〜7名くらいのグループを複数作り、お互いの宿題を見せ合いながら議論し、グループで一つの方向まで導きました。

f:id:livesense-blog:20180427153437j:plain

そして最後にグループ別に発表をして、1日を終えました。

もたらされたもの

まず、とにかく楽しい。楽しいというのはそれだけでも正義ですよね。
そして、普段多くを語らないようなメンバが本当は何を大切に思ってこのプロダクトに携わっているのか、お互いに気づくことができたと思います。自分では到底思いつかないようなアイデアもたくさん生まれ、何よりも視座が高まりました。

さらに、思いを持って仕事をしているモノ同士、大きな一体感を感じることができました。
これって会社の会議室ではない非日常な空間だからこそ、得られるものだったのではないでしょうか。

そして目的は達成されたでしょうか。

  1. 自分たちがプロダクトを作るんだ!という気持ちがより高まった!
  2. ひとつ屋根の下、1日話し合うことで、普段一緒に仕事をしていない仲間の考え方を知ることができた!
  3. セミナーを受けて、さらに自分で考える事で、そしてみんなでじっくり話し合うことで、事業領域理解・自社理解が深まった!
  4. 転職会議の進むべき方向性を決めるための素材がたくさん集まった!

なぜビジョンが大切か

ビジョンがあると、迷ったときの拠り所になるのではないでしょうか。
わたしたちは生まれも育ちも年齢も何もかも異なります。そして、迷ったり間違ったりする生き物です。
そんなバラバラでフワフワなわたしたちが一つのプロダクトを産み、育てていくのですから、やっぱりビジョンは大切なんだなぁ...と思います。

f:id:livesense-blog:20180427153229j:plain

またビジョン合宿やりたい!
ʕ•ᴥ•ʔ<やろうやろう!

付録

ビジョン合宿のあと、みんなと一緒にバスに乗って帰りました。
「バスっていいなあ。」と強く思ったので、社内でLTをしました。
こういう気持ちも、この合宿がもたらしたものの一つかもしれないです。

リブセンスの海外カンファレンス渡航支援制度でRailsConf2018に参加しました

こんにちは。マッハバイトでエンジニア/マネージャーをしている内山です。

この度リブセンスでは「海外カンファレンス渡航支援制度」が始まりました。 当制度を利用して4/17(火)~4/19(木)にアメリカで行われたRailsConf2018に参加することができたので、それについて書きたいと思います。

海外カンファレンス渡航支援制度とは?

その名の通り、海外にて開催されるカンファレンスに、オーディエンスとして参加するにあたっての交通費や滞在費等を会社が支給してくれる制度です。
希望者は行きたい海外カンファレンスを宣言し、半年に1度、1名を対象に支援が行われます。 初回となる今回は僕のRailsConf行きを支援してもらうことになりました。

RailsConfとは?

これまたその名の通り、Ruby on Railsの国際カンファレンスで、年に1度開催されています。

railsconf.com

開催場所は毎年アメリカ国内を転々としているようで、去年はアリゾナ州フェニックスで、今年はペンシルベニア州ピッツバーグでの開催となりました。

来年はミネソタ州ミネアポリスで行われることが発表されています。

また、例年オープニングKeynoteをRails創始者であるDHH氏が務め、クロージングKeynoteをRubyとRailsのコアコミッターであるAaron Patterson氏が務めるというのが慣習のようです。

日本でもRubyの国際カンファレンスとしてRubyKaigiがありますが、Railsについてのセッションが行われることは稀です。
最近は日本でもRails Developers MeetupというRailsの知見が共有されるイベントが開催されていますが、やはりRailsコアコミッター自ら最新動向を話してくれる機会はなかなかないように思い、RailsConfに一度参加したいと思うようになりました。
(特にDHHはあんまり日本に来ないんですよね...)

ピッツバーグはどんな街?

アメリカ北東部に位置する人口30万人ほどの街です。 日本との時差は-13時間で、ニューヨークやワシントンD.C.と同じタイムゾーンに位置します。

南北を流れる2つの川にかかる橋や、川の合流地点を高台から眺められるインクライン(ケーブルカー)などで知られており、今回のRailsConfの各種デザインにもそれらがあしらわれていました。

f:id:livesense-blog:20180426020552j:plain
RailsConfのノベルティ

今回カンファレンスが行われたのは北側の川に面したDavid Lawrence Convention Centerです。 国際展示場や幕張メッセを小さくしたような施設と想像してもらえるといいのかもしれません。

ピッツバーグはアメリカでも「住みやすい街No.1」に選ばれたこともあるらしく、治安がとても良く、その点では会期中快適に過ごすことができました。 ただ一方で、関東暮らしが長い僕にとっては、なかなか厳しい4月の天候となりました。

f:id:livesense-blog:20180426014649j:plain
雪の降りしきるピッツバーグ

やはりそれは、世界中から集った多くのRubyistにとっても同じだったようで、オーガナイザーからの冒頭挨拶では「会場から上着が買える場所までの道順」をスライドに映し出して笑いを誘っていました。

セッションについて

RubyKaigiのセッションが「正直、難しくて理解できないとこもたくさんあったけど、なんか楽しかった!」となることが少なくない(個人的な感想です)一方で、どちらかと言えば、RailsConfのセッションはより多くの人が理解しやすいようになっているものが多かったように思います。

冒頭、オーガナイザーの「RailsConfに初めて来た人?」という問いに、自分を含む大半の人が手を上げていたので、それらの人への配慮もあるのかもしれません。
僕はリスニングスキルに長けているとは言い難いので、その点では、内容面が難しすぎないというのはありがたかったと思います。

f:id:livesense-blog:20180426035342j:plain
メインのホール

また、いわゆるTechTalkだけでなく、開発をめぐる"エモい"話などが多いのも特徴でしょうか。 TechTalkの傾向としては、テスト関連の話題、RailsアプリケーションにおけるJavaScript開発のTips、Kubernetesを始めとしたコンテナ技術の事例...などが目立ったように思います。

印象的だったセッションをいくつか取り上げます。
※これらのセッションの様子は一ヶ月以内にYoutubeで公開されるとのことです。興味を持たれた方は是非チェックしてみてください!

Turbo Boosting Real-world Applications - Akira Matsuda

  • 日本からもRubyとRailsのCommitterである松田さんが発表をされていました。
  • DBへのクエリ発行やPartialのレンダリングを、子スレッドを利用して行うことでRailsを高速化するというアプローチについて紹介されていました
  • スライド: Turbo Boosting Real-world Applications // Speaker Deck

Keynote: The Future of Rails 6: Scalable by Default - Eileen M. Uchitelle

  • GitHubのエンジニアであり、RailsコアチームでもあるEileenによる2日目のKeynoteです
  • Rails6で追加される並列テストや、複数DBのサポートについての話がありました
  • そのうえで「Scaling should make us happy」といった言葉とともに、スケーリングに応えるRailsであろうとする姿勢を力強く話されていました。
  • スライド: RailsConf 2018 | The Future of Rails 6: Scalable by Default // Speaker Deck

Inside Active Storage: a code review of Rails' new framework - Claudio Baccigalupo

  • Railsのissue対応を行っているClaudioからは、Rails5.2で追加されたActiveStorageについてのトークがありました。
  • ActiveStorageの使い方を踏まえた上でのコードの解説がとてもわかりやすく、勉強になりました
  • スライド: Active Storage // Speaker Deck

その他、ClaudioがRails公式サイトのブログにまとめ記事をあげています。併せてご確認ください!

weblog.rubyonrails.org

参加してみて

海外カンファレンス初参加となりましたが、慣れない英語を集中して聞き続けるというのはやはりドッと疲れるなぁ...というのが、恥ずかしながらも正直な感想です...。 事実、会期3日間のうち2日間は、カンファレンスが終わるとフラフラとホテルに直行し、夕食も取らずに寝てしまいました。

f:id:livesense-blog:20180426034703j:plain
元気があったカンファレンス前日に撮った夜景

最終日は、RailsConfに毎年来られている日本の方と夕食をご一緒する機会がありました。 全てのセッションを聞きつつもスピーカーとさほどコミュニケーションを取らず、夕飯以降の機会でも他の参加者らと交流を取っていない僕のことを、その方は冗談めかして「もったいない」と笑っていました。

確かに、Youtubeで全てのセッションが公開されることを考えれば、セッションにかじりついているだけでなく、その場での交流や情報交換までできてこそ、カンファレンスに参加した甲斐があったと言えるのかもしれません。 ...とは言っても、スピーカーの方らに拙い英語で話しかけることに気後れを感じてしてしまうのも事実です。 カンファレンスの準備として語学学習だけでなく、誰と話したいか、どんなことを話したいかといったことを予め考えておくのも重要だったのかもしれないなぁと今では思っています。

とは言え、もちろん現地でしか得られない経験もできました。 「How We Made Our App So Fast it Went Viral in Japan」というトークをしたdev.toのファウンダーの方に「I'm from Japan」と伝えて笑ってもらったり、自分がWebエンジニアを目指すにあたっての大きな拠り所となったRails Tutorialの作者に感謝を伝えたりすることもできました。 ランチタイムに他の参加者の方らと、日本とアメリカ各州の住宅費用やエンジニア年収について談笑したことも心に残っています。

本当はスポンサーによるエキシビジョンブースの様子なども書きたいのですが、長くなってきたのでこれくらいで...。

最後に

f:id:livesense-blog:20180426012356j:plain
帰りの空港にて

海外カンファレンスに参加すること自体も貴重な経験でしたが、今回「会社の金で行くぞ」という適度なプレッシャーが自分にとって英語学習のきっかけになったことも事実です。 日本にもRubyKaigiを始めとした国際カンファレンスがありますし、せっかくですから自分のペースでもう少し学習を続けたいと思っています。
来月は仙台でのRubyKaigiですね!楽しみです。

最後になりますが、リブセンスではエンジニアを募集中です!
海外カンファレンスに行ってみたいエンジニアの方からのご応募もお待ちしております!!

4Kモニターを仕事で使い始めたらやっぱり最高だった

こんにちは、マッハバイトエンジニアの黒川です。 今日は、最近会社で買ってもらって仕事で使っている4Kモニターが最高だという話をします。 エンジニアブログというよりは商品レポートなので、お気軽に読んでいただければ幸いです。

入社時点での設備

9月に入社した時点で私には、タッチバーつきスペックマシマシのMacBook Proが支給されました(デフォルトがそれなだけで、他のが良ければもちろん任意のマシンも申請可能でした)。 またモニターはオフィスにたくさん置いてあり、好きなだけ持っていって使って良いという状態でした。

しかしそこにはちょっとした問題点がありました。モニターのサイズが少し小さくて、解像度が低かったのです。 最強のMacBook Proがあるのに、USB-C変換アダプターをぶら下げてHDの解像度のモニターで仕事をするのは、せっかくマシンに投資してもらっているのにもったいないなと思っていました。

良いモニターがほしい!

もし良いモニターがあれば、最強のMacをさらに活かし良いものを作れるはずだということで、チームリーダーに相談してみました。するとリーダーがすぐに総務に相談してくれました。 その後はチーム内で他にも4Kモニターがほしい人がいないかアンケートを取ったうえで、無事購入してもらえました。

要望を言える空気、そして前向きに検討してもらえて叶える方向で動いてもらえる空気感の弊社は最高だなと思いました。 実際仕事場にモニターが来たらさらに最高でした。

どんな感じに最高なのよ

ここからは、仕事場に新しいMacBook Proと4Kモニターがあるとどう最高なのかを説明していきます。 ちなみに買ってもらったのはLGの27UD88-Wです。

まず何より、デカい

私は今までモニターを2枚並べて使っていましたが、2枚を横に並べると横幅が大きくなりすぎて、ひと目で全体を把握できませんでした。 またその関係上、よくマウスポインターがモニター上のどこにあるかわからなくなっていました。 これらの問題を、新しいモニターはそのデカさで補ってくれます。

f:id:blackawa:20171114171906j:plain

(左: 新しいモニター / 右: オフィスによく置いてあるモニター) 新しいモニターは、オフィスに置いてあるものに比べて一回りほど大きいです。 おかげで今は、1枚の大きなモニターに情報をまとめて表示できています。

文字が潰れない

今まで使っていたモニターはサイズが小さかったので、Mac側で文字サイズを小さくしてたくさんの情報を表示できるようにしていました。 しかしそうすると新たな別の問題が発生します。それは「文字が潰れる」ということです。 まずオフィスに置いてあるモニターを、手元のiPhone SEで写真に撮ってみました。

f:id:blackawa:20171114172100j:plain

画像も粗いし、「新妻」の「妻」の字は潰れてしまっています。 文字が潰れてしまう状態で大量の文字を読むと、だんだん目が疲れてきます。

次に、新しいモニターを見てみます。

f:id:blackawa:20171114172103j:plain

ひと目で分かるレベルで画像も文字もきれいに表示できています。 カメラ越しでもこの差!実際にはもっと見やすいです。 今もこの記事を新しいモニターで書いていますが、爽快な書き心地を体験できます。 いわんや、これがソースコードなら。

なめらかな角度調節・高さ調節

オフィスに置いてあるモニターの中には、高さの調節ができるものとできないものが混在しています。 高さが調節できないと目線が常に下になるので肩や首が疲れやすくなります。 また、姿勢も悪くなってしまいます。私は身長が190cm近くあるので、余計負担が大きかったです。 新しいモニターの要件にはもちろん高さ調節機能があります。

f:id:blackawa:20171114172445g:plain

もちろんモニターの角度も片手で滑らかに変えられます。

f:id:blackawa:20171114172448g:plain

これで、体格に合った高さと角度で業務に取り掛かることができます。

さらばケーブル・アダプター地獄

最後は少しTIPS感のある良さですが、これもこれでとても良いので紹介させてください。

Mac Book Pro 2016から、外部インターフェースがUSB Type-C限定になりました。 今まで通りのHDMIやUSBケーブル、Thunderboltケーブルを使うためには、専用のアダプターが必要でした。 このアダプターだけで1万円近くかかるという、便利になったのかなっていないのかよくわからない状態でした。

しかし、新しいモニターはUSB-Cがいかに優れモノかを見せてくれます。

f:id:blackawa:20171114172609j:plain

なんとモニターとMacをUSB-Cケーブルで接続するだけで、 - 画面表示できる - 充電できる - ディプレイのUSBポートに挿したキーボードを使える

のです。 下の写真のように、モニターにUSBケーブルを接続するとあたかもMacに挿しているのと同じように使えます。

f:id:blackawa:20171114172714j:plain

これで、離席する時にはMacに挿してある1本のケーブルを抜けば良いだけです。 席に戻ってきたら再び挿せばすぐに画面が表示されて充電が始まり、外付けキーボードのHHKBで作業ができます。 おかげでテーブルのまわりのケーブルがこんなにシンプルになりました。

f:id:blackawa:20171114172755j:plain

これで離席があってもストレスなく作業を再開できそうです。

まとめ

ここまで、4Kモニターとそれを買ってくれる弊社最高という話をしてきました。 ぜひ皆様のチームでも良いマシンと良い機材を導入してみてください。 全力で集中して長い時間使うオフィスの機材が良くなるのは最高の体験です。

CircleCI 2.0でbundle updateを定期実行してみた話

こんにちは、IESHILでエンジニアをしている須貝です。
今回は先月ローンチしたIESHIL CONNECT(イエシルコネクト)の運用で、CircleCI 2.0を使ってbundle updateを自動で実行するようにした話をします。CircleCI 1.0ではなく2.0というのがちょっとしたポイントです。

ところで、みなさんCircleCI 2.0を使っていますか? 2.0では純粋なDockerベースになっていてローカルでも実行可能、より柔軟に設定を記述できる、とにかく速いなど1.0と比較すると大幅に進化しています。どんどん使っていきましょう。

やろうとした背景

そもそも何でこれをやろうとしたの?という話なんですが、 IESHIL CONNECTはIESHILとは別に新規開発したRailsアプリです。せっかくの新規開発ですから、IESHIL本体の開発では手を回せていないことをやろう、というのが個人的にやりたいことでした。たとえばLint(rubocop, slim-lintなど)をCIで実行するなどです。

そのひとつが「bundle updateを定期的に実行する」ことでした。
依存しているライブラリの更新はこまめに実行したいところですが、こうした作業はどうしても忘れがち、後回しになりがちだと思います。 しかし、後でまとめてアップデートしようとすると、動作確認などのコストが非常に大きくなり負担となってしまいます。
ですので、リリースしたての今のうちにこの作業を自動化しよう、というのが今回の背景になります。

実現したいこと

やりたいことのおおまかな流れは下の図のとおりです。

f:id:ssugai:20171025164025p:plain

今回の場合、4, 5の部分はすでに設定済みなので、図の背景が緑の部分を作っていきます。

手順

ここからは手順とポイントを簡単に解説していきたいと思います。

1. Circle CIを起動する

Circle CI 1.0の場合はCircle CIの公式ドキュメントにあるように、Parameterized Build APIを利用して、Web API経由で任意の環境変数がセットされている場合に通常のCI以外の処理を走らせる、という方法で実現することができます。
以下、1.0の場合の例(公式ドキュメントより引用)です。

test:
  post:
    - >
      if [ -n "${RUN_NIGHTLY_BUILD}" ]; then
        ./bin/run-functional-tests.sh ${FUNCTIONAL_TEST_TARGET};
      fi

ややトリッキーですね。

一方、2.0の場合はもっとシンプルです。Parameterized Builds APIを利用するのは同じですが、設定ファイルに通常のCIとは別の任意のjobを定義しておいて、そのjob名をCIRCLE_JOBというパラメータにセットしてAPIを呼び出すだけで簡単に実現できます。
以下、2.0の設定ファイル例です。

# .circleci/config.yml
version: 2
jobs:
  build: # デフォルトで実行されるjob
  ...
  hello: # 任意のjob
    docker:
      - image: circleci/ruby:2.4.2
    steps:
      - run:
          name: Hello World
          command: |
            echo 'Hello, World'

上記のような設定を.circleci/config.ymlに記述しておくと、下記のようにAPIをコールすることでCircle CI上で任意のjobを実行できるようになります。

curl \
  -X POST \
  --header "Content-Type: application/json" \
  --data '{ "build_parameters": { "CIRCLE_JOB": "hello" } }' \
  https://circleci.com/api/v1.1/project/github/:username/:project/tree/master?circle-token=:token

これをcron的なもので定期実行するわけですが、IESHIL CONNECTはHerokuを使っているのでHeroku Schedulerを使ってAPIを呼び出しています。

なお、Circle CIのAPIを利用するにはトークンが必要なので、プロジェクトのSettingsからAPI Permissionsに遷移してCreate Tokenからトークンを発行しておく必要があります。

2. Circle CI上でbundle updateを実行する

次にCircle CI上でbundle updateを実行できるようにしていきます。

# .circleci/config.yml
  bundle_update: # bundle update用のjob
    docker:
      - image: circleci/ruby:2.4.2
    ... # 中略
    steps:
      - checkout
      ... # 中略
      - run:
          name: Run bundle update
          command: |
            if [ "${CIRCLE_BRANCH}" = "master" ]; then
              bundle update
              ... # 中略
            fi

念のためmasterブランチかどうかを確認しています。

3-1. Gemfile.lockに変更があればGitHubにpushする

続いてbundle updateした結果、Gemfile.lockに変更があればGitHubにpushします。
GitHubとCircle CIを連携済みであれば簡単にpushできるのでは?と思うところですが、ここは少し設定が必要です。 なぜなら、GitHubに登録されているCircle CIのdeploy keyがread権限のみだとCircle CIからpushできないからです。
というわけでwrite権限のあるdeploy keyを新たに追加しましょう。GitHubで対象プロジェクトの SettingsからDeploy keysを選択し、Add deploy keyボタンでdeploy keyを新たに追加します。

f:id:ssugai:20171025185023p:plain

その際に、Allow write accessにチェックを入れるのを忘れずに。
deploy keyを追加したら、公式ドキュメントを参考にconfig.ymlにwrite権限のあるdeploy keyを設定します。

# .circleci/config.yml
    steps:
      - checkout
      - add-ssh-keys:
          fingerprints:
            - "xx:xx:xx:xx:xx:xx:xx:xx"
      ...

ここで注意したいのが、- add-ssh-keys:の次行のfingerprints:のインデントです。

# NG
- add-ssh-keys:
  fingerprints:
    - "xx:xx:xx:xx:xx:xx:xx:xx"

# これだと評価した結果が下記のようになってしまう。
# => [{"add-ssh-keys"=>nil, "fingerprints"=>["xx:xx:xx:xx:xx:xx:xx:xx"]}]

# OK
- add-ssh-keys:
    fingerprints:
      - "xx:xx:xx:xx:xx:xx:xx:xx"

# => [{"add-ssh-keys"=>{"fingerprints"=>["xx:xx:xx:xx:xx:xx:xx:xx"]}}]

というわけでfingerprints:- add-ssh-keys:先頭の-から半角スペース4つ下げる必要があります。 私はややハマりました。

3-2. pushが成功したらPull Requestを作成する

最後にGitHubにプルリクエストを作ります。いろいろなやり方があると思いますが、今回はGitHubのWebAPIを利用することにしました。

curl \
  --header "Accept: application/vnd.github.v3+json" \
  --data "{\"title\": \"${BRANCH}\", \"head\": \"${CIRCLE_PROJECT_USERNAME}:${BRANCH}\", \"base\":\"${CIRCLE_BRANCH}\" }" \
  https://api.github.com/repos/${CIRCLE_PROJECT_USERNAME}/${CIRCLE_PROJECT_REPONAME}/pulls?access_token=${GITHUB_ACCESS_TOKEN}

なお、GitHubのAPIアクセストークンが必要なので取得しておく必要があります。
トークンはCircleCIの設定画面で環境変数として設定しておくと良いでしょう。私はGITHUB_ACCESS_TOKENという名前で登録しました。

最終的にできあがったconfig.yml(一部抜粋)は以下になります。

version: 2
jobs:
  build:
  ... # 中略
  bundle_update:
    docker:
      - image: circleci/ruby:2.4.2
        environment:
          TZ: "/usr/share/zoneinfo/Asia/Tokyo"
        environment:
          - RAILS_ENV=development
          - RACK_ENV=development
    working_directory: ~/ieshil-connect-dev
    steps:
      - checkout
      - add-ssh-keys:
          fingerprints:
            - "xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx"
      - run:
          name: Run bundle update
          command: |
            if [ "${CIRCLE_BRANCH}" = "master" ]; then
              bundle update
              if [ -n "`git status -sb | grep Gemfile.lock`" ]; then
                BRANCH=bundle-update-`date -u "+%Y%m%d"`
                git config --global user.email ${BOT_EMAIL}
                git config --global user.name ${BOT_NAME}
                git checkout -b ${BRANCH}
                git add Gemfile.lock
                git commit -m "Bundle update `date -u '+%Y-%m-%d'`"
                if git push ${CIRCLE_REPOSITORY_URL} ${BRANCH}
                then
                  curl \
                    --header "Accept: application/vnd.github.v3+json" \
                    --data "{\"title\": \"${BRANCH}\", \"head\": \"${CIRCLE_PROJECT_USERNAME}:${BRANCH}\", \"base\":\"${CIRCLE_BRANCH}\" }" \
                    https://api.github.com/repos/${CIRCLE_PROJECT_USERNAME}/${CIRCLE_PROJECT_REPONAME}/pulls?access_token=${GITHUB_ACCESS_TOKEN}
                fi
              fi
            fi

Circle CI側が用意している機能を利用すればもっとスッキリと書けそうな感じもするので、改善の余地がありそうです。

実際にやってみた感想

月並みですが、「やっぱり自動化しておくと楽だなあ」という一言に尽きます。
現在は日次でbundle updateの実行をしていて、一度に更新されるgemの数も少なくそこまで負担は感じていません。

もちろん、ライブラリのアップデートをしたことが原因で不具合が発生するリスクもあります。そうしたリスクを軽減するためにもまず「テストを書く」ことが大切なのかなと思いました。今回のような仕組みを導入できたのも、高いテストカバレッジを保てていることが前提にあります。きちんとテストを書いている開発陣に感謝。

改めて今回やってみたことを書き起こして見るとそこそこ手間がかかるなあという印象もありますが、一回作ってしまったら後は非常に楽なのでぜひ試してみてください!