July Tech Festa 2015 へ行ってきました #jtf2015

今日は、毎年恒例のJuly Tech Festa 2015 (JTF2015) へ行ってきました。

今回は、現在注目の技術を確認することはもちろん、その技術の展望がどのようにビジネスに結びついて行くのかを理解することを求められる日となりました。また、ちょっとだけ英語をがんばったり…しました。まだまだやらないとダメですね…hai。

講演者の皆様、AIITの皆様、そしてスタッフの皆様、どうもありがとうございました！

では、いつも通りメモをまとめます。

セッション

基調講演 – ベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれから

• 堀内 康弘さん @horiuchi

インターネット、モバイル、クラウド、21世紀の3つの技術トレンドと言われるこれらの技術はエンジニアの働き方も大きく変えようとしています。このセッションでは、スタートアップ企業のCTOと、AWSエバンジェリストの経歴をたどった視点から、クラウド時代の真っ只中で、私達エンジニアの働き方はどう変わるのか、技術との接し方や、その時どうしたら幸せになれるのか、未来像をお話いたします

• 感想
  • 堀内さんってとてつもなくすごい人じゃないってことがわかったのが発見だった。
    • 機会を得て学習して今を作り上げている。
    • 機会があった時に挑戦している。
    • 人の縁から世界を広げている。
    • この流れはうまくやっている人の定石なのだろうと最近感じる。
  • 僕は、純粋に技術が好きで追求する人と、技術を使って問題解決をすることに力を注ぐ人は、良い意味で住み分けた方がいいと思っている。
    • 純粋に好きな人が、未開の技術を切り拓いている。
    • 問題解決をする人が、広く多くの人に技術を価値に転換している。
    • あまり切り分けすぎると対立する可能性もあるので悩む。
  • CTO
    • 僕は興味はありますけど、取り組んでいるビジネスに興味が持てるか課題。
• 質疑(質問しました)
  • Q: 経営者と腹を割って話す時、または話すための環境づくりをする際に、心がけたことはあるか？
  • A: 特に無いが、人から言われるのは、自分はいつも笑顔で話しかけやすいということ。エンジニアで話しかけづらい人がいるが、エンジニアも特別な人ではないから笑顔で仲間と接することができる人であってほしい。

セッションのメモ

• 現在はAWSスタートアップのアドバイザーをしている
  • 月の半分は「旅人」
  • スタートアップ → AWS CTO　→ 旅人
• キャリアに対する悩み
  • 気になるよね
• 変化を楽しむ柔軟性
  • 未来は予測できない
  • but 変化は起こり続ける, innovation
  • 楽になる→時間ができる→更に新しいことに時間を使える
  • IaaS主流→PaaS主流(Lambda, GAE, etc..)
    • クラウドプロバイダが注力するサービスレイヤーが徐々に上がっている
  • ≠おまんまの食い上げ
• 楽しいと思った物にのめり込もう
  • 「強み」がある ○○の××さん
  • 堀内さん: Perl→B2C→ソーシャルゲーム→AWS
• 技術は手段と心得よう
  • 技術は無くなってもビジネスの課題は無くならない
  • 価値を主にまず提供する 手段は何でも良い
  • 効率化の論点をはき違えない
    • ゲーム基盤共通化→ゲーム毎のチューニングができない、プログラマのライン工化→プログラマのモティベーション低下
    • 自動化のための自動化
    • 流行っているからマイクロサービス
  • 「2枚のピザが食べ切れる」サイズのチーム (Amazonの取組み)
• いけてるアニキや仲間を見つけよう
  • 玉川さんの圧倒的スペック、常に前向き、弱音を吐かない。
  • 出会い
    • 勉強会 (Shibuya.pm, JAWS-UG)
    • イベント (登壇)
    • 大学・会社
• スタートアップCTO
  • 強制的に来る: 変化の連続, 意思決定, 課題を考える, 人とのつながり
  • CTOになるのが一つの手

高性能データ処理プラットフォーム – Spark と　Cassandraに基づくバッチフレームワークのご紹介

スケールアップの限界に伴い、スケールアウトをさせ並列で様々な処理を行うことが当たり前の時代になってきています。古くからあったRDBベ ースでのバッチ処理が限界となった今、新たなCloud-nativeデータ処理システムを設計し、Apache Cassandra、 Spark、Kafkaなどを活用した高速並列処理で、様々なデータ処理パターンに対応し、高効率なバックエンド システムを実現した理論と実際をご紹介します。

• 仮題: Apache Spark を用いたNoSQLバッチ並列処理へシフトするための発想転換と実装事例
• 劉 雨 さん
  • Refrences
    • http://research.nii.ac.jp/~hu/pub/ipsj05.pdf
    • http://research.nii.ac.jp/~hu/pub/PMAM13.pdf
• NII出身, 博士
  • 並列アルゴリズムが専門

セッションのメモ

• 高性能, 高可用性: 並列, 実行計画, ダイナミッククラスタリング
• 現在実装中
• 並列計算の課題
  • 依存性, 競合, 局所性, 協調, 障害耐性, オーバーヘッド
  • MapReduceは開発・メンテナンスは困難、高コスト。
• データ並列とタスク並列
  • データ並列: 各計算機が同じ計算ロジックで分散されたデータを処理。
  • タスク並列: 独立したタスクを複数の計算機で同時に実行。各計算機のデータ構造・計算ロジックは一緒ではない。
• もともとのSparkはインメモリ型MR
  • OHは低い
  • MRだけではない
  • DSL
• RDD (Resiient Distributed Datasets)
  • インメモリ並列計算のため、RDDという抽象化される分散メモリモデルを実現。
• バッチ計算の基本パターンと最適化
  • Select, Transform, Sort, Group, Aggregate
  • 基本パターンの組み合わせだけでは低効率
  • しかし効率的なアルゴリズムを作るのは難しい
  • SQLのように自動化できれば最高！
• HUE EDP
  • HUEとは、ワークスアプリケーションズのERP。
  • 機能的なアプリケーションリポジトリ
  • 高速な計算エンジン
  • 効率的なリソースマネージャ

真剣にDocker運用を考える人に各種監視ツールとサービスを比較

• 堀田さん (@jhotta)

クラウドコンピューティングの採用がサービス運用の俊敏性をあげ、Dockerがこのこの携行に更に拍車をかけている状況かで、インフラ内で動き回るコンテーナーの状態をいかに把握するは、重要な課題になってくるはずです。

今後増加するであろうDocker上での本格運用を考えたときにどのような監視の選択肢があり、どのようなメリットどデメリットがあるか見ていこうと思います。

検討基準の例としては、次のような項目をカバーしたい

監視システムの構築の容易性
システムによって得られる情報の質
広域に分散した監視情報の取り扱い
監視情報を元にしたアラートの設定
Docker以外のインフラ構成要素の監視機能
コスト

• ポイント
  • サーバモニタリングに商機を見いだしている会社が山ほど出てきていることを認識する必要がある。
  • サーバモニタリングは大抵の場合は商売の要ではない。普通の人がテーラーメードの服を仕立てる必要がなくユニクロなどの量販店で入手すれば良いように、モニタリングサービスもSaaSを中心に利用して行く人が増えるだろう。
  • メトリックを読み取る方法も、確実に変化している。
  • DIYは、よほど勝機がないかぎり手を出す物ではない。

セッションのメモ

• 前説
  • 方向性は話せる。
  • どうやらテクニカルな問題じゃなさそうってことはわかった。
  • データを取る所はだいたい決まってるしね…
  • 議論の上で情報共有の場にしたい！
  • 時代の変遷をたどろう…他の業界の変化もぜひ参考にする
    • MSP:英國屋, SaaS:ユニクロ
• 「その技術、どうして使うの？」を問いましょう。
• Monitiroing Options
  • Work metrics: スループット・成否・パフォーマンス
  • Resource metrics: 使用率・可用性
  • Events: プログラムの変更・通知・スケール
  • Others
• Alert
  • 行動が起こせる物のみアラートをかけよう
  • References
    • Monitoring 101: Collecting the right data – Datadog
    • Monitoring 101: Alerting on what matters – Datadog
    • Monitoring 101: Investigating performance issues – Datadog
• SaaS
  • 機能の実装は進んでいる v.s. 機能追加が間に合わない
• 自分の時間をどう使うか
  • 日々アラートの設定を改善することが本来業務
• DIYで作るとき
  • 自分たちのビジネスの差別か要素となるか(まあそうだわな)
• Monitoring Docker
  • もう自分たちで作る時代は終わってきている、恐らく一般的な人。
  • 差別化要素になるひと(SaaS, MSP)は作るだろうね。
• Docker の監視 6社
  • Ecosystem Technology Partner (ETP) Program: Monitoring | Docker Blog
  • コンテナが安定して運用することは無くなる
  • 今までのスピード感では間に合わない
  • そのスピード感に追従できると思われる人を選定した
  • Chef, Ansible でデプロイすることさえ時代遅れ　Docker runでさくさくやるのがこれからの常識だ！
• コンテナが生き死にを頻繁に行う
  • 好き勝手に動いていたら、有人監視で追いつけないよね。
  • Container Changes, Updates Status
  • Performance
  • どこで問題が起きているの？
• データ「粒度」をどう考えるのか
  • 5分じゃもうダメだ
  • 1秒の世界
    • ごろごろ変わる世界を追尾するにはこのくらいいる
• イベントとメトリックの関連を出す
  • あー、Graph Explorerっぽくできないとあかんって話だ。
• 通知のフレキシビリティ
  • コンテナ相互の関係性を捉えた通知を行える環境が求められる
  • 個別に通知設定変更なんてもう非現実的
• Docker hubにあるpull数ベースのイメージの監視ツール選択状況
  • datadog, New Relic
• データが取れる所
  • 王道: cgroups, docker api,
  • 非推奨: コンテナ内エージェント, カーネルハック
• しかーし
  • ドキュメントが雑
  • コンテナイメージの更新 (docker hub の更新頻度、提供状況を確認)
  • データ粒度が表現されていない
  • 価格が不透明: 使われている所が安い
  • Docker以外のモニタリングが無いと厳しい
• New Relic
  • IPO済み
  • APMが強い。みんなそこを期待している。コンテナはちょっとどうかなー
  • エージェントの癖がんー
  • メトリックと連携する機能が弱い
• Appdynamics
  • 丸紅情報さんに聞いてみて。
  • まー、エンプラ向きだよね。多分。
• Mackerel
  • 凄くいいグラフを作っている
  • 試す価値あり
  • ユニクロの服を買うようにまず使うには良い。
  • コンテナ管理はまだまだ。
  • 価格がよくわからん。
• Sysdig cloud
  • カーネルをいじってモニタリングしている
• scout Appdynamics
  • cgroupsから取ってる
  • 変なファンドが入ってないらしい
• Signalfx
  • メトリックのcollationについてはめっちゃ凄い。
  • ステルスでやってきたけど、ここでぐっと前に出てきた。
  • バックエンドのインフラがごろごろ変わるから不安定になるかもしれない。
  • メトリックの測り方がだいぶ違う。
  • 値段は3倍だけどその価値を出しているとも言えるかも。
• Librato
  • fluentd agent を使っている
• datadog
  • 必要があれば個別にデモします！
  • 最大1秒間隔までいけます (1年間), Roll-up しない(おおそうだったんだ)
• DIY
  • 大変なだけだよ やめとけや、というメッセージあり。
  • LLD (Low Level Discovery) をどうすんの？
  • Sensu, Prometheus

英会話カフェ

• 自己紹介と、先生と簡単な会話。
• 単語力なさ過ぎて辛かった。
• とは言え公で話す良いチャンスになって良かった。
• 入門レベルの人ももっと来てほしいと思った。みんな中級以上で肩身が狭い。

最前線で戦う若手インフラエンジニアたちが語る「技術トレンド」と「数年後の未来」

• モデレータ: @deeeet さん
• パネリスト: @y_uuk1, @catatsuy, @hfm, @rrreeeyyy さん

PaaS基盤・モニタリング基盤・ホスティング基盤・自社サービス基盤・MSP サービスなど様々な技術・基盤に関わっている、単著執筆・雑誌の寄稿・本の査読・様々な勉強会での発表・勉強会の開催などの経験をした IT インフラの技術トレンドを抑えた若者が、下記のような内容に関して話します。

これからのキャリア
現職の内容や、今後目指したい職位・職業
今楽しいと感じているのは何か？自分がやらねば、と強く感じているものは何か？
これからの技術トレンド
特に、自分の取り組んでいる業務の観点から
次世代の若者 or 業界の先輩

• 感想
  • 話の流れがまとまっていて聞きやすいパネルディスカッションでした
  • 内容は @rrreeeyyy さんがいつも隣にいるので、彼らからいつも聞く話がまとまっているなと思った。
  • ブログを通じて、一人一人が考えている片鱗を知ることができるようフィードをチャットに流すシステム、非常にいいと思いました。技術の仕事をやるとどうしても会話が減ったりして仲間のことを理解しきれないこともあります。
  • 機会や情報は自分で取りに行くことは大前提とは言え、仕組みでやりやすくすることは重要だと思いました。
• 質問しました
  • Q: 近い年代同士で、技量を高め合う為に何か取組みをしているか？または考えているか？皆さんはどちらかといえば「できる」人たちで、自分を高めることはできる。でも、仕事は仲間同士でやる物だから、引き上げは必要だと思いますがどうでしょう。
  • A: @hfm さん
    • ペパボ: インフラだけ横串。インフラのメンバーで全員で集まって定期的に情報共有。
    • チャット、GitHub Enterpriseなどにアウトプット。
    • Slackにブログを通知する仕組みがあり、それを読み合っている。みんなの想いを共有している。
    • とはいえ、自分で取りに行く力が無いときついと思うとのこと。(それは同感)
  • A: @y_uuk1 さん
    • ブログのブックマーク数によって報酬の制度 (実績解除システム)
      • すし！
    • 先輩に追いつけば自然と高まる！

その他

• @jhotta さんと、個人的に技術・ビジネス・経営の話を織り交ぜて、自分が見えていないレイヤーの話を聞く機会があって本当によかった。こう言う相談ができる人が実は身近にいなくて、悩んでいるところだった。どうもありがとうございました。
• マルチクラウドデザインパターン
  • Session: http://www.slideshare.net/marcyterui/multi-cloud-design-patternbeta
• 野良Wi-Fiがすごくて、特にホールで会場で用意しているWi-Fiに接続しづらい状況が頻発した。できるかぎり会場で用意しているWi-Fiを利用してもらうよう、積極的に誘導した方が良いと思う。