インタークラウド連携デモ [INTEROP Tokyo 2014]

INTEROP Tokyo 2014のShowNetで行われていたインタークラウド連携デモは、複数のクラウドを利用してWebサイトのロードバランシングとDR(Disaster Recovery)用の冗長性確保を行うというものです。 VXLANを活用することで、個々のクラウド事業者の内部ネットワークに依存せずに相互接続が実現されていました。

GSLB

このデモでは、幕張メッセ、さくらインターネット、IDCフロンティア、ビットアイルの4クラウド内部に、インターネットから閲覧可能なグローバルIPアドレスでWebサーバが運用されました。 ひとつのFQDNに対して、幕張メッセ、さくらインターネット、IDCフロンティア、ビットアイルの4箇所のIPアドレスが設定され、GSLB（Global Server Load Balancing）が行われていました。

インターネット側からの視点での全体像としては、こんな感じです。

各クラウド内にあるWebサーバには、グローバルIPv4アドレスがつけられており、インターネットから直接Webを閲覧できます。 各クラウド内にあるWebサーバは、プライベートIPv4アドレスによるネットワークにも接続されています。 プライベートIPv4アドレスによるネットワークは、VXLAN over IP VPN（IPsec）でクラウドを超えたフラットなL2セグメントになっています。

レプリケーション

この4クラウドと、RISEとStarBEDの2つの学術クラウドの間でレプリケーションが行われており、同じデータを保持しています。 レプリケーションにより、4クラウドのWebサーバが表示するデータが全く同じものになっています。

レプリケーションは、GlusterFSとlsyncdで行われました。 ビットアイルとIDCフロンティアの2クラウドの間でGlusterFSによるレプリケーションが行われ、どちらか一方に書き込んだ情報が即座にもう片方に反映されます。

他の4クラウドに対するレプリケーションは、lsyncdで行われました。 ビットアイルとIDCフロンティアの2クラウドが、他の4クラウドに対してそれぞれlsyncdでレプリケーションを行う形です。

このレプリケーションを行うためのネットワークは、10.11.129.0/24というプライベートIPv4アドレス空間で行われています。

レプリケーションを実現するネットワーク

6クラウド全てが、10.11.129.0/24というL2フラットなセグメントで通信を行っている点が、この企画を担当された方がこだわった部分だったとのことです。

なぜ、その部分がこだわりになるかですが、まず、6クラウドは全て異なる場所に存在しています。 たとえば、今回利用された、さくらインターネットのクラウドは石狩ですし、StarBEDは北陸先端科学技術大学院大学にあります。 ビットアイル、IDCフロンティア、RISEのクラウドも幕張メッセには存在せず、それぞれ異なる場所にあります。

場所が異なるだけではなく、それぞれ全く異なるL3ネットワークに接続されています。 各クラウドの内部ネットワークに依存せず、全てのクラウドが10.11.129.0/24というプライベートIPv4アドレスのネットワークセグメントで相互通信をできるようにされていました。

VXLAN

6クラウドが全て同じネットワークセグメントを利用できるようにするために使われた技術がVXLANです。 VXLANは、L2フレームをUDPパケットにカプセル化するというものです。

今回は、IPSecによるIP VPNが行われ、そのIP VPNの上でVXLANが利用されています。 IP VPNは、幕張、さくらインターネット、IDCフロンティア、ビットアイルの4クラウドの間をフルメッシュで接続していました。

IP VPNのフルメッシュ構成を構築するにあたって、MPSAという技術を使われました。

• Simple VPN solution using Multi-point Security Association draft-yamaya-ipsecme-mpsa-03

MPSAによるIP VPNは古河電工FITELnet FX1によって行われ、VXLANはA10ネットワークスThunder 3030Sによってそれぞれ行われました。

このデモでは、IP VPNの上にVXLANが乗っており、そのVXLANを使ってL2フレームをカプセル化しているので、MTUに近い大きさのパケットに対してVXLANのUDPパケットのIPフラグメンテーションが発生していました。

INTEROP ShowNet発表資料より

INTEROP ShowNet NOCの方々が作成された発表資料です（以下、それぞれINTEROPより）。

最後に

INTEROP Tokyo 2014でのインタークラウド連携デモは、クラウド事業者の内部ネットワークに依存せずに、裏側をL2フラットで同じ/24にしつつ相互接続するというものでした。 既存技術によって複数クラウドを柔軟に活用する方法として面白いデモと言えそうです。

同一クラウド内でプライベートIPv4アドレスを利用したプライベートなL2セグメントをSDN的に作成して運用するようなサービスが増えていますが、今後は異なる複数のクラウド事業者間でプライベートなL2セグメントを繋げるサービスが普及する可能性を感じた今日この頃です。

最近のエントリ

• Interop 2023のShowNetバックボーン詳解
• Interop Tokyo 2023 ShowNet取材動画
• 「ピアリング戦記 - 日本のインターネットを繋ぐ技術者たち」を書きました！
• 1.02Tbpsの対外線！400GbE相互接続も - Interop ShowNet 2022
• Alaxala AX-3D-ViewerとAX-Sensor - Interop 2022
• SRv6を活用し、リンクローカルIPv6アドレスだけでバックボーンのルーティング - Interop ShowNet 2022

過去記事

過去記事一覧