1. ホーム
  2. 業務紹介
  3. ビッグデータ関連事業
  4. >並列計算・並列処理による高速分散処理サービス

並列計算・並列処理による高速分散処理サービス

ビッグデータの解析技術

大量データを高速に解析するためには,「並列計算」技術が必須です.

大きなデータを処理するにあたり,ひとつの計算機の持つメモリ量に限界があること,ひとつの計算機のCPUの処理スピードに限界があること,ひとつの計算機のもつハードディスク量に限界があること,ひとつの計算機で計算していると,データが増えた時に拡張することが困難であるという,4つの限界を突破するため,以下のような並列処理技術が開発されています.

  • 多数の計算機を利用し,別々の計算機のメモリで別データを処理し,連携しながら解析を行うことにより,大きなデータをインメモリで効率よく処理する.
  • 多数の計算機を利用し,それぞれの計算機のCPU群やGPGPUを用いて同時に別データを並列に処理することにより,高速なデータ解析を行う.
  • 解析結果もハードディスクに分散して持つため,高額で大容量なハードディスクを用意して集約管理する必要がなく,計算機やハードディスクも民生品で良いため,コストを下げることができる
  • 必要に応じて計算機を増やすことで,ソフトの改変なしで,ビッグメモリ・高速計算・ビッグデータの保存の各能力を増やすことができる

日科技研は流体解析業務・画像処理業務などを通じ,並列計算に関するノウハウを蓄積しており,お客様のデータ解析において,その技術を如何なく発揮することができます.

例:
  • MPI*1,OpenMP*2を用いた高速流体計算プログラム等の実行や保守
  • CUDA®*3,OpenCL*4を用いた並列計算による高速画像処理
など.

*1:  MPI:Message Passing Interfaceの略です.
計算機群をネットワークで接続して分散メモリ型の並列計算を行う際に利用するメッセージ通信のライブラリ規格のことです.

*2:  OpenMP:Message Passing Interfaceの略です.
主に共有メモリ型の計算機で並列計算を行う際の規格のひとつです.MPIよりも元のコードへの改編が少ないのが特徴です.

*3:  CUDA®:Compute Unified Device Architectureの略です.
NVIDIA社が開発した,GPUを利用した並列計算アーキテクチャ(ハードだけでなく開発環境も含みます).GPUは元々画像処理のための演算装置でしたが,最近はGPGPU( General-purpose computing on graphics processing units. GPUによる汎目的計算)と呼ばれる汎用の並列計算プロセッサにまで進化し,高速な解析処理,データ処理ができるようになりました.

*4: OpenCL:Open Computing Languageの略です.
CUDAと同様にGPUコンピューティングを行うための仕組みですが,CUDAはNVIDIA社のGPUやGPGPUに特化した開発・実行環境であるのに対し,OpenCLは異なるアーキテクチャをひとつの開発環境でサポートするのが特徴です.