カテゴリー
コンピュータ

Hadoop

Hadoop 読み方

Hadoop 発音の仕方

[hʌˈdu:p] or [həˈduːp]

Hadoop とは

Apache Hadoopは、大量のデータと計算に関連する問題を解決するために多くのコンピューターのネットワークを使用することを容易にするオープンソースソフトウェアユーティリティのコレクションです。 MapReduceプログラミングモデルを使用してビッグデータを分散ストレージおよび処理するためのソフトウェアフレームワークを提供します。 Hadoopは元々、コモディティハードウェアから構築されたコンピュータークラスター用に設計されましたが、現在でも一般的に使用されています。それ以来、ハイエンドハードウェアのクラスターでも使用されるようになりました。 Hadoopのすべてのモジュールは、ハードウェア障害が一般的に発生し、フレームワークによって自動的に処理される必要があるという基本的な前提で設計されています。

Apache Hadoopのコアは、Hadoop分散ファイルシステム(HDFS)と呼ばれるストレージ部分と、MapReduceプログラミングモデルである処理部分で構成されています。 Hadoopはファイルを大きなブロックに分割し、クラスター内のノードに分散します。次に、パッケージ化されたコードをノードに転送して、データを並列処理します。このアプローチは、ノードがアクセスできるデータを操作するデータの局所性を利用します。これにより、計算とデータが高速ネットワークを介して分散される並列ファイルシステムに依存する従来のスーパーコンピューターアーキテクチャよりも、データセットをより高速かつ効率的に処理できます。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です