ビッグデータ分析にはいくつのツールが必要ですか?
1. Hadoop 関連ツール
1.Hadoop
Apache の Hadoop プロジェクトはほぼ装備されていますビッグデータを使って。成長を続け、拡張性の高い分散コンピューティングのための多くのオープンソース ツールを備えた完全なエコシステムになりました。
サポートされているオペレーティング システム: Windows、Linux、OSX。
2.Ambari
Hadoop エコシステムの一部として、この Apache プロジェクトは、Hadoop クラスターを構成、管理、監視するための直感的な Web ベースのインターフェイスを提供します。 Ambari の機能を独自のアプリケーションに統合したい開発者向けに、Ambari は REST (Representational State Transfer Protocol) を利用する API を提供します。
サポートされているオペレーティング システム: Windows、Linux、OSX。
3.Avro
この Apache プロジェクトは、豊富なデータ構造とコンパクトな形式を備えたデータシリアル化システムを提供します。スキーマは JSON で定義され、動的言語と簡単に統合できます。
4.Cascading
Cascading は、Hadoop に基づくアプリケーション開発プラットフォームです。ビジネスサポートとトレーニングサービスを提供します。
5.Chukwa
Chukwa は Hadoop に基づいており、監視のために大規模な分散システムからデータを収集できます。データを分析および表示するためのツールも含まれています。
サポートされているオペレーティング システム: Linux および OSX。
6.Flume
Flume は、他のアプリケーションからログ データを収集し、このデータを Hadoop に送信できます。公式 Web サイトでは、「強力で耐障害性があり、調整および最適化できる信頼性メカニズム、および多くのフェイルオーバーおよび回復メカニズムを備えています。」
サポートされているオペレーティング システム: Linux および OSX。
7.HBase
HBase は、数十億の行と数百万の列を持つ非常に大きなテーブル用に設計されており、ビッグ データに対してランダム化を実行できる分散データベースです。リアルタイムの読み取り/書き込みアクセス。これは Google の Bigtable に似ていますが、Hadoop および Hadoop 分散ファイル システム (HDFS) 上に構築されています。
8.Hadoop 分散ファイル システム (HDFS)
HDFS は Hadoop 用のファイル システムですが、独立した分散ファイル システムとしても使用できます。 Java をベースにしており、耐障害性が高く、拡張性と構成性が高くなります。
サポートされているオペレーティング システム: Windows、Linux、OSX。
9.Hive
ApacheHive は、Hadoop エコシステムのデータ ウェアハウスです。これにより、ユーザーは SQL に似た言語である HiveQL を使用してビッグ データのクエリと管理を行うことができます。
10.Hivemall
Hivemall は、Hive 用の複数の機械学習アルゴリズムを組み合わせています。これには、データ分類、再帰、推奨、k 最近傍、異常検出、および特徴ハッシュのための拡張性の高いアルゴリズムが多数含まれています。
11.Mahout
公式 Web サイトによると、Mahout プロジェクトの目的は「スケーラブルで高性能な機械学習アプリケーションを迅速に構築するための環境を作成する」ことです。 HadoopMapReduce インターネット上には、Scala および Spark 環境用の新しいアルゴリズムを含む、データ マイニング用のアルゴリズムが多数あります。
12.MapReduce
Hadoop の不可欠な部分として、MapReduce プログラミング モデルは、大規模な分散データ セットを処理するためのメソッドを提供します。元々は Google によって開発されましたが、現在では、CouchDB、MongoDB、Riak など、この記事で取り上げている他のいくつかのビッグ データ ツールで使用されています。
13.Oozie
このワークフロー スケジュール ツールは、Hadoop タスクを管理するために特別に設計されています。時間やデータの可用性に基づいてタスクをトリガーでき、MapReduce、Pig、Hive、Sqoop、その他多くの関連ツールと統合できます。
サポートされているオペレーティング システム: Linux および OSX。
14.Pig
ApachePig は、分散ビッグデータ分析のためのプラットフォームです。 PigLatin と呼ばれるプログラミング言語に依存しており、簡素化された並列プログラミング、最適化、スケーラビリティという利点があります。
15.Sqoop
企業では、リレーショナル データベースと Hadoop の間でデータを転送する必要がよくあります。Sqoop は、このタスクを完了できるツールです。データを Hive または HBase にインポートし、Hadoop からリレーショナル データベース管理システム (RDBMS) にエクスポートできます。
16.Spark
Spark は、MapReduce の代替となるデータ処理エンジンです。メモリ内で使用する場合は MapReduce より最大 100 倍、ディスク上で使用する場合は MapReduce より最大 10 倍高速であると主張しています。 Hadoop および Apache Mesos と一緒に使用することも、単独で使用することもできます。
サポートされているオペレーティング システム: Windows、Linux、OSX。
17.Tez
Tez は、「タスクがデータを処理するための複雑な有向非巡回グラフを構築できるアプリケーション フレームワーク」である Apache Hadoop YARN 上に構築されています。これにより、Hive と Pig は次のことを行うことができます。完了するまでに複数の手順が必要となる複雑なタスクを簡素化します。
サポートされているオペレーティング システム: Windows、Linux、OSX。
18.Zookeeper
このビッグ データ管理ツールは、「構成情報、名前の管理、分散同期の提供、およびグループ サービスの提供に使用できる集中型サービス」であると主張しています。 Hadoop クラスター内のノードが相互に調整されます。
サポートされているオペレーティング システム: Linux、Windows (開発環境のみに適しています)、OSX (開発環境にのみ適しています)。
関連する推奨事項:「FAQ」
2. ビッグ データ分析プラットフォームとツール
19.Disco
Disco はもともと Nokia によって開発され、Hadoop のような分散コンピューティング フレームワークです。これも MapReduce に基づいています。これには、数十億のキーと値をサポートする分散ファイル システムとデータベースが含まれています。
サポートされているオペレーティング システム: Linux および OSX。
20.HPCC
Hadoop の代替となるビッグ データ プラットフォームである HPCC は、非常に高速で拡張性が高いことが約束されています。 HPCC Systems は、無料のコミュニティ バージョンに加えて、有料のエンタープライズ バージョン、有料モジュール、トレーニング、コンサルティング、その他のサービスも提供しています。
サポートされているオペレーティング システム: Linux。
21.Lumify
Altamira Technologies (国家安全保障技術で知られる) が所有する Lumify は、オープンソースのビッグデータ統合、分析、視覚化プラットフォームです。 Try.Lumify.io でデモ バージョンを試して、実際の動作を確認することができます。
サポートされているオペレーティング システム: Linux。
22.Pandas
Pandas プロジェクトには、Python プログラミング言語に基づくデータ構造とデータ分析ツールが含まれています。これにより、企業組織はビッグ データ分析プロジェクトで R の代替として Python を使用できるようになります。
サポートされているオペレーティング システム: Windows、Linux、OSX。
23.Storm
Storm は現在、ビッグ データのリアルタイム処理を提供する Apache プロジェクトです (バッチ タスク処理のみを提供する Hadoop とは異なります)。そのユーザーには、Twitter、The Weather Channel、WebMD、Alibaba、Yelp、Yahoo Japan、Spotify、Group、Flipboard などが含まれます。
サポートされているオペレーティング システム: Linux。
3. データベース/データ ウェアハウス
24.Blazegraph
Blazegraph は、以前は「Bigdata」と呼ばれていました。データベース。オープンソースと商用ライセンスの両方で利用できます。
25.Cassandra
この NoSQL データベースはもともと Facebook によって開発され、現在では Apple、欧州原子核研究機構 (CERN)、Comcast、Electronic Harbor を含む 1,500 以上の企業組織で使用されています。 、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit など。非常に大規模なクラスターをサポートできます。たとえば、Apple が導入した Cassandra システムには 75,000 を超えるノードが含まれ、10PB を超えるデータを保持します。
26.CouchDB
CouchDB は「インターネットを完全に包含するデータベース」として知られており、データを JSON ドキュメントに保存し、Web ブラウザーを通じてクエリを実行したり、JavaScript を使用して処理したりできます。使いやすく、分散ネットワーク上での可用性と拡張性が高くなります。
サポートされているオペレーティング システム: Windows、Linux、OSX、Android。
27.FlockDB
Twitter によって開発された FlockDB は、ソーシャル ネットワーク データの保存に優れた、非常に高速でスケーラブルなグラフ データベースです。まだダウンロード可能ですが、プロジェクトのオープンソース バージョンはしばらく更新されていません。
28.Hibari
この Erlang ベースのプロジェクトは、「強力な一貫性を保証する、分散型の順序付けされたキーと値のストレージ システム」であると主張しています。元々は Gemini Mobile Technologies によって開発され、現在はヨーロッパとアジアのいくつかの通信事業者によって使用されています。
29.Hypertable
Hypertable は、Hadoop と互換性があり、超高性能を約束するビッグ データ データベースであり、そのユーザーには、Electronic Harbor、Baidu、Gaopeng、Yelp、その他多くのインターネット企業が含まれます。ビジネスサポートサービスを提供します。
サポートされているオペレーティング システム: Linux および OSX。
30.Impala
Cloudera は、SQL ベースの Impala データベースが「Apache Hadoop の主要なオープンソース分析データベース」であると主張しています。これはスタンドアロン製品としてダウンロードでき、Cloudera の商用ビッグデータ製品の一部です。
サポートされているオペレーティング システム: Linux および OSX。
31.InfoBright コミュニティ エディション
InfoBright はデータ分析用に設計されており、高い圧縮率を備えた列指向のデータベースです。 InfoBright.com は、同じコードに基づいた有料製品を提供し、サポート サービスを提供します。
サポートされているオペレーティング システム: Windows および Linux。
32.MongoDB
1,000 万以上のダウンロードを誇る mongoDB は、非常に人気のある NoSQL データベースです。 Enterprise エディション、サポート、トレーニング、および関連製品とサービスは、MongoDB.com で利用できます。
サポートされているオペレーティング システム: Windows、Linux、OSX、Solaris。
以上がビッグデータ分析にはいくつのツールが必要ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undress AI Tool
脱衣画像を無料で

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Stock Market GPT
AIを活用した投資調査により賢明な意思決定を実現

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

まず、ディスククリーニングツールを使用して、一時ファイルと古いバージョンの更新を削除し、%TEMP%とC:\ Windows \ Tempディレクトリのキャッシュを手動でクリアします。次に、PowerCFG-Hoffを実行してHibernationを閉じ、Hiberfil.Sysスペースを[管理者]コマンドプロンプトを介してリリースし、仮想メモリページングファイルを他のディスクに移行します。最後に、隣接するパーティションを圧縮し、Cディスクの容量を拡大するか、サードパーティのツールを使用して容量拡張操作を完了することにより。

誰もが、Windows 10には多くの種類のブルースクリーン現象があることを知っています。ブルースクリーンが発生すると、多くの人がそれに対処する方法を知らないことがよくあります。ブルースクリーンに表示されるコードのほとんどはあいまいで理解が困難であるため、多くのユーザーは混乱しており、自分で問題を解決するのが困難です。今日は、kernel_security_check_failureブルースクリーンコードを効果的に扱う方法について話しましょう。このブルースクリーンコードは通常、ドライバーに問題があることを示しており、最も一般的なエラーはネットワークカードとグラフィックドライバーです。カーネルセキュリティチェックフェイルブルースクリーンの理由は次のとおりです。ネットワークカードドライバーに互換性のある問題があります。グラフィックカードドライバーのバージョンは、一致していないか、破損していません。この状況に応じて、

回答:ほとんどのコミックアプリは、コミックの種類に応じた読み取り方向とモードの切り替えをサポートしています。 Tencent Anime、Kuaikan Comicsなどは、日本の漫画、中国の漫画などのさまざまなニーズに適応するために、読み取り設定で左から右、右、またはスクロールモードを選択できます。コンテンツの種類に応じてページターン方法に合わせて、ジェスチャープロンプト、ダブルページモードなどを使用することをお勧めします。

まず、Chromeの組み込み「インポートブックマークと設定」関数を介して他のブラウザデータを直接移行できます。第二に、既にHTML形式のブックマークファイルを持っている場合は、ブックマークマネージャーからインポートできます。最後に、元のブラウザブックマークファイルを手動でコピーしてHTMLに変換してからインポートできます。

1。360スピードブラウザに組み込まれた「ブラウザドクター」を使用して、ワンクリックでネットワークの問題を修正します。 2。読み込み例外を解決するためのキャッシュとCookieをクリアします。 3.競合のレンダリングを避けるために、互換性モードに切り替えます。 4。360セキュリティガードを介してLSPコンポーネントを修理します。 5. DNSを101.226.4.6および8.8.8.8に変更して、解像度の成功率を改善します。 6.ファイアウォールまたはウイルス対策ソフトウェアがブラウザがインターネットに接続されないかどうかを確認し、必要に応じてホワイトリストを追加します。

まず、システム設定を介してメインプログラムをアンインストールし、360の独自のアンインストールツールを使用して残留物をクリーニングします。次に、インストールディレクトリ内の%appData%、%localAppData%、および関連するフォルダーを手動で削除します。次に、バックアップのレジストリエディターを入力し、hkey_current_userとhkey_local_machineの360関連アイテムをクリアします。次に、GeekunInstallerなどのサードパーティツールを使用して、残基を深くスキャンします。最後に、上記のステップをセーフモードで繰り返して、完全なクリアランスを確保します。

Microsoftは、間違ったWin10アップデートを再びプッシュしたため、ユーザーを再び恥ずかしく思いました。先月、Microsoftは、Windows Autopilot構成デバイスの品質を改善するためにもともと設計されたアップデートを起動しました。ただし、このアップデートは、ビジネス環境のデバイス設定ツールであるAutopilotを介してデバイスをカバーするだけでなく、Windows 10 Homeバージョンユーザーを含むすべてのWindows 10ユーザーに予想外にプッシュされた元の意図から逸脱しています。 -WIN10プロフェッショナル対Windows 10ホーム-Windows10xリークは、デュアルスクリーンデバイスで動作するだけでなく、私たちが選んだ最高のWindowsタブレットの履歴を繰り返しているようで、Microsoftが再び同じことをコミットするように見えることを示しています

Win10システムのログインインターフェイスの背景画像を置き換えるための特定の手順は次のとおりです。ログインインターフェイスの背景画像を置き換えるには、システムファイルに特定の調整が必要です。次の2つのステップに分けることができます。最初のステップ:windows.ui.logon.priという名前のファイルを生成します。ファイルを生成するための特定の手順は次のとおりです。PowerShellツールをダウンロードし、ダウンロード後にファイルを解凍します。減圧後、login.ps1という名前のファイルを取得し、デスクトップに保存します。ログインインターフェイスの背景として使用する画像を準備し、名前gezila.jpgなどのデスクトップに配置します。デスクトップに保存したばかりのlogin.ps1ファイルを右クリックして、「編集」を選択します。これにより、PowerShelが開きます