swooleのタスク関数に基づいてプログラムにmap-reduceを実装する

Swoole 拡張機能に付属するタスク プロセスは非常に強力で、さまざまな複雑なビジネス ロジックの実装に使用できます。この記事では、Map-Reduceの同時タスク処理をプログラムに実装するためのtask/finish関数の使い方を中心に紹介します。チャット サービスには、自分のグループとグループ内のメンバーを含むグループ チャットの要件があることがよくあります。さらに、このような機能は Swoole を使用して簡単に実装できます。

従来のマルチスレッド ソリューション

2 つのグローバル変数 Map を作成します。group_map はメンバー セットを保存するためのキーとして group_id を使用します。 user_map は、uid をキーとして使用して、現在のユーザーが参加しているすべてのグループを保存します。

実際、これら 2 つのマップはマルチスレッド環境では直接操作できず、ロックする必要があります。ユーザーをグループに追加するとき、またはユーザーがグループから脱退するときは、これら 2 つのマップを操作する必要があり、ロックする必要があります。操作が非常に頻繁で、ロックの衝突が実際に非常に深刻な場合、操作のこの部分はシリアルになります。マップ上で同時に動作できるスレッドは 1 つだけです。ロックの競合により、大量のスレッド切り替えが発生し、大量の CPU リソースが浪費されます。

lock.lock();group_map[group_id].append([uid, score]);user_map[uid].append(group_id);group_map.sortByScore();lock.unlock();

Swoole ベースのタスク関数

Swoole ベースのタスク関数は、タスクをスライスし、ハッシュして別のタスク プロセスに配信してタスクを完了できます。ソート関数は、PHP が提供する SplHeap を使用して直接実装できます。UID に基づいてユーザーが参加しているすべてのグループをクエリするなどのクエリ関数を実装する場合、時間計算量は O(logn) です。 、および GroupId に基づいてメンバーをクエリします。まずハッシュを計算して対応するタスク プロセスを見つけ、次にタスク/タスク待機を通じて命令を送信してプロセスの変数を直接読み取り、情報を見つけることができます。

$serv->set(array("task_worker_num" => 24));$serv->task(array("cmd" => "user", "uid" => $uid, "gid" => $gid, "score" => $score), $gid % $task_worker_num);$serv->task(array("cmd" => "group", "uid" => $uid, "gid" => $gid), $uid % $task_worker_num);class MyMaxHeap extends SplHeap{    public function compare($value1, $value2)    {        return ($value1['score'] - $value2['score']);    }}function onTask($serv, $taskId, $srcWorkerId, $data) {    static $userMap = array();    static $groupMap = array();        if ($data['cmd'] == 'group')    {        if (!isset($groupMap[$data['gid']]))        {            $groupMap[$data['gid']] = new MyMaxHeap();        }        $heap = $groupMap[$data['gid']];        $heap->insert(array("uid" => $data['uid'], "score" => $data['score']));    }    elseif ($data['cmd'] == 'user')    {        $userMap[$data['uid']][] = $data['gid'];    }}

Task プロセスは配列操作のみなので、CPU コアの数と同じ数のプロセスを開くだけで済みます。プロセス間のロック競合がなく、パフォーマンスは非常に優れています。 Swoole のタスク プロセス通信は、カーネルによって提供される、IO なしのフルメモリ通信方式である UnixSocket を使用します。単一プロセスは最大 100 万回/秒の書き込みと読み取りが可能です。変数を直接読み込むほど高速ではありませんが、十分なパフォーマンスを発揮します。

————–大きな分かれ目————

PHP 米米粒 (phpfamily) は、社会に何らかの価値をもたらしたいと願う信頼できる人々のグループによって設立されました。 PHPer 思考を味わうための食べ物!

この記事は、rango が独占的に許可している php 米粒によって公開されています。転載する場合は、出典情報と次の QR コードを明記してください (長押しすると、次の QR コードが表示されます):