Telegram 用のスケーラブルなアンチヘイトスピーチモデレーションボットの構築: 詳細-jsチュートリアル-php.cn

Telegram 用のスケーラブルなアンチヘイトスピーチモデレーションボットの構築: 詳細

Mary-Kate Olsen

リリース： 2024-12-14 16:42:14

オリジナル

594 人が閲覧しました

3,000 人のメンバーを持つ Telegram グループを管理することは、単にメンバーを増やすことではなく、安全で敬意を持ったコミュニティを育成することでもあります。繰り返しヘイトスピーチに遭遇した後、私は人種的中傷を投稿するユーザーを自動的に識別して制限する Node.js ベースのモデレーションボットを開発しました。この記事では、構想から展開までの開発プロセス全体を説明します。

挑戦

大規模な Telegram グループの手動モデレーションには、いくつかの課題があります:

モデレーターは 24 時間 365 日オンラインでいられるわけではありません
有害なコンテンツは削除される前に急速に拡散する可能性があります
ルールを一貫して施行するのは難しい
大量のメッセージにより手動レビューは現実的ではありません

技術アーキテクチャ

コア技術

Node.js: ランタイム環境
node-telegram-bot-api: 公式 Telegram Bot API ラッパー
Express.js: 将来の Webhook 実装用の Web サーバー
dotenv: 環境変数管理
Body-parser: リクエスト解析ミドルウェア

ボットの構成

まず、適切なエラー処理を備えた基本的なボット構造をセットアップします。

const TelegramBot = require('node-telegram-bot-api');
const express = require('express');
const bodyParser = require('body-parser');
const dotenv = require('dotenv');
const logging = require('console');

dotenv.config();

const BOT_TOKEN = process.env.BOT_TOKEN;
const bot = new TelegramBot(BOT_TOKEN, { polling: true });

ログイン後にコピー

メッセージ監視システム

ボットは多層監視システムを実装しています:

最初のメッセージ受信:

bot.on('message', async (msg) => {
  if (!msg.chat || !msg.from) return;
  // Message processing logic
});

ログイン後にコピー

コンテンツ分析:

function checkForRacialSlurs(message) {
  if (!message) return false;
  return RACIAL_SLURS.some(slur => 
    message.toLowerCase().includes(slur)
  );
}

ログイン後にコピー

強制措置:

async function restrictUser(chatId, userId) {
  try {
    await bot.restrictChatMember(chatId, userId, {
      permissions: {
        can_send_messages: false,
        can_send_media_messages: false,
        can_send_polls: false,
        can_send_other_messages: false,
        can_add_web_page_previews: false,
        can_change_info: false,
        can_invite_users: false,
        can_pin_messages: false,
      },
    });
    return true;
  } catch (error) {
    logging.error('Restriction failed:', error);
    return false;
  }
}

ログイン後にコピー

高度な機能

1. スタッフ管理体制

ボットには、モデレーター情報に簡単にアクセスできるスタッフレイアウトシステムが含まれています。

const STAFF_LAYOUT = ` 
<b>GROUP STAFF</b>

? <b>Founder</b>
└ @Sixademiks

⚜️ <b>Verified Vendors</b>
├ @Vendor1 (City1)
└ @Vendor2 (City2)
`;

ログイン後にコピー

2. ウェルカムメッセージシステム

新規ユーザーは、HTML 解析を使用してフォーマットされたウェルカムメッセージを受け取ります。

bot.onText(/\/start/, async (msg) => {
  try {
    const welcomeMessage = `
<b>Welcome to the DirtyNewz Bot!</b>
Please read the <b>pinned messages</b> for the group rules...`;
    await bot.sendMessage(msg.chat.id, welcomeMessage, { 
      parse_mode: 'HTML' 
    });
  } catch (error) {
    logging.error("Error in /start:", error);
  }
});

ログイン後にコピー

3. ロギングシステム

包括的なロギングにより、ボットのパフォーマンスとユーザーの違反を追跡できます:

logging.log('User was restricted due to violation');
logging.error('Error during restriction:', error);

ログイン後にコピー

現実世界のパフォーマンス

メンバー 5,000 人のグループにボットを導入した後、次のことが観察されました。

99.9% の稼働時間
平均応答時間
スラー検出で誤検知ゼロ
モデレーションの作業負荷を 30% 削減
コミュニティの雰囲気が大幅に改善されました

導入の課題と解決策

1. レート制限

当初、トラフィックが多い時間帯に Telegram のレート制限に達しました。解決策:

const rateLimiter = {
  messageCount: 0,
  lastReset: Date.now(),
  check: function() {
    if (Date.now() - this.lastReset > 1000) {
      this.messageCount = 0;
      this.lastReset = Date.now();
    }
    return this.messageCount++ < 30;
  }
};

ログイン後にコピー

2. エラー処理

堅牢なエラー処理によりボットのクラッシュを防止します:

process.on('unhandledRejection', (reason, promise) => {
  logging.error('Unhandled Rejection at:', promise, 'reason:', reason);
});

bot.on('polling_error', (error) => {
  logging.error('Polling error:', error);
});

ログイン後にコピー

3. メッセージ処理

大量のメッセージを処理するための効率的なメッセージ処理:

const TelegramBot = require('node-telegram-bot-api');
const express = require('express');
const bodyParser = require('body-parser');
const dotenv = require('dotenv');
const logging = require('console');

dotenv.config();

const BOT_TOKEN = process.env.BOT_TOKEN;
const bot = new TelegramBot(BOT_TOKEN, { polling: true });

ログイン後にコピー

Building a Scalable Anti-Hate Speech Moderation Bot for Telegram: A Deep Dive

導入

ボットは、プロセス管理に PM2 を使用して Linux サーバーにデプロイされます:

bot.on('message', async (msg) => {
  if (!msg.chat || !msg.from) return;
  // Message processing logic
});

ログイン後にコピー

Building a Scalable Anti-Hate Speech Moderation Bot for Telegram: A Deep Dive

監視とメンテナンス

定期的なモニタリングが重要です:

function checkForRacialSlurs(message) {
  if (!message) return false;
  return RACIAL_SLURS.some(slur => 
    message.toLowerCase().includes(slur)
  );
}

ログイン後にコピー

今後の改善点

機械学習の統合

async function restrictUser(chatId, userId) {
  try {
    await bot.restrictChatMember(chatId, userId, {
      permissions: {
        can_send_messages: false,
        can_send_media_messages: false,
        can_send_polls: false,
        can_send_other_messages: false,
        can_add_web_page_previews: false,
        can_change_info: false,
        can_invite_users: false,
        can_pin_messages: false,
      },
    });
    return true;
  } catch (error) {
    logging.error('Restriction failed:', error);
    return false;
  }
}

ログイン後にコピー

管理者ダッシュボード

const STAFF_LAYOUT = ` 
<b>GROUP STAFF</b>

? <b>Founder</b>
└ @Sixademiks

⚜️ <b>Verified Vendors</b>
├ @Vendor1 (City1)
└ @Vendor2 (City2)
`;

ログイン後にコピー

異議申し立てシステム

bot.onText(/\/start/, async (msg) => {
  try {
    const welcomeMessage = `
<b>Welcome to the DirtyNewz Bot!</b>
Please read the <b>pinned messages</b> for the group rules...`;
    await bot.sendMessage(msg.chat.id, welcomeMessage, { 
      parse_mode: 'HTML' 
    });
  } catch (error) {
    logging.error("Error in /start:", error);
  }
});

ログイン後にコピー