コミュニティ 学ぶ ツールライブラリ レジャー
検索
日本語
ホームページ > テクノロジー周辺機器 > AI > Azure Semantic Search と OpenAI を使用してコグニティブ検索システムを構築する

Azure Semantic Search と OpenAI を使用してコグニティブ検索システムを構築する

DDD
リリース： 2023-10-12 10:18:04
転載
836 人が閲覧しました

今日のデジタル時代では、強力でスケーラブルで効率的なシステムを持つことは、単なる競争上の優位性ではありません。それは必要です。ユーザー入力処理を最適化してドキュメント検索を簡素化することに取り組んでいる場合でも、サービスとプラットフォームの組み合わせが比類のないパフォーマンスの鍵となります。この記事では、Azure Cognitive Services のパワーと OpenAI の機能を組み合わせた総合的なアプローチについて説明します。意図認識、ドキュメント フィルタリング、ドメイン固有のアルゴリズム、テキスト要約を詳しく調べることで、ユーザーの意図を理解するだけでなく、情報を効率的に処理して表示するシステムの作成方法を学びます。

これを構築します:

Azure Semantic Search と OpenAI を使用してコグニティブ検索システムを構築する

環境のセットアップ

本題に入る前に、確認しましょう。インストールしました。 必要なパッケージをダウンロードし、環境変数を設定します。 

!pip show azure-search-documents
%pip install azure-search-documents --pre
%pip show azure-search-documents
!pip install python-dotenv
!pip install openai
import os
import requests
import json
import openai
openai.api_key = os.getenv("AZURE_OPENAI_KEY")
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
openai.api_type = 'azure'
openai.api_version = '2023-05-15'
# Look in Azure OpenAI Studio > Deployments
deployment_name = 'gpt-35-turbo'
ログイン後にコピー

ここでは、必要な API キー、エンドポイント、タイプを使用して OpenAI 環境をセットアップします。

Azure Search のセットアップ

Azure Semantic Search を使用するには、必要なモジュールをインポートし、環境をセットアップする必要があります。 

import os
from azure.core.credentials import AzureKeyCredential
from azure.search.documents.indexes import SearchIndexClient
from azure.search.documents import SearchClient
from azure.search.documents.indexes.models import (
    ComplexField,
    CorsOptions,
    SearchIndex,
    ScoringProfile,
    SearchFieldDataType,
    SimpleField,
    SearchableField
)
ログイン後にコピー

モジュールをインポートした後、Azure Search Service エンドポイントと API キーを設定できるようになります: 

# 从环境中设置服务端点和 API 密钥
service_name = "xxxxx"
admin_key ="xxxxx"
# 如果您共享密钥 - 请确保您的 index_name 是唯一的！
index_name = "hotels-quickstart"
# 创建 SDK 客户
endpoint = "https://{}.search.windows.net/".format(service_name)
admin_client = SearchIndexClient(endpoint=endpoint,
                      index_name=index_name,
                      credential=AzureKeyCredential(admin_key))

search_client = SearchClient(endpoint=endpoint,
                      index_name=index_name,
                      credential=AzureKeyCredential(admin_key))
ログイン後にコピー

(注: コードを共有する前に必ずキーをマスクまたは非表示にしてください。)

Azure Semantic Search のインデックスの準備

Azure Search にデータを追加する前に、データの構造を記述するインデックスを定義する必要があります: 

# 删除索引（如果存在）
try:
    result = admin_client.delete_index(index_name)
    print ('Index', index_name, 'Deleted')
except Exception as ex:
    print (ex)
ログイン後にコピー

このコード スニペットにより、インデックスが既に存在する場合は削除されます。これは、コードを再実行する場合やインデックスを変更する場合に便利です。

ここで、インデックスのスキーマを指定しましょう: 

# 指定索引模式
name = index_name 
fields = [ 
        SimpleField(name= "HotelId" , type=SearchFieldDataType.String, key= True ), 
        SearchableField(name= "HotelName" , type=SearchFieldDataType.String, sortable= True ), 
        SearchableField （名称= “描述”，类型=SearchFieldDataType.String，analyzer_name= “en.lucene”），
        SearchableField（名称= “Description_fr”，类型=SearchFieldDataType.String，analyzer_name= “fr.lucene”），
        SearchableField（名称= “类别”、 type=SearchFieldDataType.String、facetable= True、filterable= True、sortable= True )、
        SearchableField(name= "Tags"、collection= True、type=SearchFieldDataType.String、facetable= True、filterable= True )、
        SimpleField(name = “ParkingInincluded”，类型=SearchFieldDataType.Boolean，facetable= True，filterable= True，sortable= True），
        SimpleField（name= “LastRenovationDate”，type=SearchFieldDataType.DateTime关闭设置，facetable= True，filterable=True、sortable= True )、
        SimpleField(name= "Rating"、 type=SearchFieldDataType.Double、facetable= True、filterable= True、sortable= True )、
        ComplexField(name= "地址"、 fields=[ 
            SearchableField(name= " StreetAddress"、 type=SearchFieldDataType.String)、
            SearchableField(name= "City"、 type=SearchFieldDataType.String、facetable= True、 filterable= True、 sortable= True )、
            SearchableField(name= "StateProvince"、 type=SearchFieldDataType.String、facetable= True、filterable= True、sortable= True )、
            SearchableField(name= "邮政编码"、 type=SearchFieldDataType.String、facetable= True、filterable= True、sortable= True )、
            SearchableField(name = “国家”，类型= SearchFieldDataType.String，facetable = True，filterable = True，sortable = True），
        ]）
    ] 
cors_options = CorsOptions（allowed_origins = [ “*” ]，max_age_in_seconds = 60）
Scoring_profiles = [] 
suggester = [{ 'name' : 'sg' , 'source_fields' : [ '标签' , '地址/城市' , '地址/国家' ]}]
ログイン後にコピー

次に、Azure 上にこのインデックスを作成する必要があります: 

index = SearchIndex(
    name=name,
    fields=fields,
    scoring_profiles=scoring_profiles,
    suggesters = suggester,
    cors_options=cors_options)
try:
    result = admin_client.create_index(index)
    print ('Index', result.name, 'created')
except Exception as ex:
    print (ex)
ログイン後にコピー

インデックスを作成した後、次のことを行う必要があります。それにドキュメントを入力します。どのような種類のドキュメントでも使用できることに注意してください。ここでは、BLOB ストレージに保持されるドキュメントを手動で追加するだけです: 

文档 = [ 
    { 
    "@search.action": "上传", "@search.action" : "上传" , 
    "HotelId" : "1" , 
    "HotelName" : "秘密点汽车旅馆" , 
    "Description" : "酒店地理位置优越，位于纽约市中心的城市主要商业干道上。几分钟即可到达时代广场和城市的历史中心，以及使纽约成为美国最具吸引力的城市之一的其他名胜古迹和国际大都市。” ，
    “Description_fr”：“L'hôtel est idéalement situé sur la prime artère Commerciale de la ville en plein cœur de New York.A insi que d'autres lieux d'intérêt qui font纽约的城市充满魅力和美国的国际化。” , 
    "Category" : "精品店" , 
    "Tags" : [ "游泳池" , "空调" , "礼宾服务" ], 
    "ParkingInincluded" : "false" , 
    "LastRenovationDate" : "1970-01-18T00:00:00Z ”，
    "Rating" : 3.60 , 
    "Address" : {    
        “StreetAddress”：“677 第五大道”，
        “City”：“纽约”，
        “StateProvince”：“纽约” ，
        “PostalCode”：“10022”，
        “Country”：“美国”
         } 
    }，
    { 
    “@search. action" : "上传" , 
    "HotelId" : "2" , 
    "HotelName" : "双圆顶汽车旅馆" , 
    "Description" :“该酒店坐落在一座十九世纪的广场上，该广场已按照最高建筑标准进行扩建和翻新，打造出一座现代化、实用的一流酒店，艺术和独特的历史元素与最现代的舒适设施共存。” , 
    "Description_fr" : "L'hôtel 位于十九世纪的地方，是一座现代化酒店的高级规范建筑，在艺术和历史独特方面具有一流的功能和一流的设计舒适与现代共存。” , 
    "Category" : "精品店" , 
    "Tags" : [ "泳池" ,], 
    "ParkingInincluded" : "false" , 
    "LastRenovationDate" : "1979-02-18T00:00:00Z" , 
    "Rating" : 3.60 , 
    "Address" : { 
        "StreetAddress" : "140 大学城中心" , 
        "City”：“萨拉索塔”，
        “StateProvince”：“佛罗里达州”，
        “PostalCode”：“34243”，
        “Country”：“美国”
         } 
    }，
    { 
    "@search.action" : "上传" , 
    "HotelId" :"3" , 
    "HotelName" : "三重景观酒店" , 
    "Description" : "该酒店在 William Dough 的管理下以其卓越的美食脱颖而出，他为酒店的所有餐厅服务提供建议并监督。" , 
    "Description_fr" : "L'hôtel 位于十九世纪的地方，是一座现代化酒店的高级规范建筑，在艺术和历史独特方面具有一流的功能和一流的设计舒适与现代共存。” , 
    "Category" : "度假村中心" ,
    "Tags" : [ "酒吧" , "欧陆式早餐" ], 
    "ParkingInincluded" : "true" , 
    "LastRenovationDate" : "2015-09-20T00:00:00Z" , 
    "Rating" : 4.80 , 
    "Address" : { 
        "StreetAddress" : “3393 Peachtree Rd”、
        “City”：“亚特兰大”、
        “StateProvince”：“GA”、
        “PostalCode”：“30326”、
        “Country”：“美国”
         } 
    }
]
ログイン後にコピー

次に、これらのドキュメントをセマンティック検索インデックスにプッシュします。 

try:
    result = search_client.upload_documents(documents=documents)
    print("Upload of new document succeeded: {}".format(result[0].succeeded))
except Exception as ex:
    print (ex.message)
ログイン後にコピー

OpenAI との統合

OpenAI への接続を確立しましょう: 

question="What is the address of ChatGpt Hotel?"
ログイン後にコピー

次に、Azure OpenAI 接続を追加します: 

###
import os
import requests
import json
import openai
os.environ["AZURE_OPENAI_KEY"] = "xxxx"
os.environ["AZURE_OPENAI_ENDPOINT"] = "xxxx"
openai.api_key = os.getenv("AZURE_OPENAI_KEY")
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
openai.api_type = 'azure'
openai.api_version = '2023-05-15'
# 在 Azure OpenAI Studio > 部署中查找
deployment_name = 'gpt-35-turbo'
###
# 定义一个函数，根据系统消息和消息创建提示
def create_prompt(system_message, messages):
    prompt = system_message
    message_template = "\n<|im_start|>{}\n{}\n<|im_end|>"
    for message in messages:
        prompt += message_template.format(message[&#39;sender&#39;], message[&#39;text&#39;])
    prompt += "\n<|im_start|>assistant\n"
    return prompt
# 定义系统消息
system_message_template = "<|im_start|>system\n{}\n<|im_end|>"
system_message = system_message_template.format("")
print(system_message)
ログイン後にコピー

この時点で、セマンティック検索と Azure OpenAI を使用できるようになります。セマンティック検索をクエリしてみましょう: 

import json
results =  search_client.search(search_text=question, include_total_count=True, select=&#39;HotelId,HotelName,Tags,Address&#39;)=  search_client.search(search_text=question, include_total_count=True, select=&#39;HotelId,HotelName,Tags,Address&#39;)
json_results=""
print (&#39;Total Documents Matching Query:&#39;, results.get_count())
for result in results:
    #print("{}: {}: {}".format(result["HotelId"], result["HotelName"], result["Tags"],results["Address"]))
    json_results+=str(result)
print(json_results)
ログイン後にコピー

検索結果が手元にあるので、Azure OpenAI を利用して結果を解釈したり、さらに処理したりできます。 

# 创建消息列表来跟踪对话
messages = [{"sender": "user", "text": "Hello, take into account the following information "+json_results},
            {"sender": "user", "text": question},
            ]
response = openai.Completion.create(
  engine=deployment_name,
  prompt= create_prompt(system_message, messages),
  temperature=0.7,
  max_tokens=800,
  top_p=0.95,
  frequency_penalty=0,
  presence_penalty=0,
    stop=["<|im_end|>"])
print(response)
ログイン後にコピー

このコードは、OpenAI モデルに検索結果と元の質問を要求し、データに基づいて意味のある情報を処理して提供できるようにします。

結論

この記事では、Azure Semantic Search の機能と OpenAI の機能を組み合わせる方法を学びました。これら 2 つの強力なツールを統合することで、アプリケーションで豊富でインテリジェントな検索結果をユーザーに提供できます。

以上がAzure Semantic Search と OpenAI を使用してコグニティブ検索システムを構築するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

関連ラベル：
azure openal
ソース：Dr. Ernesto Lee
前の記事：Baidu Wang Ying: Baidu Wenku は毎週 2 ～ 3 つの新しい AI 機能をリリースしており、累計使用回数はほぼ 1 億回です 次の記事：人工知能の必須知識をマスターする
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
著者別の最新記事
最新の問題
function_exists() はカスタム関数を決定できません Function test () {return true;} if (function_exists ('test')) {echo "テストは関数です";
から 2024-04-29 11:01:01
0
3
2311
Google Chromeのモバイル版を表示する方法 こんにちは、先生、Google Chrome をモバイル版に変更するにはどうすればよいですか?
から 2024-04-23 00:22:19
0
11
2445
子ウィンドウは親ウィンドウを操作しますが、出力は応答しません。 最初の 2 つの文は実行可能ですが、最後の文は実装できません。
から 2024-04-19 15:37:47
0
1
2062
親ウィンドウには出力がありません document.onclick = function(){ window.opener.document.write('私は子ウィンドウの出力です');
から 2024-04-18 23:52:34
0
1
1949
CSS マインド マッピングに関するコースウェアはどこにありますか? コースウェア
から 2024-04-16 10:10:18
0
0
2012
関連トピック
詳細>
人気のおすすめ
人気のチュートリアル
詳細>
関連するチュートリアル
人気のおすすめ
最新のコース
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート