내 화면을 모니터링하고 문제를 해결하는 데 도움이 되는 AI 동반자를 만들었습니다 ✨

최근 나루토를 몰아보는 중독으로 인해 어려움을 겪고 있습니다. 즐겁기는 하지만 주주 가치를 전달하는 데는 확실히 도움이 되지 않습니다. ?

그러면 내 화면을 모니터링하고 애니메이션 시청과 같이 해서는 안 될 일을 과도하게 하고 있는지 알려주는 AI 개인 비서를 만들어 보는 것은 어떨까요? ?

지난해 AI의 급속한 발전을 고려하여 다중 모달 언어 모델을 사용하여 화면을 모니터링하고 비생산적인 활동에 너무 많은 시간을 소비하고 있을 때 알려 주기로 결정했습니다.

그래서 제가 한 방법은 다음과 같습니다.

• OpenAI GPT-4o, 멀티모달 AI 모델을 구성하세요.
• Composio의 화면 분석 도구를 사용하여 화면을 모니터링하세요.
• 정기적으로 스크린샷을 GPT에 전달하세요.
• GPT의 메시지를 시스템 알림으로 렌더링합니다.

이 글에서는 OpenAI와 Composio를 사용하여 개인 AI 친구를 구축하는 방법도 설명하겠습니다.

---

Composio - AI 에이전트 툴링 플랫폼

Composio는 AI 에이전트에 도구와 통합 기능을 제공하는 오픈 소스 플랫폼입니다. 코드 해석기, RAG, 임베딩 및 GitHub, Slack, Jira 등과 같은 통합 도구를 통해 AI 에이전트의 능력과 다양성을 확장할 수 있습니다.

별을 도와주세요. ?

이런 기사를 더 많이 만드는 데 도움이 될까요?

Composio.dev 저장소에 별표 표시 ⭐

---

AI 친구 만들기의 전제 조건

프로젝트를 성공적으로 완료하려면 다음이 필요합니다.

• OpenAI SDK 및 API 키: LLM과 상호작용합니다.
• Composio: 이미지 분석 도구에 액세스합니다.
• PyAutoGUI: 화면의 상호 작용을 자동화합니다.
• Osascript: macOS 애플리케이션 제어를 위해 AppleScript 명령을 실행합니다.

자, 시작해 보겠습니다.

---

시작하자 ?

Python 가상 환경을 만드는 것부터 시작하세요.

으아악

이제 다음 종속성을 설치합니다.

으아악

다음으로 .env 파일을 만들고 OpenAI API 키에 대한 환경 변수를 추가합니다.

으아악

컴포지오 설정

CLI를 사용하여 Composio를 쉽게 설정할 수 있습니다.

먼저 다음 명령을 실행하여 계정에 로그인하세요.

으아악

계속 진행하려면 로그인 흐름을 완료하세요.

이제 앱을 업데이트하세요.

으아악

이제 코딩 부분으로 이동할 준비가 되었습니다.

---

AI 친구 만들기

이제 환경을 설정했으므로 코딩 부분으로 넘어가겠습니다.

먼저 라이브러리를 가져오고 도구 세트를 초기화합니다.

으아악

그래서 위 코드 블록에서는

• 필요한 모든 라이브러리와 모듈을 가져왔습니다.
• .env 파일에 정의된 변수를 로드했습니다.
• OpenAI() 및 ComposioToolSet의 인스턴스를 생성했습니다.
• SYSTEMTOOLS 및 IMAGEANALYSERTOO에서 작업을 검색했습니다.

이 도구의 기능은 다음과 같습니다.

• 시스템 도구: 시스템 도구에는 푸시 알림과 화면 캡처라는 두 가지 작업이 있습니다.
• IMAGEANALYSERTOOL: 이 도구에는 단 하나의 작업만 있습니다. GPT-4o 및 Claude Sonnet 등과 같은 다중 모드 LLM을 사용하여 이미지를 분석합니다.

코드와 작동 방식을 살펴보고 싶다면 시스템 도구 및 이미지 분석 도구의 코드 파일을 확인하세요.

참고: Composio의 작업은 스크린샷 클릭, 알림 보내기, 메일 보내기 등 에이전트가 수행할 수 있는 작업입니다.

OpenAI 도우미 설정

이제 상담원에게 명확하고 간결한 프롬프트를 정의하세요. 이는 에이전트 성능에 매우 중요합니다. 요구 사항에 따라 프롬프트를 변경할 수 있습니다.

으아악

위 코드 블록에서

• 자세한 보조지침이 제공됩니다.
• 이전에 정의한 지침, 모델 이름 및 이전에 정의한 작업을 사용하여 새 어시스턴트 인스턴스를 생성했습니다.
• 마지막으로 모델과의 상호작용을 위한 스레드를 만듭니다.

---

도우미 정의 및 실행

이제 어시스턴트를 실행하기 위한 함수를 정의해 보겠습니다.

으아악

위 코드에서 진행되는 작업은 다음과 같습니다.

• 'CHECK' 메시지 보내기: 모델이 응답하는지 확인하기 위해 지정된 스레드의 어시스턴트에게 "CHECK" 메시지를 보냅니다.
• Execute Agent: 지정된 스레드 및 어시스턴트 ID를 사용하여 어시스턴트에 대한 실행을 생성합니다.
• Handle Tool Calls: Composio 도구 세트를 사용하여 어시스턴트가 수행한 도구 호출을 기다리고 처리합니다.
• 에이전트 루프: 에이전트를 루프하여 워크플로를 지속적으로 실행하고 모니터링합니다.

마지막으로 Python 파일을 실행하고 새로운 AI 친구가 목표에 집중할 수 있도록 하여 파일을 실행하세요.

에이전트는 귀하의 화면을 모니터링하고 귀하가 해서는 안 될 행동을 하는 것을 발견하면 알림을 보냅니다.

전체 코드는 여기에서 확인하실 수 있습니다

다음은 에이전트가 작동하는 예입니다.

---

다음 단계

이 기사에서는 귀하의 활동을 모니터링하는 맞춤형 AI 친구를 구축했습니다. 그러나 캘린더나 Gmail 도구와 같은 외부 통합을 추가하면 더욱 유용해질 수 있습니다. 이를 통해 참석해야 할 이벤트가 있는지 또는 응답해야 할 중요한 이메일이 있는지 알려줍니다.

GitHub, Calendar, Slack, Discord 등에 이르기까지 Composio의 광범위한 통합을 통해 쉽게 수행할 수 있습니다.

AI와 관련된 더 많은 글을 보고 싶으시다면 댓글로 알려주시고 GitHub에 별표를 남겨주세요.

Composio.dev 저장소에 별표 표시 ⭐

읽어주셔서 감사합니다!

위 내용은 내 화면을 모니터링하고 문제를 해결하는 데 도움이 되는 AI 동반자를 만들었습니다 ✨의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!