דלג לתוכן
DATA&AI / CUA
FIELD GUIDE / 29.09.2026

Cua Driver MCP
עיניים, ידיים וגבולות

חיבור סוכן AI לשולחן העבודה דרך שרת MCP מקומי: איך רואים צילום מסך ועץ נגישות, מפעילים כלים, מסדרים חלונות, ובודקים שהתוצאה באמת קרתה. מבוסס על תיעוד Cua Driver וגרסה יציבה 0.30.4.

MCP קודםצילום מסך + נגישותחלון / שולחן עבודהStable 0.30.4
חיבור MCP ראשון ←
01 / הגדרה

מה בדיוק הוא עושה?

Cua Driver הוא שכבת התצפית והפעולה המקומית של סוכן AI. במדריך הזה משתמשים בו דרך שרת MCP: הסוכן מגלה יישומים וחלונות, קורא צילום מסך ועץ נגישות, מפעיל קליק או הקלדה, וקורא שוב את המצב. הוא לא המודל עצמו, ולא אותו מוצר כמו Cua Sandbox או Cloud Fleets.

הכלל שמונע אשליה: פעולה שהתקבלה איננה הוכחה שהתוצאה השתנתה. אחרי כל פעולה קריטית מצלמים מצב חדש, ובפיילוט ארגוני בודקים גם תוצאת מערכת עצמאית: קובץ שנוצר, רשומה שנשמרה או נתון שחזר מה-API.

המילה CUA משמשת גם בתעשייה לתיאור computer-use agents באופן כללי. כאן הכוונה למוצר המסוים Cua Driver של trycua, על פי המיתוג והתיעוד העדכני שלו.

02 / MCP FIRST

המסלול שלך: Cua Driver כשרת MCP

הלקוח (למשל Claude Code) מפעיל את cua-driver mcp דרך stdio. הסוכן מקבל את כלי הדרייבר ופועל על שולחן העבודה של אותו משתמש במחשב המארח. זו אינה סביבת ענן מבודדת, ואין צורך בממשק CLI בכל פעולה אחרי שהחיבור הוגדר. ה-CLI משמש להתקנה ולאבחון; ה-MCP הוא החיבור השוטף לסוכן. הוראות החיבור הרשמיות.

01 / חיבור

התקנה, הרשאות ורישום

מתקינים את הדרייבר ומאמתים cua-driver --version ו-cua-driver call list_apps. ב-macOS בודקים Accessibility ו-Screen Recording. לאחר מכן מפיקים את תצורת הלקוח באמצעות cua-driver mcp-config --client claude, או רושמים את פקודת stdio שלמטה, ובודקים שהשרת מופיע ברשימת חיבורי הלקוח.

claude mcp add --transport stdio cua-driver -- cua-driver mcp
claude mcp list

ללקוחות אחרים השתמשו ב-mcp-config --client <client> ולא בהעתקה עיוורת של תצורת Claude.

02 / תצפית

לראות חלון וגם את המסך

list_windows מאתר חלון לפי pid ו-window_id. get_window_state מחזיר באותה קריאה גם עץ נגישות וגם צילום של החלון כברירת מחדל; get_desktop_state מצלם את התצוגה הראשית כולה בפיקסלים, בלי עץ נגישות. אפשר לבחור בפלט צילום בלבד (include_accessibility_tree:false) או עץ בלבד (include_screenshot:false) כשזה מתאים. כלי MCP.

03 / פעולה

פעולה לפי רכיב, ואז לפי פיקסל

מתחילים ברכיב נגישות מזוהה; אם הוא חסר או מטעה, עוברים לקואורדינטות מהצילום של אותו חלון. יעד שולחן עבודה משתמש בקואורדינטות של צילום המסך הראשי ובפעולה בחזית, לא בשליטה נסתרת בכל התצוגות. אחרי פעולה חשובה קוראים מצב חדש ומוודאים תוצאה חיצונית. מודל התצפית והקלט.

04 / סידור חלונות

מה פירוש "לפצל את המסך"?

התיעוד מאשר את set_window_frame(pid,window_id,x,y,width,height): שינוי מיקום וגודל של חלון אחד, עם קריאה חוזרת לאימות. אפשר להציב שני חלונות זה לצד זה בשתי פעולות נפרדות אם מערכת ההפעלה והחלונות מאפשרים זאת. לא מצאנו כלי MCP ייעודי שמפצל את המסך אוטומטית או יוצר תצוגת split-screen אחת. זהו סידור חלונות, לא פיצול של תמונת מסך לצורך הבנה של הסוכן. set_window_frame.

ההרשאה חשובה יותר מהחיבור. מצב standard מאפשר קלט לכל יישום על שולחן העבודה של המשתמש. לפיילוט עם נתונים רגישים, הגדירו סביבת בדיקה ו-bounded עם manifest מאושר לפני חיבור הסוכן; רישום MCP לבדו אינו מצמצם הרשאות. ב-macOS מצב ההרשאה שייך ל-daemon של CuaDriver.app; ב-Windows/Linux הוא נקבע בזמן הפעלת התהליך או השירות. פירוט רשמי.
03 / CAPABILITIES

יכולות נוספות סביב MCP

01 / תצפית

חלונות, צילום ועץ נגישות

בחירת חלון מדויק, קריאת צילום לצד עץ accessibility. מתחילים מפעולה סמנטית על רכיב; אם העץ אינו מספיק, משתמשים במיקום בצילום. מצב חדש אחרי פעולה מגלה אם שינוי באמת נקלט. מודל התצפית הרשמי.

02 / קלט

עבודה ברקע - בתנאי

הדרייבר מנסה לפעול בתוך חלון יעד בלי להזיז את הסמן של האדם ובלי לגנוב פוקוס. חלק מהיישומים מחייבים קלט בחזית; זו התנהגות best-effort, לא הבטחה. תנאי הרקע.

03 / דפדפן

שיוך חלון ללשונית

במשטחי Chromium נתמכים יש מסלול CDP שמקשר חלון ולשונית באופן מפורש, לטיפול בדף בלי להרים חלון לחזית. מדובר בגבול אמון רחב: פרופיל דפדפן ייעודי עדיף בפרודקשן. פרטי השיוך.

04 / חיבור

MCP, פקודות ו-SDK

שרת ה-MCP ב-stdio הוא המסלול המרכזי כאן. אותם כלים זמינים גם ב-CLI וב-SDK של Python/TypeScript למי שבונה אינטגרציה ישירה; אלה מסלולים חלופיים, לא תנאי לעבודה ב-MCP.

תכונות שמצוינות בתיעוד אך מחייבות אימות סביבתי לפני התחייבות: Linux Wayland תלוי compositor, דפדפן דורש שיוך מפורש, Computer History הוא preview ב-nightly ואינו חלק מהבטחת stable.

04 / QUICKSTART

פיילוט ראשון, עם תוצאה שנבדקת

  1. בחרו VM או משתמש בדיקה בלי דאטה אישי או production. עדיף יישום פשוט, למשל Calculator. אל תתחילו באתר בנק או על מכונת עבודה משותפת.
  2. עברו על דרישות מערכת והתקנה הרשמיות. ב-macOS נדרשות הרשאות Accessibility ו-Screen Recording; ב-Windows סשן שולחן עבודה פעיל; ב-Linux סביבת X11/XWayland או נתיב Wayland מתאים ו-AT-SPI.
  3. התקינו מתוך המקור הרשמי לאחר בדיקת הסקריפט במדיניות הארגון. הפקודות הבאות הן דוגמה מהתיעוד הרשמי, לא המלצה להריץ מרחוק בלי סקירה:

macOS / Linux

/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"

Windows PowerShell

irm https://cua.ai/driver/install.ps1 | iex
cua-driver autostart kick

לשימוש MCP רגיל, ב-Windows/Linux הפקודה cua-driver mcp מחזיקה runtime משלה; daemon ייעודי נדרש רק כשבוחרים במפורש חיבור שירות דרך --socket. ב-macOS הפקודה מתחברת לשירות CuaDriver.app כדי לשמור את הרשאות מערכת ההפעלה. בדקו את המצב וההרשאות בפועל לפני חיבור הסוכן.

cua-driver status
cua-driver doctor
cua-driver call list_apps

אם list_apps ריק, זה לא אישור שהמערכת מוכנה. פתחו יישום בתוך הסשן ונסו שוב. לקריאה מלאה של הטוטוריאל הרשמי.

חיבור לדוגמה ל-Claude Code

cua-driver mcp-config --client claude
# קראו את הפלט מהמחשב שלכם. בדרך כלל:
claude mcp add --transport stdio cua-driver -- cua-driver mcp

הפקודה הראשונה מדפיסה הוראות; היא לא מתקינה את החיבור לבדה. בקשו מהסוכן: "פתח Calculator, חשב 6×7, צלם מצב חדש וקרא את התוצאה." אמתו בעצמכם שהמסך מציג 42. לא ניסינו בפועל את ההתקנה במחשב של המשתמש.

05 / ENTERPRISE PLAYBOOK

איך להפוך את זה לפיילוט אחראי

שלבבדיקה נדרשתקריטריון מעבר
מכונהVM ייעודי, חשבון בדיקה, גרסה נעולה, עדכוני OSאין גישה חופשית לדאטה של עובדים/לקוחות
הרשאותמדיניות allowlist לכלי MCP, הגבלת ארגומנטים, חסימת shell ותעבורת דפדפן לא נחוצהקריאת כלי אסור נחסמת בפועל
תוצאהצילום לפני/אחרי + postcondition עצמאי ברמת הקובץ/מערכתאין "הצלחה" ללא תוצר שנבדק
אדם בלולאהעצירה לפני שליחה, מחיקה, שינוי הרשאות, רכישה או פרסוםאישור אנושי בודק יעד ותוכן סופי
תפעולרישום פעולות, טיפול בכשל, kill switch, שמירת סודות מחוץ לפרומפטאפשר לשחזר אירוע ולעצור ריצה

דוגמת BI: קחו PBIX/PBIP סינתטי ב-VM, בקשו ליצור צילום או לשנות פרמטר ביישום, שמרו קובץ פלט והשוו ערכים ותצוגה לתוצאה צפויה. השתמשו ב-API או קובצי המקור כאשר הם מספקים תוצאה ישירה ואמינה יותר. דרייבר UI מתאים דווקא למשטח שאין לו API טוב, או לבדיקת התצוגה שהאדם יראה.

פרטיות: תיעוד Cua אומר שטלמטריית מוצר נטולת תוכן פעילה כברירת מחדל ונשלחת לאזור EU; אפשר לבטל עם cua-driver telemetry disable. בדקו גם רישומי מסך ותעבורה של הסוכן והמודל בנפרד - השבתת הטלמטריה של הדרייבר אינה מבטלת אותם. סכמת הטלמטריה.

מנוע policy תומך YAML/Rego ב-deny-by-default; עם זאת policy על שם כלי לא יודע לחזות מה קליק בתוך אפליקציה יעשה. צריך בידוד, אישור אנושי לכתיבה מסוכנת ותצפית על תוצאה. מדריך policy.

06 / REALITY CHECK

מה עוד לא מובטח?

"ברקע" אינו תמיד ברקע

יישום canvas, משחק או חלון על Space אחר עלולים לדרוש חזית. הדרייבר מדווח על מגבלה; אל תעקפו אותה בהסתרה. בדקו עם משתמש לפני פעולה שמשתלטת זמנית על שולחן העבודה.

לינוקס אינו משטח אחיד

X11 ו-XWayland עובדים במסלולים אחרים מ-Wayland טבעי. תמיכה ב-Sway מוגבלת; ב-GNOME דרוש WinRects helper, וב-KDE/Hyprland חלק מהנתיבים ניסיוניים. בדקו דרישות מדויקות ל-distribution ול-compositor.

ממשק נגישות עשוי להטעות

ב-Electron ובתוכן web פעולה על עץ הנגישות עשויה להיראות כאילו התקבלה בלי שינוי אמיתי. קראו צילום חדש או עברו למסלול page המתאים, ואמתו תוצאה עצמאית.

יכולת דרייבר אינה הרשאת משתמש

חיבור MCP יכול לחשוף יישומים, חלונות ודפים שמותר לחשבון המקומי לראות. הגנו על סודות, הגדירו חשבון בדיקה והיקף פעולה. אל תפעילו סוכן על סשן ארגוני רחב בשם "דמו".

נכון ל-29.09.2026. המדריך מסכם תיעוד ומאגר ציבורי, לא בדיקת תאימות על תחנת העבודה שלכם; בדקו שוב לפני הטמעה.