OpenAI har lanserat en ny funktion för macOS som låter ChatGPT samarbeta med andra appar på din dator.
Den nya funktionen, som kallas Work with Apps, gör det möjligt för ChatGPTdesktopapp att läsa och förstå kod i utvecklarfokuserade appar som VS Code, Xcode, TextEdit, Terminal och iTerm2. För utvecklare innebär detta att de inte längre behöver kopiera och klistra in kod i ChatGPT. Istället kan appen automatiskt skicka den kod du arbetar med som sammanhang tillsammans med din fråga.
Trots detta kan ChatGPT ännu inte skriva kod direkt i utvecklingsmiljöerna, till skillnad från andra populära verktyg som Cursor eller GitHub Copilot.
OpenAI beskriver detta som ett första steg mot att bygga mer avancerade AI-system, där chatboten kan interagera med flera program samtidigt. En av de största utmaningarna med AI-agent-teknik är att få dem att förstå innehållet på en datorskärm utöver textbaserade kommandon.
Fokuserar på kod till en början
Funktionen är för närvarande inriktad på kodningsverktyg, eftersom AI-assistenter för programmering har blivit en av de mest populära användningarna för språkmodeller. Funktionen är redan tillgänglig för Plus- och Teams-användare och kommer att lanseras för Enterprise- och Edu-konton inom några veckor. OpenAI planerar att utöka funktionen till andra typer av appar, särskilt textbaserade skrivverktyg.
I en demo visade en OpenAI-anställd hur ChatGPT interagerade med Xcode för att lägga till saknade planeter i ett solsystemsprojekt. ChatGPT genererade korrekt kod för planeten Jorden, som användaren sedan kopierade tillbaka till projektet.
Teknik bakom funktionen
För att läsa innehållet i andra appar använder OpenAI macOStillgänglighets-API, som redan stöder Apples VoiceOver-funktion. APIhar funnits i nästan två decennier och fungerar bra för textbaserade appar, men det har begränsningar för visuella element som bilder och videor.
I vissa appar, som Microsofts VS Code, krävs en specifik tilläggsinstallation för att funktionen ska fungera. Funktionen skickar vanligtvis de senaste 200 kodraderna till ChatGPT tillsammans med varje fråga, men du kan också markera specifika delar av koden för att fokusera chatbotens analys.
Steg mot AI-agenter
Det här är inte en AI-agent i sig, men OpenAI ser detta som en viktig byggsten för framtida system som kan arbeta med all information på din dator. Enligt rykten planerar OpenAI att lansera en mer avancerad AI-agent, kallad “Operator,” under början av 2025, vilket skulle konkurrera med liknande projekt från Google och Anthropic.
För tillfället är Work with Apps endast tillgängligt för macOS, men det är oklart när funktionen kommer att släppas för Windows.
Vad betyder detta för utvecklare?
Med denna funktion blir ChatGPT ännu mer användbart som en programmeringsassistent. Trots begränsningarna är detta ett stort steg framåt för att integrera AI i arbetsflöden och öppnar dörren för fler funktioner i framtiden.
