브라우저 세션 안에서 끝낼 수 있는 작업에는 Browser Use를 사용합니다. 네이티브 앱이나 데스크톱 창, 운영체제 대화상자를 조작해야 한다면 Computer Use를 검토합니다. 기준은 허용할 환경입니다. 브라우저 도구도 좌표를 클릭할 수 있고, 데스크톱 도구도 브라우저 창을 조작할 수 있습니다.
한 Reddit 사용자는 로그인한 사이트에서 막히고 긴 작업은 중간에 실패했다고 했습니다. 실제로 사용할 세션에서 범위가 작은 작업부터 확인해 보세요.
마지막 단계에서만 브라우저 밖으로 나가는 작업도 있습니다. 먼저 브라우저 에이전트로 웹 자료를 가져오거나 파일을 내려받고, 사람이 열어 보거나 파일 도구에 전달합니다. Tabbit Browser는 탐색과 작업 위임을 한 앱 안에서 연결하는 사례입니다.
핵심 요약
결과를 낼 수 있는 가장 작은 범위부터 고릅니다.
도구가 어디에서 동작하는지와 버튼을 어떻게 찾는지는 별개입니다.
로그인된 브라우저 세션에는 계정 권한이 남아 있습니다.
화면 크기가 바뀌거나 다른 페이지와 대화상자가 나타나면 좌표를 쓰기 전에 화면을 다시 캡처합니다.
페이지나 파일의 최종 상태를 확인합니다.
두 도구 한눈에 보기
| 비교 항목 | Browser Use | Computer Use |
|---|---|---|
| 조작 범위 | 브라우저 세션, 페이지 또는 탭 그룹 | 접근을 허용한 그래픽 환경 |
| 읽을 수 있는 정보 | 페이지 요소, 접근 가능한 이름, 텍스트, 스크린샷 | 스크린샷과 도구에 따라 접근성 정보나 창의 조작 요소 |
| 일반적인 동작 | 탐색, 클릭, 입력, 추출, 탭 전환 | 포인터 이동, 입력, 스크롤, 앱 전환 |
| 확인할 권한 | 프로필, 사이트, 탭, 로그인 상태 | 데스크톱, 앱, 파일, 운영체제 권한 |
| 예시 | 웹 약관을 열고 조항 복사 | 네이티브 PDF 뷰어에서 인쇄 설정 |
버튼을 어떤 방식으로 찾는가
브라우저 도구는 버튼의 역할과 접근 가능한 이름으로 요소를 찾을 수 있습니다. 동작 직전에 현재 페이지에서 다시 찾기 때문에 이름이 명확한 일반 버튼에 적합합니다. 캔버스 위에 직접 그린 편집기에서는 눈에 보이는 조작 요소에 대응하는 페이지 요소가 없을 수 있습니다. 이때는 브라우저 안에서 스크린샷과 좌표 입력을 쓸 수 있는지 확인하세요. Playwright 로케이터 문서와 브라우저 자동화 가이드에서 구조를 활용하는 방법을 볼 수 있습니다.
화면을 보는 데스크톱 도구는 허용된 표시 영역을 관찰합니다. 모델이 화면을 읽고 이동이나 클릭을 요청한 뒤 새 화면을 받습니다. 운영체제의 파일 선택 창이나 별도 PDF 뷰어는 웹페이지 밖에 있습니다. 권한을 넓히기 전에 웹 입력란에 이미 아는 파일을 전달하거나 파일 도구에서 직접 열 수 있는지 확인하세요. Anthropic Computer Use 문서에서 화면과 입력의 반복 과정을 확인할 수 있습니다.
취소 조건을 펼치는 버튼이 있다고 가정해 보겠습니다. 접근성 이름이 안정적이면 역할과 이름으로 찾을 수 있습니다. 창이 좁아져 버튼이 이동하더라도 Playwright는 다음 동작 직전에 로케이터를 다시 해석합니다. 화면 이미지로만 판단할 수 있다면 새로 캡처해 버튼 위치를 다시 찾습니다. 어느 쪽이든 펼쳐진 약관과 출처 URL을 확인합니다.
입력 방식과 조작 범위는 별개입니다. Anthropic의 브라우저 도구는 페이지 요소 참조와 뷰포트 좌표를 모두 지원합니다. 같은 항목을 반복해서 읽으려면 먼저 공식 내보내기 기능이나 API를 찾습니다. 둘 다 없다면 안정적인 로케이터를 쓰고, 재시도하기 전에 결과를 확인합니다. 제출 여부가 불분명한 양식을 곧바로 다시 보내면 중복 기록이 생길 수 있습니다. Anthropic 브라우저 조작 문서, 브라우저 에이전트의 조작 방식.
브라우저 밖으로 넘어가는 단계
보증 웹페이지를 읽고 PDF를 내려받은 뒤 시스템 인쇄 창에서 두 번째 페이지만 인쇄하는 작업을 생각해 보세요. 먼저 조항이 출처 URL과 일치하는지 확인합니다. 내려받은 파일이 해당 보증서인지 확인하고 인쇄할 페이지와 기기를 검토합니다. 앞 단계는 브라우저와 파일 도구로 처리할 수 있습니다. 인쇄 창은 접근 권한이 있는 도구나 사람이 확인해야 합니다.
두 번째 페이지를 추출하는 게 목적이라면 파일 처리로 충분할 수 있습니다. 특정 프린터 설정이 필요하다면 미리 보기에서 멈추고 전송 전 값을 확인합니다. 공유 프린터에 보내고 나면 취소하기가 어려워집니다. 데스크톱 도우미 가이드에서 데스크톱 권한의 범위를 설명합니다.
실제로 넘기는 세션의 권한 확인하기
송장을 읽으라는 요청을 해도 로그인된 세션의 권한은 줄어들지 않습니다. 송장을 열 수 있는 프로필에서 결제 설정까지 들어갈 수도 있습니다. 첫 실행은 공개 페이지나 별도 프로필로 시작하세요. 허용 도메인을 제한하고 로그인, 계정 변경, 예상 밖의 다운로드가 나타날 때의 중단 조건을 정합니다. 브라우저 에이전트 보안 가이드와 가상 브라우저 가이드도 참고하세요.
한 Codex 사용자는 복잡한 인터페이스를 탐색하며 테스트와 디버깅에 브라우저를 사용했다고 밝혔습니다. 개인 경험입니다.
데스크톱 접근은 작업과 관계없는 창과 파일까지 보여 줄 수 있습니다. 가능하면 환경을 분리하고 필요한 자료만 남겨 둡니다. 웹페이지나 문서의 문구는 읽어야 할 데이터입니다. 페이지에 지시문이 있어도 사용자가 허용한 범위를 넓힐 권한은 없습니다.
Tabbit에서 브라우저 작업 맡겨 보기
Tabbit 국제 사이트에서 탭이나 스크린샷을 첨부하고 에이전트에 계획과 실행을 맡기는 흐름을 볼 수 있습니다. 현재 문단을 설명해 달라면 페이지 채팅을 씁니다. 약관 링크를 열고 인용을 돌려달라면 Agent Mode에서 범위를 명확히 지정합니다.
이 공개 페이지에 연결된 약관을 읽고 정확한 취소 기한, 짧은 원문, 출처 URL을 알려 주세요.
로그인이 필요하면 어느 페이지인지 알리고 멈추세요. 내용을 제출하거나 파일을 내려받지 마세요.인쇄하거나 로컬에서 내보낼 때는 결과와 출처를 해당 도구나 담당자에게 전달합니다. Tabbit 동작 방식도 참고할 수 있습니다.
필요한 결과로 선택하기
| 목표 | 첫 선택 | 확인할 결과 |
|---|---|---|
| 공개 약관 비교 | 브라우저 도구 | 항목별 원문과 URL |
| 캔버스 기반 웹 편집기 수정 | 지원된다면 브라우저 시각 동작 | 바뀐 값이나 캔버스 상태 |
| 로컬 PDF에서 텍스트 추출 | 파일 도구 | 올바른 페이지와 원문 |
| 운영체제 인쇄 창 조작 | 데스크톱 도구 또는 사람 | 프린터, 페이지 범위, 전송 승인 |
| 두 환경에 걸친 작업 점검 | 앱이 바뀌는 단계에서 나누기 | 각 전달 과정과 최종 결과의 근거 |
Terra 브라우저 조작과 Terra 컴퓨터 조작 가이드는 모델 능력과 도구 권한을 구분합니다. 처음에는 몇 초면 결과를 검증할 수 있는 작업으로 시작하세요. 더 넓은 권한이 필요한 경우에는 어느 동작에 필요한지 먼저 확인하세요.
같은 브라우저에서 웹 자료를 수집하고 검증해야 한다면 첫 단계에 Tabbit을 사용할 수 있습니다.
자주 묻는 질문
Browser Use와 Computer Use는 어떻게 다른가요?
Browser Use는 브라우저나 지정한 세션을 조작합니다. Computer Use는 허용된 그래픽 환경을 조작하며, 권한에 따라 네이티브 앱이나 시스템 창도 다룰 수 있습니다.
Computer Use에는 꼭 스크린샷과 마우스가 필요한가요?
화면을 읽는 도구는 스크린샷을 보고 포인터와 키보드로 동작합니다. 일부 데스크톱 자동화 도구는 접근성 정보나 앱 인터페이스도 활용합니다.
이미 로그인한 사이트를 브라우저 에이전트에서 쓸 수 있나요?
지원되는 기존 프로필에 연결하는 에이전트도 있고, 새 세션이나 원격 브라우저를 실행하는 에이전트도 있습니다. 어느 세션에 접근하고 어떤 권한이 이어지는지 확인하세요.
브라우저 도구도 좌표를 클릭할 수 있나요?
그렇습니다. 브라우저 자동화 라이브러리로 페이지 안의 좌표에 클릭을 보낼 수 있습니다. 동작은 허용된 브라우저 범위에 머뭅니다.
데스크톱 도구는 언제 필요한가요?
결과를 얻으려면 네이티브 앱이나 시스템 창을 조작해야 하고, 적합한 API나 파일 전달 방식이 없을 때입니다. 그 단계에서만 도구를 바꿀 수 있습니다.
에이전트가 작업을 끝냈는지 어떻게 확인하나요?
요청한 문구가 보이는지, 출처 링크가 맞는지, 파일이 지정한 위치에 있는지 확인합니다. 클릭 성공은 한 단계를 시도했다는 신호입니다.