Ollama와 Docker로 Open-WebUI 설치 및 활용하기

최근 인공지능(AI) 기술이 급속도로 발전하면서 개인 사용자들도 손쉽게 AI 서비스를 구축할 수 있는 방법들이 늘어나고 있습니다. 그 중 하나가 바로 Ollama와 Docker를 활용한 Open-WebUI 설치입니다.

이 글에서는 이러한 설치 과정을 자세히 설명하고, 어떻게 이를 활용할 수 있는지를 살펴보겠습니다.

Docker 및 Ollama 소개

Docker는 응용 프로그램을 컨테이너라는 격리된 환경에서 실행할 수 있게 해주는 플랫폼입니다. 이를 통해 개발자는 복잡한 의존성 문제 없이 소프트웨어를 배포할 수 있고, 다양한 운영 체제에서도 일관된 환경을 유지할 수 있습니다.

Ollama는 AI 모델을 쉽게 관리하고 사용할 수 있도록 도와주는 툴로, 특히 LLM(대형 언어 모델)과의 연동이 용이합니다. 이 두 가지를 조합하면, 개인적으로 AI 챗봇을 구축하고 활용하는 것이 가능해집니다.

Docker를 설치하는 방법은 매우 간단합니다. 우선, Docker의 공식 웹사이트를 방문하여 자신의 운영 체제에 맞는 설치 파일을 다운로드합니다.

설치 과정에서 필요한 모든 의존성이 자동으로 처리되므로, 설치가 완료되면 Docker Desktop을 실행할 수 있습니다.

설치가 완료되면 Docker를 통해 다양한 애플리케이션을 실행할 준비가 된 것입니다.

Open-WebUI는 Ollama와 함께 사용하여 AI 챗봇을 운영할 수 있는 사용자 인터페이스를 제공합니다. 설치 과정은 다음과 같습니다.

Python 설치: Open-WebUI는 Python 3.11 이상의 버전에서만 작동하므로, 해당 버전을 설치합니다. Python이 설치되어 있다면, 아래 명령어를 사용하여 pip를 통해 Open-WebUI를 설치할 수 있습니다.

bash pip install open-webui

맥이나 리눅스를 사용하는 경우에는 터미널에서, 윈도우 사용자는 PowerShell이나 Anaconda 프롬프트에서 실행하시면 됩니다.

Docker를 통한 설치: Docker 환경에서 Open-WebUI를 설치하기 위한 컨테이너를 생성합니다. 아래의 명령어를 입력하여 컨테이너를 생성할 수 있습니다.

bash docker run -d --name My_GPT -p 3000:3000 open-webui

여기서 --name 옵션을 통해 생성할 컨테이너의 이름을 지정할 수 있습니다.

컨테이너 실행 확인: Docker Desktop을 열어 “Containers” 섹션에서 방금 생성한 컨테이너를 확인합니다. 이곳에서 컨테이너의 상태를 쉽게 확인할 수 있습니다.

Ollama를 이용하면 다양한 AI 모델을 다운로드하여 사용할 수 있습니다. 사용하고자 하는 모델을 선택하면 되고, 해당 모델을 기반으로 챗봇 대화를 진행할 수 있습니다.

아래와 같은 방법으로 모델을 다운로드할 수 있습니다.

모델 선택: Ollama에서 지원하는 다양한 모델을 탐색합니다. 예를 들어, Llama 3.2 3B 모델을 선택할 수 있습니다.
모델 다운로드: 선택한 모델을 다운로드한 후, Open-WebUI에서 해당 모델을 선택하여 대화 기능을 사용할 수 있습니다.
모델 설정: Open-WebUI의 설정 메뉴에서 API 키를 입력하여 OpenAI 모델과 연결할 수 있습니다. 이를 통해 다양한 GPT 모델도 활용할 수 있습니다.

Open-WebUI는 직관적인 사용자 인터페이스를 제공하여 AI 챗봇과의 상호작용을 쉽게 만들어줍니다. 설치 후, 다음과 같은 방식으로 사용하실 수 있습니다.

접속하기: 설치한 Open-WebUI에 접속하기 위해 브라우저를 열고 http://localhost:3000/를 입력합니다. 그러면 웹 인터페이스가 나타납니다.
대화 시작하기: UI에서 제공하는 입력창에 질문을 입력하고 응답을 받아보세요. 챗GPT와 유사한 방식으로 대화가 진행됩니다.
설정 조정하기: UI의 설정 메뉴에서 다양한 옵션을 조정할 수 있습니다. 예를 들어, API 키를 입력하여 OpenAI 모델을 활용하거나, 웹 검색 기능을 활성화할 수 있습니다.