Je\u015bli chcesz to inaczej uj\u0105\u0107, powiedzia\u0142by\u015b, \u017ce chcia\u0142em znale\u017a\u0107 oprogramowanie, kt\u00f3re wykorzystuje wi\u0119kszo\u015b\u0107 mo\u017cliwo\u015bci modelu bez wchodzenia w programowanie lub bardzo zaawansowan\u0105 konfiguracj\u0119. Przede wszystkim opisuj\u0119 funkcjonalno\u015bci tych narz\u0119dzi, a nast\u0119pnie gdzie\u015b pod koniec tego artyku\u0142u znajdziesz tabel\u0119 por\u00f3wnawcz\u0105.<\/p>\n
Je\u015bli chcesz, abym doda\u0142 jaki\u015b aspekt do tych narz\u0119dzi i por\u00f3wna\u0142 je lub wys\u0142a\u0142 Ci narz\u0119dzie, kt\u00f3re chcia\u0142by\u015b zobaczy\u0107 w por\u00f3wnaniu z nimi, skontaktuj si\u0119 ze mn\u0105 za pomoc\u0105 formularza kontaktowego pod tym artyku\u0142em.<\/p>\n
Testowanie oprogramowania LLM do prowadzenia lokalnego LLM<\/h2>\n
Znalezienie odpowiednich kandydat\u00f3w do por\u00f3wnania jest trudne. Wyobra\u017cam sobie, \u017ce powodem jest to, \u017ce albo s\u0105 oni znani programistom AI, wi\u0119c nie musz\u0105 nikogo pyta\u0107, albo je\u015bli kto\u015b nie jest techniczny, to po prostu u\u017cywa komercyjnych wersji online tych narz\u0119dzi \u2013 takich jak ChatGPT. Chcia\u0142em jednak zaj\u0105\u0107 si\u0119 tematem z \u201ep\u00f3\u0142technicznego\u201d punktu widzenia. Mo\u017cliwe wi\u0119c, \u017ce pomin\u0105\u0142em jakie\u015b dobre narz\u0119dzia \u2013 je\u015bli tak uwa\u017casz, skontaktuj si\u0119 ze mn\u0105, a dodam je do por\u00f3wnania.<\/p>\n
AnythingLLM \u2013 funkcjonalne rozwi\u0105zanie dla os\u00f3b nietechnicznych<\/h3>\n\n- Strona internetowa: https:\/\/anythingllm.com\/<\/a><\/li>\n
- Dokumentacja: https:\/\/docs.anythingllm.com\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/Mintplex-Labs\/anything-llm<\/a><\/li>\n
- Wersja testowana: 1.6.9<\/li>\n
- Zobowi\u0105zania: 1 tys., gwiazdki: 27,4 tys., wide\u0142ki: 2,8 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Mintplex Labs Inc.<\/li>\n<\/ul>\n
LM studio – przyjazne dla programist\u00f3w \u015brodowisko AI<\/h3>\n\n- Strona internetowa: https:\/\/lmstudio.ai\/<\/a><\/li>\n
- Dokumentacja: https:\/\/lmstudio.ai\/docs<\/a><\/li>\n
- Kod: https:\/\/github.com\/lmstudio-ai<\/a><\/li>\n
- Wersja testowana: 0.3.5<\/li>\n
- Zmiany (tylko g\u0142\u00f3wne repozytorium): 0,1 tys., Gwiazdki: 1,7 tys., Forki: 0,1 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Element Labs, Inc.<\/li>\n<\/ul>\n
Jan – KISS to najlepsza zasada<\/h3>\n\n- Strona internetowa: https:\/\/jan.ai\/<\/a><\/li>\n
- Dokumentacja: https:\/\/jan.ai\/docs<\/a><\/li>\n
- Kod: https:\/\/github.com\/janhq\/jan<\/a><\/li>\n
- Wersja testowana: 0.5.8<\/li>\n
- Zobowi\u0105zania: 3,8 tys., gwiazdki: 23,6 tys., rozwidlenia: 1,4 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Homebrew Computer Company<\/li>\n<\/ul>\n
GPT4All \u2013 proste, ale skuteczne rozwi\u0105zanie<\/h3>\n\n- Witryna internetowa: https:\/\/GPT4All.io\/<\/a><\/li>\n
- Dokumenty: https:\/\/docs.GPT4All.io\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/nomic-ai\/GPT4All<\/a><\/li>\n
- Testowana wersja: 3.4.2<\/li>\n
- Zatwierdzenia: 2,1 tys., gwiazdki: 70,7 tys., widelce: 7,7 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Nomic, Inc<\/li>\n<\/ul>\n
OpenWebUI \u2013 znany interfejs u\u017cytkownika, nieznane mo\u017cliwo\u015bci<\/h3>\n\n- Strona internetowa: https:\/\/openwebui.com\/<\/a><\/li>\n
- Dokumenty: https:\/\/docs.openwebui.com\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/open-webui\/open-webui<\/a><\/li>\n
- Wersja testowana: 0.3.35<\/li>\n
- Zatwierdzenia: 7,2 tys., gwiazdki: 47,6 tys., rozwidlenia: 5,8 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Tim J. Baek (zobacz https:\/\/docs.openwebui.com\/team<\/a>)<\/li>\n<\/ul>\n
Interfejs zarz\u0105dzania modelem AI i pobierania<\/h2>\n
Pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest zainstalowanie interfejsu u\u017cytkownika – co jest proste dla wszystkich interfejs\u00f3w z wyj\u0105tkiem OpenWebUI. Nast\u0119pn\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest pobranie modelu AI na lokalny komputer, aby m\u00f3c go uruchomi\u0107. P\u00f3\u017aniej oczywi\u015bcie powiniene\u015b m\u00f3c z \u0142atwo\u015bci\u0105 zarz\u0105dza\u0107 pobranymi modelami.<\/p>\n
AnythingLLM<\/h3>\n
W przypadku AnythingLLM<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest znalezienie ustawie\u0144 \u2014 znajduj\u0105 si\u0119 one w lewym dolnym rogu oprogramowania. Nast\u0119pnie przejd\u017a do \u201eWszystkich dostawc\u00f3w\u201d i wybierz jednego z menu rozwijanego lub pobierz sugerowany model za pomoc\u0105 konsoli. Na li\u015bcie rozwijanej zobaczysz wielu r\u00f3\u017cnych dostawc\u00f3w, wi\u0119c mi\u0142o, \u017ce obs\u0142uguj\u0105 wielu z nich. Obejmuje to nie tylko HuggingFace, ale tak\u017ce lokalnie uruchomionego Ollama i r\u00f3\u017cnych komercyjnych dostawc\u00f3w, takich jak OpenAI, Azure, Antropic itd. W programie nie ma opcji \u201eWyszukaj modele\u201d, wi\u0119c musisz wyszuka\u0107 je online, a nast\u0119pnie uruchomi\u0107 polecenie z interfejsu AnythingLLM<\/b>, aby je pobra\u0107. Interfejs nie pomo\u017ce Ci w wyborze r\u00f3\u017cnych rozmiar\u00f3w modeli ani ich filtrowaniu, ale po pobraniu zobaczysz, czy model jest tylko tekstowy, czy multimodalny. Nast\u0119pnie mo\u017cesz po prostu wr\u00f3ci\u0107 i otworzy\u0107 nowy w\u0105tek, kt\u00f3ry mo\u017cna zorganizowa\u0107 w folderach, a ka\u017cdy folder mo\u017ce mie\u0107 inne ustawienia dostawcy LLM. Taka organizacja jest bardzo przydatna, je\u015bli chcesz przetestowa\u0107 r\u00f3\u017cne modele (lub ustawienia modelu) na tych samych zapytaniach.<\/p>\n
![\"Najwa\u017cniejsze](\"https:\/\/websailing-new.stagetest.it\/wp-content\/uploads\/2025\/07\/anythingllm-1.png\")
<\/p>\n
LM Studio<\/h3>\n
W LM Studio<\/b> nie jest r\u00f3wnie\u017c oczywiste, gdzie pobra\u0107 modele. Po lewej stronie znajdziesz ikony, z kt\u00f3rych trzecia to \u201eMoje modele\u201d, ale nie znajdziesz jej tam. Musisz wpisa\u0107 co\u015b w polu wyszukiwania na g\u00f3rnym pasku wyszukiwania. Nast\u0119pnie zobaczysz, \u017ce otwiera si\u0119 nowe okno, w kt\u00f3rym mo\u017cesz zobaczy\u0107 wyniki z HuggingFace i znale\u017a\u0107 r\u00f3\u017cne modele. To okno pozwala wybra\u0107 wersj\u0119 lub rozmiar modelu, co jest bardzo przydatne, je\u015bli repozytorium ma r\u00f3\u017cne wersje tego samego LLM. Kiedy wr\u00f3cisz do \u201eCzatu\u201d, zauwa\u017cysz, \u017ce mo\u017cesz organizowa\u0107 czaty w folderach, tak jak w AnythingLLM.<\/p>\n
![\"Najwa\u017cniejsze](\"https:\/\/websailing-new.stagetest.it\/wp-content\/uploads\/2025\/07\/lmstudio-1.png\")
<\/p>\n
Sty<\/h3>\n
Podczas korzystania z Sty<\/b>, pierwsz\u0105 czynno\u015bci\u0105 powinno by\u0107 przej\u015bcie do Hub. W Hubie znajdziesz r\u00f3\u017cne modele, kt\u00f3re s\u0105 oznaczone, je\u015bli mog\u0105 by\u0107 wolne na Twoim urz\u0105dzeniu lub niedzia\u0142aj\u0105ce, lub je\u015bli mo\u017cesz ich u\u017cywa\u0107. Jest to bardzo fajna i przydatna funkcja, szczeg\u00f3lnie je\u015bli jeste\u015b nowicjuszem. Pomaga Ci ona okre\u015bli\u0107, kt\u00f3re modele chcesz wypr\u00f3bowa\u0107 lokalnie. W ustawieniach na samym dole mo\u017cesz zobaczy\u0107, \u017ce mo\u017cesz po\u0142\u0105czy\u0107 si\u0119 z wieloma r\u00f3\u017cnymi dostawcami komercyjnymi, takimi jak: Anthropic, MistralAI, OpenAI i tak dalej. Po pobraniu modelu, je\u015bli wr\u00f3cisz do czat\u00f3w, zauwa\u017cysz, \u017ce nie mo\u017cesz organizowa\u0107 czat\u00f3w w folderach. Chocia\u017c interfejs ma by\u0107 bardzo prosty, wi\u0119c rozumiem t\u0119 decyzj\u0119 dotycz\u0105c\u0105 interfejsu u\u017cytkownika.<\/p>\n
![\"Najwa\u017cniejsze](\"https:\/\/websailing-new.stagetest.it\/wp-content\/uploads\/2025\/07\/janllm-1.png\")
<\/p>\n
GPT4All<\/h3>\n
Dzi\u0119ki GPT4All<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 chcesz zrobi\u0107, jest przej\u015bcie do modeli po lewej stronie, gdzie mo\u017cesz znale\u017a\u0107 model, kt\u00f3ry chcesz pobra\u0107. Ma r\u00f3wnie\u017c bardzo przydatny interfejs, poniewa\u017c otrzymujesz parametry, takie jak rozmiar pliku, wymagana pami\u0119\u0107 RAM, parametry, kwantyzacja i typ. Na pocz\u0105tku otrzymasz propozycje modeli, ale mo\u017cesz u\u017cy\u0107 funkcji wyszukiwania, aby znale\u017a\u0107 cokolwiek z HuggingFace. Po pobraniu modelu oczywi\u015bcie wracasz do czat\u00f3w, gdzie mo\u017cesz rozpocz\u0105\u0107 rozmow\u0119. Tak jak w styczniu, nie otrzymasz folder\u00f3w, tylko w\u0105tki, w kt\u00f3rych mo\u017cesz u\u017cy\u0107 konkretnych modeli.<\/p>\n
![\"Najwa\u017cniejsze](\"https:\/\/websailing-new.stagetest.it\/wp-content\/uploads\/2025\/07\/gpt4all-1.png\")
<\/p>\n
OpenWebUI<\/h3>\n
W przypadku wszystkich powy\u017cszych opcji OpenWebUI<\/b> jest jedynym wyj\u0105tkiem, w kt\u00f3rym nie otrzymasz instalatora. Zamiast tego musisz zainstalowa\u0107 Pythona, a nast\u0119pnie obs\u0142ugiwa\u0107 aplikacj\u0119. Jest to powa\u017cna wada, je\u015bli nie jeste\u015b osob\u0105 korzystaj\u0105c\u0105 z konsoli. Chocia\u017c zdecydowa\u0142em si\u0119 na uwzgl\u0119dnienie go ze wzgl\u0119du na dost\u0119pne funkcjonalno\u015bci i poniewa\u017c instalacja polega w rzeczywisto\u015bci na uruchomieniu dw\u00f3ch polece\u0144 z konsoli. Domy\u015blnie OpenWebUI<\/b> u\u017cywa Ollama jako \u017ar\u00f3d\u0142a modeli i nie otrzymujesz \u017cadnego interfejsu do wyszukiwania i pobierania modeli z panelu administracyjnego. Aby po\u0142\u0105czy\u0107 us\u0142ugi komercyjne, musisz wprowadzi\u0107 adres URL i klucz API zgodny z OpenAI. Na pocz\u0105tku zostaniesz poproszony o utworzenie konta \u2014 poniewa\u017c jest to konto lokalne, mo\u017cesz bez obaw u\u017cywa\u0107 fikcyjnych danych (jestem \u015bwiadomy, \u017ce mo\u017cesz to wy\u0142\u0105czy\u0107 podczas instalacji Docker). Mo\u017cesz organizowa\u0107 konwersacje w folderach i czatach, a interfejs u\u017cytkownika jest bardzo podobny do ChatGPT, wi\u0119c taka kombinacja by\u0142aby naj\u0142atwiejszym wyborem, je\u015bli chcesz uruchomi\u0107 OpenWebUI<\/b> online.<\/p>\n
![\"Najwa\u017cniejsze](\"https:\/\/websailing-new.stagetest.it\/wp-content\/uploads\/2025\/07\/openwebui-1.png\")
<\/p>\n
Przetwarzanie plik\u00f3w w lokalnym czacie AI<\/h2>\n
Mo\u017cliwo\u015b\u0107 analizowania plik\u00f3w, kt\u00f3re dostarcz\u0119 do modelu, jest jedn\u0105 z najwa\u017cniejszych rzeczy, kt\u00f3rych wymagam od interfejsu. Bez niej m\u00f3g\u0142bym po prostu u\u017cy\u0107 wiersza polece\u0144 z Ollam\u0105 zamiast instalowa\u0107 pe\u0142ny interfejs. Chcia\u0142em sprawdzi\u0107, czy interfejs mo\u017ce przetwarza\u0107 przes\u0142ane dokumenty, przekazywa\u0107 je do modelu i zwraca\u0107 znacz\u0105ce informacje. Podczas gdy w przypadku prostych plik\u00f3w tekstowych nie stanowi\u0142o to G\u0141\u00d3WNIE problemu, warto zauwa\u017cy\u0107, \u017ce szuka\u0142em r\u00f3wnie\u017c obraz\u00f3w (na przyk\u0142ad do cel\u00f3w OCR) i transkrypcji g\u0142osu. \u017badne z narz\u0119dzi nie by\u0142o w stanie faktycznie przepisa\u0107 d\u017awi\u0119ku od razu po wyj\u0119ciu z pude\u0142ka: AnythingLLM nie mog\u0142o pobra\u0107 modelu Whisper, Jan i GPT4All nie mog\u0142y przes\u0142a\u0107 takich plik\u00f3w, LM Studio zawsze interpretowa\u0142o dane wej\u015bciowe jako tekst. Dla OpenWebUI istnieje narz\u0119dzie Whisper, ale nie by\u0142em w stanie sprawi\u0107, by dzia\u0142a\u0142o – chocia\u017c istnieje otwarty problem z natywnym wsparciem: https:\/\/github.com\/open-webui\/open-webui\/issues\/<\/a><\/p>\nPowiniene\u015b wiedzie\u0107, \u017ce testowane przeze mnie oprogramowanie nie jest przeznaczone do tworzenia grafiki, ale g\u0142\u00f3wnie do LLM przy u\u017cyciu formatu GUFF (tworzenie grafiki LLM najcz\u0119\u015bciej wykorzystuje format “safetensors”) – je\u015bli szukasz interfejsu u\u017cytkownika, kt\u00f3ry jest w stanie tworzy\u0107 obrazy, powiniene\u015b przyjrze\u0107 si\u0119 na przyk\u0142ad ComfyUI, kt\u00f3ry nie jest analizowany w tym artykule, poniewa\u017c nie jest to interfejs u\u017cytkownika do prostego u\u017cytku LLM. Wiem, \u017ce mo\u017cna po\u0142\u0105czy\u0107 OpenWebUI z ComfyUI, ale to znowu wykracza poza zakres tego por\u00f3wnania.<\/p>\n
Jedn\u0105 z rzeczy, kt\u00f3re s\u0105 reklamowane w AnythingLLM<\/b> jest to, \u017ce pozwala przetwarza\u0107 wiele r\u00f3\u017cnych typ\u00f3w dokument\u00f3w. Problem polega na tym, \u017ce – przynajmniej w moim przypadku – \u017ce AnythingLLM<\/b> lubi si\u0119 zawiesza\u0107. Przestaje przetwarza\u0107 dokument, je\u015bli napotka jaki\u015b b\u0142\u0105d i nie podaje informacji o tym, co si\u0119 sta\u0142o, ale zamiast tego musisz ponownie uruchomi\u0107 ca\u0142\u0105 aplikacj\u0119, aby zn\u00f3w zacz\u0119\u0142a dzia\u0142a\u0107. Ponadto pami\u0119taj, \u017ce ka\u017cdy przes\u0142any dokument jest dodawany do kolekcji, do kt\u00f3rej AnythingLLM<\/b> mo\u017ce uzyska\u0107 dost\u0119p w celu przysz\u0142ych czat\u00f3w. Czasami wydawa\u0142o mi si\u0119 to sprzeczne z intuicj\u0105, ale rozumiem logik\u0119 RAG w tym przypadku. Po wybraniu odpowiedniego modelu by\u0142 w stanie prawid\u0142owo opisa\u0107 r\u00f3wnie\u017c przes\u0142ane obrazy.<\/p>\n
W przypadku LM Studio<\/b> nie mia\u0142em \u017cadnych takich problem\u00f3w. Wszystko, co dostarczy\u0142em do LM Studio<\/b>, zosta\u0142o przetworzone prawid\u0142owo (lub wy\u015bwietlony zosta\u0142 zrozumia\u0142y b\u0142\u0105d). Po przes\u0142aniu otrzymasz powiadomienie, \u017ce dokument zostanie dodany do RAG \u2014 ale RAG to temat, kt\u00f3ry om\u00f3wi\u0119 p\u00f3\u017aniej. To oprogramowanie r\u00f3wnie\u017c przetworzy\u0142o przes\u0142ane przeze mnie obrazy bez \u017cadnych problem\u00f3w i pozwoli\u0142o LLM opisa\u0107, co si\u0119 na nich znajduje.<\/p>\n
LM studio – przyjazne dla programist\u00f3w \u015brodowisko AI<\/h3>\n\n- Strona internetowa: https:\/\/lmstudio.ai\/<\/a><\/li>\n
- Dokumentacja: https:\/\/lmstudio.ai\/docs<\/a><\/li>\n
- Kod: https:\/\/github.com\/lmstudio-ai<\/a><\/li>\n
- Wersja testowana: 0.3.5<\/li>\n
- Zmiany (tylko g\u0142\u00f3wne repozytorium): 0,1 tys., Gwiazdki: 1,7 tys., Forki: 0,1 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Element Labs, Inc.<\/li>\n<\/ul>\n
Jan – KISS to najlepsza zasada<\/h3>\n\n- Strona internetowa: https:\/\/jan.ai\/<\/a><\/li>\n
- Dokumentacja: https:\/\/jan.ai\/docs<\/a><\/li>\n
- Kod: https:\/\/github.com\/janhq\/jan<\/a><\/li>\n
- Wersja testowana: 0.5.8<\/li>\n
- Zobowi\u0105zania: 3,8 tys., gwiazdki: 23,6 tys., rozwidlenia: 1,4 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Homebrew Computer Company<\/li>\n<\/ul>\n
GPT4All \u2013 proste, ale skuteczne rozwi\u0105zanie<\/h3>\n\n- Witryna internetowa: https:\/\/GPT4All.io\/<\/a><\/li>\n
- Dokumenty: https:\/\/docs.GPT4All.io\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/nomic-ai\/GPT4All<\/a><\/li>\n
- Testowana wersja: 3.4.2<\/li>\n
- Zatwierdzenia: 2,1 tys., gwiazdki: 70,7 tys., widelce: 7,7 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Nomic, Inc<\/li>\n<\/ul>\n
OpenWebUI \u2013 znany interfejs u\u017cytkownika, nieznane mo\u017cliwo\u015bci<\/h3>\n\n- Strona internetowa: https:\/\/openwebui.com\/<\/a><\/li>\n
- Dokumenty: https:\/\/docs.openwebui.com\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/open-webui\/open-webui<\/a><\/li>\n
- Wersja testowana: 0.3.35<\/li>\n
- Zatwierdzenia: 7,2 tys., gwiazdki: 47,6 tys., rozwidlenia: 5,8 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Tim J. Baek (zobacz https:\/\/docs.openwebui.com\/team<\/a>)<\/li>\n<\/ul>\n
Interfejs zarz\u0105dzania modelem AI i pobierania<\/h2>\n
Pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest zainstalowanie interfejsu u\u017cytkownika – co jest proste dla wszystkich interfejs\u00f3w z wyj\u0105tkiem OpenWebUI. Nast\u0119pn\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest pobranie modelu AI na lokalny komputer, aby m\u00f3c go uruchomi\u0107. P\u00f3\u017aniej oczywi\u015bcie powiniene\u015b m\u00f3c z \u0142atwo\u015bci\u0105 zarz\u0105dza\u0107 pobranymi modelami.<\/p>\n
AnythingLLM<\/h3>\n
W przypadku AnythingLLM<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest znalezienie ustawie\u0144 \u2014 znajduj\u0105 si\u0119 one w lewym dolnym rogu oprogramowania. Nast\u0119pnie przejd\u017a do \u201eWszystkich dostawc\u00f3w\u201d i wybierz jednego z menu rozwijanego lub pobierz sugerowany model za pomoc\u0105 konsoli. Na li\u015bcie rozwijanej zobaczysz wielu r\u00f3\u017cnych dostawc\u00f3w, wi\u0119c mi\u0142o, \u017ce obs\u0142uguj\u0105 wielu z nich. Obejmuje to nie tylko HuggingFace, ale tak\u017ce lokalnie uruchomionego Ollama i r\u00f3\u017cnych komercyjnych dostawc\u00f3w, takich jak OpenAI, Azure, Antropic itd. W programie nie ma opcji \u201eWyszukaj modele\u201d, wi\u0119c musisz wyszuka\u0107 je online, a nast\u0119pnie uruchomi\u0107 polecenie z interfejsu AnythingLLM<\/b>, aby je pobra\u0107. Interfejs nie pomo\u017ce Ci w wyborze r\u00f3\u017cnych rozmiar\u00f3w modeli ani ich filtrowaniu, ale po pobraniu zobaczysz, czy model jest tylko tekstowy, czy multimodalny. Nast\u0119pnie mo\u017cesz po prostu wr\u00f3ci\u0107 i otworzy\u0107 nowy w\u0105tek, kt\u00f3ry mo\u017cna zorganizowa\u0107 w folderach, a ka\u017cdy folder mo\u017ce mie\u0107 inne ustawienia dostawcy LLM. Taka organizacja jest bardzo przydatna, je\u015bli chcesz przetestowa\u0107 r\u00f3\u017cne modele (lub ustawienia modelu) na tych samych zapytaniach.<\/p>\n
<\/p>\n
LM Studio<\/h3>\n
W LM Studio<\/b> nie jest r\u00f3wnie\u017c oczywiste, gdzie pobra\u0107 modele. Po lewej stronie znajdziesz ikony, z kt\u00f3rych trzecia to \u201eMoje modele\u201d, ale nie znajdziesz jej tam. Musisz wpisa\u0107 co\u015b w polu wyszukiwania na g\u00f3rnym pasku wyszukiwania. Nast\u0119pnie zobaczysz, \u017ce otwiera si\u0119 nowe okno, w kt\u00f3rym mo\u017cesz zobaczy\u0107 wyniki z HuggingFace i znale\u017a\u0107 r\u00f3\u017cne modele. To okno pozwala wybra\u0107 wersj\u0119 lub rozmiar modelu, co jest bardzo przydatne, je\u015bli repozytorium ma r\u00f3\u017cne wersje tego samego LLM. Kiedy wr\u00f3cisz do \u201eCzatu\u201d, zauwa\u017cysz, \u017ce mo\u017cesz organizowa\u0107 czaty w folderach, tak jak w AnythingLLM.<\/p>\n
<\/p>\n
Sty<\/h3>\n
Podczas korzystania z Sty<\/b>, pierwsz\u0105 czynno\u015bci\u0105 powinno by\u0107 przej\u015bcie do Hub. W Hubie znajdziesz r\u00f3\u017cne modele, kt\u00f3re s\u0105 oznaczone, je\u015bli mog\u0105 by\u0107 wolne na Twoim urz\u0105dzeniu lub niedzia\u0142aj\u0105ce, lub je\u015bli mo\u017cesz ich u\u017cywa\u0107. Jest to bardzo fajna i przydatna funkcja, szczeg\u00f3lnie je\u015bli jeste\u015b nowicjuszem. Pomaga Ci ona okre\u015bli\u0107, kt\u00f3re modele chcesz wypr\u00f3bowa\u0107 lokalnie. W ustawieniach na samym dole mo\u017cesz zobaczy\u0107, \u017ce mo\u017cesz po\u0142\u0105czy\u0107 si\u0119 z wieloma r\u00f3\u017cnymi dostawcami komercyjnymi, takimi jak: Anthropic, MistralAI, OpenAI i tak dalej. Po pobraniu modelu, je\u015bli wr\u00f3cisz do czat\u00f3w, zauwa\u017cysz, \u017ce nie mo\u017cesz organizowa\u0107 czat\u00f3w w folderach. Chocia\u017c interfejs ma by\u0107 bardzo prosty, wi\u0119c rozumiem t\u0119 decyzj\u0119 dotycz\u0105c\u0105 interfejsu u\u017cytkownika.<\/p>\n
<\/p>\n
GPT4All<\/h3>\n
Dzi\u0119ki GPT4All<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 chcesz zrobi\u0107, jest przej\u015bcie do modeli po lewej stronie, gdzie mo\u017cesz znale\u017a\u0107 model, kt\u00f3ry chcesz pobra\u0107. Ma r\u00f3wnie\u017c bardzo przydatny interfejs, poniewa\u017c otrzymujesz parametry, takie jak rozmiar pliku, wymagana pami\u0119\u0107 RAM, parametry, kwantyzacja i typ. Na pocz\u0105tku otrzymasz propozycje modeli, ale mo\u017cesz u\u017cy\u0107 funkcji wyszukiwania, aby znale\u017a\u0107 cokolwiek z HuggingFace. Po pobraniu modelu oczywi\u015bcie wracasz do czat\u00f3w, gdzie mo\u017cesz rozpocz\u0105\u0107 rozmow\u0119. Tak jak w styczniu, nie otrzymasz folder\u00f3w, tylko w\u0105tki, w kt\u00f3rych mo\u017cesz u\u017cy\u0107 konkretnych modeli.<\/p>\n
<\/p>\n
OpenWebUI<\/h3>\n
W przypadku wszystkich powy\u017cszych opcji OpenWebUI<\/b> jest jedynym wyj\u0105tkiem, w kt\u00f3rym nie otrzymasz instalatora. Zamiast tego musisz zainstalowa\u0107 Pythona, a nast\u0119pnie obs\u0142ugiwa\u0107 aplikacj\u0119. Jest to powa\u017cna wada, je\u015bli nie jeste\u015b osob\u0105 korzystaj\u0105c\u0105 z konsoli. Chocia\u017c zdecydowa\u0142em si\u0119 na uwzgl\u0119dnienie go ze wzgl\u0119du na dost\u0119pne funkcjonalno\u015bci i poniewa\u017c instalacja polega w rzeczywisto\u015bci na uruchomieniu dw\u00f3ch polece\u0144 z konsoli. Domy\u015blnie OpenWebUI<\/b> u\u017cywa Ollama jako \u017ar\u00f3d\u0142a modeli i nie otrzymujesz \u017cadnego interfejsu do wyszukiwania i pobierania modeli z panelu administracyjnego. Aby po\u0142\u0105czy\u0107 us\u0142ugi komercyjne, musisz wprowadzi\u0107 adres URL i klucz API zgodny z OpenAI. Na pocz\u0105tku zostaniesz poproszony o utworzenie konta \u2014 poniewa\u017c jest to konto lokalne, mo\u017cesz bez obaw u\u017cywa\u0107 fikcyjnych danych (jestem \u015bwiadomy, \u017ce mo\u017cesz to wy\u0142\u0105czy\u0107 podczas instalacji Docker). Mo\u017cesz organizowa\u0107 konwersacje w folderach i czatach, a interfejs u\u017cytkownika jest bardzo podobny do ChatGPT, wi\u0119c taka kombinacja by\u0142aby naj\u0142atwiejszym wyborem, je\u015bli chcesz uruchomi\u0107 OpenWebUI<\/b> online.<\/p>\n
<\/p>\n
Przetwarzanie plik\u00f3w w lokalnym czacie AI<\/h2>\n
Mo\u017cliwo\u015b\u0107 analizowania plik\u00f3w, kt\u00f3re dostarcz\u0119 do modelu, jest jedn\u0105 z najwa\u017cniejszych rzeczy, kt\u00f3rych wymagam od interfejsu. Bez niej m\u00f3g\u0142bym po prostu u\u017cy\u0107 wiersza polece\u0144 z Ollam\u0105 zamiast instalowa\u0107 pe\u0142ny interfejs. Chcia\u0142em sprawdzi\u0107, czy interfejs mo\u017ce przetwarza\u0107 przes\u0142ane dokumenty, przekazywa\u0107 je do modelu i zwraca\u0107 znacz\u0105ce informacje. Podczas gdy w przypadku prostych plik\u00f3w tekstowych nie stanowi\u0142o to G\u0141\u00d3WNIE problemu, warto zauwa\u017cy\u0107, \u017ce szuka\u0142em r\u00f3wnie\u017c obraz\u00f3w (na przyk\u0142ad do cel\u00f3w OCR) i transkrypcji g\u0142osu. \u017badne z narz\u0119dzi nie by\u0142o w stanie faktycznie przepisa\u0107 d\u017awi\u0119ku od razu po wyj\u0119ciu z pude\u0142ka: AnythingLLM nie mog\u0142o pobra\u0107 modelu Whisper, Jan i GPT4All nie mog\u0142y przes\u0142a\u0107 takich plik\u00f3w, LM Studio zawsze interpretowa\u0142o dane wej\u015bciowe jako tekst. Dla OpenWebUI istnieje narz\u0119dzie Whisper, ale nie by\u0142em w stanie sprawi\u0107, by dzia\u0142a\u0142o – chocia\u017c istnieje otwarty problem z natywnym wsparciem: https:\/\/github.com\/open-webui\/open-webui\/issues\/<\/a><\/p>\nPowiniene\u015b wiedzie\u0107, \u017ce testowane przeze mnie oprogramowanie nie jest przeznaczone do tworzenia grafiki, ale g\u0142\u00f3wnie do LLM przy u\u017cyciu formatu GUFF (tworzenie grafiki LLM najcz\u0119\u015bciej wykorzystuje format “safetensors”) – je\u015bli szukasz interfejsu u\u017cytkownika, kt\u00f3ry jest w stanie tworzy\u0107 obrazy, powiniene\u015b przyjrze\u0107 si\u0119 na przyk\u0142ad ComfyUI, kt\u00f3ry nie jest analizowany w tym artykule, poniewa\u017c nie jest to interfejs u\u017cytkownika do prostego u\u017cytku LLM. Wiem, \u017ce mo\u017cna po\u0142\u0105czy\u0107 OpenWebUI z ComfyUI, ale to znowu wykracza poza zakres tego por\u00f3wnania.<\/p>\n
Jedn\u0105 z rzeczy, kt\u00f3re s\u0105 reklamowane w AnythingLLM<\/b> jest to, \u017ce pozwala przetwarza\u0107 wiele r\u00f3\u017cnych typ\u00f3w dokument\u00f3w. Problem polega na tym, \u017ce – przynajmniej w moim przypadku – \u017ce AnythingLLM<\/b> lubi si\u0119 zawiesza\u0107. Przestaje przetwarza\u0107 dokument, je\u015bli napotka jaki\u015b b\u0142\u0105d i nie podaje informacji o tym, co si\u0119 sta\u0142o, ale zamiast tego musisz ponownie uruchomi\u0107 ca\u0142\u0105 aplikacj\u0119, aby zn\u00f3w zacz\u0119\u0142a dzia\u0142a\u0107. Ponadto pami\u0119taj, \u017ce ka\u017cdy przes\u0142any dokument jest dodawany do kolekcji, do kt\u00f3rej AnythingLLM<\/b> mo\u017ce uzyska\u0107 dost\u0119p w celu przysz\u0142ych czat\u00f3w. Czasami wydawa\u0142o mi si\u0119 to sprzeczne z intuicj\u0105, ale rozumiem logik\u0119 RAG w tym przypadku. Po wybraniu odpowiedniego modelu by\u0142 w stanie prawid\u0142owo opisa\u0107 r\u00f3wnie\u017c przes\u0142ane obrazy.<\/p>\n
W przypadku LM Studio<\/b> nie mia\u0142em \u017cadnych takich problem\u00f3w. Wszystko, co dostarczy\u0142em do LM Studio<\/b>, zosta\u0142o przetworzone prawid\u0142owo (lub wy\u015bwietlony zosta\u0142 zrozumia\u0142y b\u0142\u0105d). Po przes\u0142aniu otrzymasz powiadomienie, \u017ce dokument zostanie dodany do RAG \u2014 ale RAG to temat, kt\u00f3ry om\u00f3wi\u0119 p\u00f3\u017aniej. To oprogramowanie r\u00f3wnie\u017c przetworzy\u0142o przes\u0142ane przeze mnie obrazy bez \u017cadnych problem\u00f3w i pozwoli\u0142o LLM opisa\u0107, co si\u0119 na nich znajduje.<\/p>\n
Jan – KISS to najlepsza zasada<\/h3>\n\n- Strona internetowa: https:\/\/jan.ai\/<\/a><\/li>\n
- Dokumentacja: https:\/\/jan.ai\/docs<\/a><\/li>\n
- Kod: https:\/\/github.com\/janhq\/jan<\/a><\/li>\n
- Wersja testowana: 0.5.8<\/li>\n
- Zobowi\u0105zania: 3,8 tys., gwiazdki: 23,6 tys., rozwidlenia: 1,4 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Homebrew Computer Company<\/li>\n<\/ul>\n
GPT4All \u2013 proste, ale skuteczne rozwi\u0105zanie<\/h3>\n\n- Witryna internetowa: https:\/\/GPT4All.io\/<\/a><\/li>\n
- Dokumenty: https:\/\/docs.GPT4All.io\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/nomic-ai\/GPT4All<\/a><\/li>\n
- Testowana wersja: 3.4.2<\/li>\n
- Zatwierdzenia: 2,1 tys., gwiazdki: 70,7 tys., widelce: 7,7 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Nomic, Inc<\/li>\n<\/ul>\n
OpenWebUI \u2013 znany interfejs u\u017cytkownika, nieznane mo\u017cliwo\u015bci<\/h3>\n\n- Strona internetowa: https:\/\/openwebui.com\/<\/a><\/li>\n
- Dokumenty: https:\/\/docs.openwebui.com\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/open-webui\/open-webui<\/a><\/li>\n
- Wersja testowana: 0.3.35<\/li>\n
- Zatwierdzenia: 7,2 tys., gwiazdki: 47,6 tys., rozwidlenia: 5,8 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Tim J. Baek (zobacz https:\/\/docs.openwebui.com\/team<\/a>)<\/li>\n<\/ul>\n
Interfejs zarz\u0105dzania modelem AI i pobierania<\/h2>\n
Pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest zainstalowanie interfejsu u\u017cytkownika – co jest proste dla wszystkich interfejs\u00f3w z wyj\u0105tkiem OpenWebUI. Nast\u0119pn\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest pobranie modelu AI na lokalny komputer, aby m\u00f3c go uruchomi\u0107. P\u00f3\u017aniej oczywi\u015bcie powiniene\u015b m\u00f3c z \u0142atwo\u015bci\u0105 zarz\u0105dza\u0107 pobranymi modelami.<\/p>\n
AnythingLLM<\/h3>\n
W przypadku AnythingLLM<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest znalezienie ustawie\u0144 \u2014 znajduj\u0105 si\u0119 one w lewym dolnym rogu oprogramowania. Nast\u0119pnie przejd\u017a do \u201eWszystkich dostawc\u00f3w\u201d i wybierz jednego z menu rozwijanego lub pobierz sugerowany model za pomoc\u0105 konsoli. Na li\u015bcie rozwijanej zobaczysz wielu r\u00f3\u017cnych dostawc\u00f3w, wi\u0119c mi\u0142o, \u017ce obs\u0142uguj\u0105 wielu z nich. Obejmuje to nie tylko HuggingFace, ale tak\u017ce lokalnie uruchomionego Ollama i r\u00f3\u017cnych komercyjnych dostawc\u00f3w, takich jak OpenAI, Azure, Antropic itd. W programie nie ma opcji \u201eWyszukaj modele\u201d, wi\u0119c musisz wyszuka\u0107 je online, a nast\u0119pnie uruchomi\u0107 polecenie z interfejsu AnythingLLM<\/b>, aby je pobra\u0107. Interfejs nie pomo\u017ce Ci w wyborze r\u00f3\u017cnych rozmiar\u00f3w modeli ani ich filtrowaniu, ale po pobraniu zobaczysz, czy model jest tylko tekstowy, czy multimodalny. Nast\u0119pnie mo\u017cesz po prostu wr\u00f3ci\u0107 i otworzy\u0107 nowy w\u0105tek, kt\u00f3ry mo\u017cna zorganizowa\u0107 w folderach, a ka\u017cdy folder mo\u017ce mie\u0107 inne ustawienia dostawcy LLM. Taka organizacja jest bardzo przydatna, je\u015bli chcesz przetestowa\u0107 r\u00f3\u017cne modele (lub ustawienia modelu) na tych samych zapytaniach.<\/p>\n
<\/p>\n
LM Studio<\/h3>\n
W LM Studio<\/b> nie jest r\u00f3wnie\u017c oczywiste, gdzie pobra\u0107 modele. Po lewej stronie znajdziesz ikony, z kt\u00f3rych trzecia to \u201eMoje modele\u201d, ale nie znajdziesz jej tam. Musisz wpisa\u0107 co\u015b w polu wyszukiwania na g\u00f3rnym pasku wyszukiwania. Nast\u0119pnie zobaczysz, \u017ce otwiera si\u0119 nowe okno, w kt\u00f3rym mo\u017cesz zobaczy\u0107 wyniki z HuggingFace i znale\u017a\u0107 r\u00f3\u017cne modele. To okno pozwala wybra\u0107 wersj\u0119 lub rozmiar modelu, co jest bardzo przydatne, je\u015bli repozytorium ma r\u00f3\u017cne wersje tego samego LLM. Kiedy wr\u00f3cisz do \u201eCzatu\u201d, zauwa\u017cysz, \u017ce mo\u017cesz organizowa\u0107 czaty w folderach, tak jak w AnythingLLM.<\/p>\n
<\/p>\n
Sty<\/h3>\n
Podczas korzystania z Sty<\/b>, pierwsz\u0105 czynno\u015bci\u0105 powinno by\u0107 przej\u015bcie do Hub. W Hubie znajdziesz r\u00f3\u017cne modele, kt\u00f3re s\u0105 oznaczone, je\u015bli mog\u0105 by\u0107 wolne na Twoim urz\u0105dzeniu lub niedzia\u0142aj\u0105ce, lub je\u015bli mo\u017cesz ich u\u017cywa\u0107. Jest to bardzo fajna i przydatna funkcja, szczeg\u00f3lnie je\u015bli jeste\u015b nowicjuszem. Pomaga Ci ona okre\u015bli\u0107, kt\u00f3re modele chcesz wypr\u00f3bowa\u0107 lokalnie. W ustawieniach na samym dole mo\u017cesz zobaczy\u0107, \u017ce mo\u017cesz po\u0142\u0105czy\u0107 si\u0119 z wieloma r\u00f3\u017cnymi dostawcami komercyjnymi, takimi jak: Anthropic, MistralAI, OpenAI i tak dalej. Po pobraniu modelu, je\u015bli wr\u00f3cisz do czat\u00f3w, zauwa\u017cysz, \u017ce nie mo\u017cesz organizowa\u0107 czat\u00f3w w folderach. Chocia\u017c interfejs ma by\u0107 bardzo prosty, wi\u0119c rozumiem t\u0119 decyzj\u0119 dotycz\u0105c\u0105 interfejsu u\u017cytkownika.<\/p>\n
<\/p>\n
GPT4All<\/h3>\n
Dzi\u0119ki GPT4All<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 chcesz zrobi\u0107, jest przej\u015bcie do modeli po lewej stronie, gdzie mo\u017cesz znale\u017a\u0107 model, kt\u00f3ry chcesz pobra\u0107. Ma r\u00f3wnie\u017c bardzo przydatny interfejs, poniewa\u017c otrzymujesz parametry, takie jak rozmiar pliku, wymagana pami\u0119\u0107 RAM, parametry, kwantyzacja i typ. Na pocz\u0105tku otrzymasz propozycje modeli, ale mo\u017cesz u\u017cy\u0107 funkcji wyszukiwania, aby znale\u017a\u0107 cokolwiek z HuggingFace. Po pobraniu modelu oczywi\u015bcie wracasz do czat\u00f3w, gdzie mo\u017cesz rozpocz\u0105\u0107 rozmow\u0119. Tak jak w styczniu, nie otrzymasz folder\u00f3w, tylko w\u0105tki, w kt\u00f3rych mo\u017cesz u\u017cy\u0107 konkretnych modeli.<\/p>\n
<\/p>\n
OpenWebUI<\/h3>\n
W przypadku wszystkich powy\u017cszych opcji OpenWebUI<\/b> jest jedynym wyj\u0105tkiem, w kt\u00f3rym nie otrzymasz instalatora. Zamiast tego musisz zainstalowa\u0107 Pythona, a nast\u0119pnie obs\u0142ugiwa\u0107 aplikacj\u0119. Jest to powa\u017cna wada, je\u015bli nie jeste\u015b osob\u0105 korzystaj\u0105c\u0105 z konsoli. Chocia\u017c zdecydowa\u0142em si\u0119 na uwzgl\u0119dnienie go ze wzgl\u0119du na dost\u0119pne funkcjonalno\u015bci i poniewa\u017c instalacja polega w rzeczywisto\u015bci na uruchomieniu dw\u00f3ch polece\u0144 z konsoli. Domy\u015blnie OpenWebUI<\/b> u\u017cywa Ollama jako \u017ar\u00f3d\u0142a modeli i nie otrzymujesz \u017cadnego interfejsu do wyszukiwania i pobierania modeli z panelu administracyjnego. Aby po\u0142\u0105czy\u0107 us\u0142ugi komercyjne, musisz wprowadzi\u0107 adres URL i klucz API zgodny z OpenAI. Na pocz\u0105tku zostaniesz poproszony o utworzenie konta \u2014 poniewa\u017c jest to konto lokalne, mo\u017cesz bez obaw u\u017cywa\u0107 fikcyjnych danych (jestem \u015bwiadomy, \u017ce mo\u017cesz to wy\u0142\u0105czy\u0107 podczas instalacji Docker). Mo\u017cesz organizowa\u0107 konwersacje w folderach i czatach, a interfejs u\u017cytkownika jest bardzo podobny do ChatGPT, wi\u0119c taka kombinacja by\u0142aby naj\u0142atwiejszym wyborem, je\u015bli chcesz uruchomi\u0107 OpenWebUI<\/b> online.<\/p>\n
<\/p>\n
Przetwarzanie plik\u00f3w w lokalnym czacie AI<\/h2>\n
Mo\u017cliwo\u015b\u0107 analizowania plik\u00f3w, kt\u00f3re dostarcz\u0119 do modelu, jest jedn\u0105 z najwa\u017cniejszych rzeczy, kt\u00f3rych wymagam od interfejsu. Bez niej m\u00f3g\u0142bym po prostu u\u017cy\u0107 wiersza polece\u0144 z Ollam\u0105 zamiast instalowa\u0107 pe\u0142ny interfejs. Chcia\u0142em sprawdzi\u0107, czy interfejs mo\u017ce przetwarza\u0107 przes\u0142ane dokumenty, przekazywa\u0107 je do modelu i zwraca\u0107 znacz\u0105ce informacje. Podczas gdy w przypadku prostych plik\u00f3w tekstowych nie stanowi\u0142o to G\u0141\u00d3WNIE problemu, warto zauwa\u017cy\u0107, \u017ce szuka\u0142em r\u00f3wnie\u017c obraz\u00f3w (na przyk\u0142ad do cel\u00f3w OCR) i transkrypcji g\u0142osu. \u017badne z narz\u0119dzi nie by\u0142o w stanie faktycznie przepisa\u0107 d\u017awi\u0119ku od razu po wyj\u0119ciu z pude\u0142ka: AnythingLLM nie mog\u0142o pobra\u0107 modelu Whisper, Jan i GPT4All nie mog\u0142y przes\u0142a\u0107 takich plik\u00f3w, LM Studio zawsze interpretowa\u0142o dane wej\u015bciowe jako tekst. Dla OpenWebUI istnieje narz\u0119dzie Whisper, ale nie by\u0142em w stanie sprawi\u0107, by dzia\u0142a\u0142o – chocia\u017c istnieje otwarty problem z natywnym wsparciem: https:\/\/github.com\/open-webui\/open-webui\/issues\/<\/a><\/p>\nPowiniene\u015b wiedzie\u0107, \u017ce testowane przeze mnie oprogramowanie nie jest przeznaczone do tworzenia grafiki, ale g\u0142\u00f3wnie do LLM przy u\u017cyciu formatu GUFF (tworzenie grafiki LLM najcz\u0119\u015bciej wykorzystuje format “safetensors”) – je\u015bli szukasz interfejsu u\u017cytkownika, kt\u00f3ry jest w stanie tworzy\u0107 obrazy, powiniene\u015b przyjrze\u0107 si\u0119 na przyk\u0142ad ComfyUI, kt\u00f3ry nie jest analizowany w tym artykule, poniewa\u017c nie jest to interfejs u\u017cytkownika do prostego u\u017cytku LLM. Wiem, \u017ce mo\u017cna po\u0142\u0105czy\u0107 OpenWebUI z ComfyUI, ale to znowu wykracza poza zakres tego por\u00f3wnania.<\/p>\n
Jedn\u0105 z rzeczy, kt\u00f3re s\u0105 reklamowane w AnythingLLM<\/b> jest to, \u017ce pozwala przetwarza\u0107 wiele r\u00f3\u017cnych typ\u00f3w dokument\u00f3w. Problem polega na tym, \u017ce – przynajmniej w moim przypadku – \u017ce AnythingLLM<\/b> lubi si\u0119 zawiesza\u0107. Przestaje przetwarza\u0107 dokument, je\u015bli napotka jaki\u015b b\u0142\u0105d i nie podaje informacji o tym, co si\u0119 sta\u0142o, ale zamiast tego musisz ponownie uruchomi\u0107 ca\u0142\u0105 aplikacj\u0119, aby zn\u00f3w zacz\u0119\u0142a dzia\u0142a\u0107. Ponadto pami\u0119taj, \u017ce ka\u017cdy przes\u0142any dokument jest dodawany do kolekcji, do kt\u00f3rej AnythingLLM<\/b> mo\u017ce uzyska\u0107 dost\u0119p w celu przysz\u0142ych czat\u00f3w. Czasami wydawa\u0142o mi si\u0119 to sprzeczne z intuicj\u0105, ale rozumiem logik\u0119 RAG w tym przypadku. Po wybraniu odpowiedniego modelu by\u0142 w stanie prawid\u0142owo opisa\u0107 r\u00f3wnie\u017c przes\u0142ane obrazy.<\/p>\n
W przypadku LM Studio<\/b> nie mia\u0142em \u017cadnych takich problem\u00f3w. Wszystko, co dostarczy\u0142em do LM Studio<\/b>, zosta\u0142o przetworzone prawid\u0142owo (lub wy\u015bwietlony zosta\u0142 zrozumia\u0142y b\u0142\u0105d). Po przes\u0142aniu otrzymasz powiadomienie, \u017ce dokument zostanie dodany do RAG \u2014 ale RAG to temat, kt\u00f3ry om\u00f3wi\u0119 p\u00f3\u017aniej. To oprogramowanie r\u00f3wnie\u017c przetworzy\u0142o przes\u0142ane przeze mnie obrazy bez \u017cadnych problem\u00f3w i pozwoli\u0142o LLM opisa\u0107, co si\u0119 na nich znajduje.<\/p>\n
GPT4All \u2013 proste, ale skuteczne rozwi\u0105zanie<\/h3>\n\n- Witryna internetowa: https:\/\/GPT4All.io\/<\/a><\/li>\n
- Dokumenty: https:\/\/docs.GPT4All.io\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/nomic-ai\/GPT4All<\/a><\/li>\n
- Testowana wersja: 3.4.2<\/li>\n
- Zatwierdzenia: 2,1 tys., gwiazdki: 70,7 tys., widelce: 7,7 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Nomic, Inc<\/li>\n<\/ul>\n
OpenWebUI \u2013 znany interfejs u\u017cytkownika, nieznane mo\u017cliwo\u015bci<\/h3>\n\n- Strona internetowa: https:\/\/openwebui.com\/<\/a><\/li>\n
- Dokumenty: https:\/\/docs.openwebui.com\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/open-webui\/open-webui<\/a><\/li>\n
- Wersja testowana: 0.3.35<\/li>\n
- Zatwierdzenia: 7,2 tys., gwiazdki: 47,6 tys., rozwidlenia: 5,8 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Tim J. Baek (zobacz https:\/\/docs.openwebui.com\/team<\/a>)<\/li>\n<\/ul>\n
Interfejs zarz\u0105dzania modelem AI i pobierania<\/h2>\n
Pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest zainstalowanie interfejsu u\u017cytkownika – co jest proste dla wszystkich interfejs\u00f3w z wyj\u0105tkiem OpenWebUI. Nast\u0119pn\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest pobranie modelu AI na lokalny komputer, aby m\u00f3c go uruchomi\u0107. P\u00f3\u017aniej oczywi\u015bcie powiniene\u015b m\u00f3c z \u0142atwo\u015bci\u0105 zarz\u0105dza\u0107 pobranymi modelami.<\/p>\n
AnythingLLM<\/h3>\n
W przypadku AnythingLLM<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest znalezienie ustawie\u0144 \u2014 znajduj\u0105 si\u0119 one w lewym dolnym rogu oprogramowania. Nast\u0119pnie przejd\u017a do \u201eWszystkich dostawc\u00f3w\u201d i wybierz jednego z menu rozwijanego lub pobierz sugerowany model za pomoc\u0105 konsoli. Na li\u015bcie rozwijanej zobaczysz wielu r\u00f3\u017cnych dostawc\u00f3w, wi\u0119c mi\u0142o, \u017ce obs\u0142uguj\u0105 wielu z nich. Obejmuje to nie tylko HuggingFace, ale tak\u017ce lokalnie uruchomionego Ollama i r\u00f3\u017cnych komercyjnych dostawc\u00f3w, takich jak OpenAI, Azure, Antropic itd. W programie nie ma opcji \u201eWyszukaj modele\u201d, wi\u0119c musisz wyszuka\u0107 je online, a nast\u0119pnie uruchomi\u0107 polecenie z interfejsu AnythingLLM<\/b>, aby je pobra\u0107. Interfejs nie pomo\u017ce Ci w wyborze r\u00f3\u017cnych rozmiar\u00f3w modeli ani ich filtrowaniu, ale po pobraniu zobaczysz, czy model jest tylko tekstowy, czy multimodalny. Nast\u0119pnie mo\u017cesz po prostu wr\u00f3ci\u0107 i otworzy\u0107 nowy w\u0105tek, kt\u00f3ry mo\u017cna zorganizowa\u0107 w folderach, a ka\u017cdy folder mo\u017ce mie\u0107 inne ustawienia dostawcy LLM. Taka organizacja jest bardzo przydatna, je\u015bli chcesz przetestowa\u0107 r\u00f3\u017cne modele (lub ustawienia modelu) na tych samych zapytaniach.<\/p>\n
<\/p>\n
LM Studio<\/h3>\n
W LM Studio<\/b> nie jest r\u00f3wnie\u017c oczywiste, gdzie pobra\u0107 modele. Po lewej stronie znajdziesz ikony, z kt\u00f3rych trzecia to \u201eMoje modele\u201d, ale nie znajdziesz jej tam. Musisz wpisa\u0107 co\u015b w polu wyszukiwania na g\u00f3rnym pasku wyszukiwania. Nast\u0119pnie zobaczysz, \u017ce otwiera si\u0119 nowe okno, w kt\u00f3rym mo\u017cesz zobaczy\u0107 wyniki z HuggingFace i znale\u017a\u0107 r\u00f3\u017cne modele. To okno pozwala wybra\u0107 wersj\u0119 lub rozmiar modelu, co jest bardzo przydatne, je\u015bli repozytorium ma r\u00f3\u017cne wersje tego samego LLM. Kiedy wr\u00f3cisz do \u201eCzatu\u201d, zauwa\u017cysz, \u017ce mo\u017cesz organizowa\u0107 czaty w folderach, tak jak w AnythingLLM.<\/p>\n
<\/p>\n
Sty<\/h3>\n
Podczas korzystania z Sty<\/b>, pierwsz\u0105 czynno\u015bci\u0105 powinno by\u0107 przej\u015bcie do Hub. W Hubie znajdziesz r\u00f3\u017cne modele, kt\u00f3re s\u0105 oznaczone, je\u015bli mog\u0105 by\u0107 wolne na Twoim urz\u0105dzeniu lub niedzia\u0142aj\u0105ce, lub je\u015bli mo\u017cesz ich u\u017cywa\u0107. Jest to bardzo fajna i przydatna funkcja, szczeg\u00f3lnie je\u015bli jeste\u015b nowicjuszem. Pomaga Ci ona okre\u015bli\u0107, kt\u00f3re modele chcesz wypr\u00f3bowa\u0107 lokalnie. W ustawieniach na samym dole mo\u017cesz zobaczy\u0107, \u017ce mo\u017cesz po\u0142\u0105czy\u0107 si\u0119 z wieloma r\u00f3\u017cnymi dostawcami komercyjnymi, takimi jak: Anthropic, MistralAI, OpenAI i tak dalej. Po pobraniu modelu, je\u015bli wr\u00f3cisz do czat\u00f3w, zauwa\u017cysz, \u017ce nie mo\u017cesz organizowa\u0107 czat\u00f3w w folderach. Chocia\u017c interfejs ma by\u0107 bardzo prosty, wi\u0119c rozumiem t\u0119 decyzj\u0119 dotycz\u0105c\u0105 interfejsu u\u017cytkownika.<\/p>\n
<\/p>\n
GPT4All<\/h3>\n
Dzi\u0119ki GPT4All<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 chcesz zrobi\u0107, jest przej\u015bcie do modeli po lewej stronie, gdzie mo\u017cesz znale\u017a\u0107 model, kt\u00f3ry chcesz pobra\u0107. Ma r\u00f3wnie\u017c bardzo przydatny interfejs, poniewa\u017c otrzymujesz parametry, takie jak rozmiar pliku, wymagana pami\u0119\u0107 RAM, parametry, kwantyzacja i typ. Na pocz\u0105tku otrzymasz propozycje modeli, ale mo\u017cesz u\u017cy\u0107 funkcji wyszukiwania, aby znale\u017a\u0107 cokolwiek z HuggingFace. Po pobraniu modelu oczywi\u015bcie wracasz do czat\u00f3w, gdzie mo\u017cesz rozpocz\u0105\u0107 rozmow\u0119. Tak jak w styczniu, nie otrzymasz folder\u00f3w, tylko w\u0105tki, w kt\u00f3rych mo\u017cesz u\u017cy\u0107 konkretnych modeli.<\/p>\n
<\/p>\n
OpenWebUI<\/h3>\n
W przypadku wszystkich powy\u017cszych opcji OpenWebUI<\/b> jest jedynym wyj\u0105tkiem, w kt\u00f3rym nie otrzymasz instalatora. Zamiast tego musisz zainstalowa\u0107 Pythona, a nast\u0119pnie obs\u0142ugiwa\u0107 aplikacj\u0119. Jest to powa\u017cna wada, je\u015bli nie jeste\u015b osob\u0105 korzystaj\u0105c\u0105 z konsoli. Chocia\u017c zdecydowa\u0142em si\u0119 na uwzgl\u0119dnienie go ze wzgl\u0119du na dost\u0119pne funkcjonalno\u015bci i poniewa\u017c instalacja polega w rzeczywisto\u015bci na uruchomieniu dw\u00f3ch polece\u0144 z konsoli. Domy\u015blnie OpenWebUI<\/b> u\u017cywa Ollama jako \u017ar\u00f3d\u0142a modeli i nie otrzymujesz \u017cadnego interfejsu do wyszukiwania i pobierania modeli z panelu administracyjnego. Aby po\u0142\u0105czy\u0107 us\u0142ugi komercyjne, musisz wprowadzi\u0107 adres URL i klucz API zgodny z OpenAI. Na pocz\u0105tku zostaniesz poproszony o utworzenie konta \u2014 poniewa\u017c jest to konto lokalne, mo\u017cesz bez obaw u\u017cywa\u0107 fikcyjnych danych (jestem \u015bwiadomy, \u017ce mo\u017cesz to wy\u0142\u0105czy\u0107 podczas instalacji Docker). Mo\u017cesz organizowa\u0107 konwersacje w folderach i czatach, a interfejs u\u017cytkownika jest bardzo podobny do ChatGPT, wi\u0119c taka kombinacja by\u0142aby naj\u0142atwiejszym wyborem, je\u015bli chcesz uruchomi\u0107 OpenWebUI<\/b> online.<\/p>\n
<\/p>\n
Przetwarzanie plik\u00f3w w lokalnym czacie AI<\/h2>\n
Mo\u017cliwo\u015b\u0107 analizowania plik\u00f3w, kt\u00f3re dostarcz\u0119 do modelu, jest jedn\u0105 z najwa\u017cniejszych rzeczy, kt\u00f3rych wymagam od interfejsu. Bez niej m\u00f3g\u0142bym po prostu u\u017cy\u0107 wiersza polece\u0144 z Ollam\u0105 zamiast instalowa\u0107 pe\u0142ny interfejs. Chcia\u0142em sprawdzi\u0107, czy interfejs mo\u017ce przetwarza\u0107 przes\u0142ane dokumenty, przekazywa\u0107 je do modelu i zwraca\u0107 znacz\u0105ce informacje. Podczas gdy w przypadku prostych plik\u00f3w tekstowych nie stanowi\u0142o to G\u0141\u00d3WNIE problemu, warto zauwa\u017cy\u0107, \u017ce szuka\u0142em r\u00f3wnie\u017c obraz\u00f3w (na przyk\u0142ad do cel\u00f3w OCR) i transkrypcji g\u0142osu. \u017badne z narz\u0119dzi nie by\u0142o w stanie faktycznie przepisa\u0107 d\u017awi\u0119ku od razu po wyj\u0119ciu z pude\u0142ka: AnythingLLM nie mog\u0142o pobra\u0107 modelu Whisper, Jan i GPT4All nie mog\u0142y przes\u0142a\u0107 takich plik\u00f3w, LM Studio zawsze interpretowa\u0142o dane wej\u015bciowe jako tekst. Dla OpenWebUI istnieje narz\u0119dzie Whisper, ale nie by\u0142em w stanie sprawi\u0107, by dzia\u0142a\u0142o – chocia\u017c istnieje otwarty problem z natywnym wsparciem: https:\/\/github.com\/open-webui\/open-webui\/issues\/<\/a><\/p>\nPowiniene\u015b wiedzie\u0107, \u017ce testowane przeze mnie oprogramowanie nie jest przeznaczone do tworzenia grafiki, ale g\u0142\u00f3wnie do LLM przy u\u017cyciu formatu GUFF (tworzenie grafiki LLM najcz\u0119\u015bciej wykorzystuje format “safetensors”) – je\u015bli szukasz interfejsu u\u017cytkownika, kt\u00f3ry jest w stanie tworzy\u0107 obrazy, powiniene\u015b przyjrze\u0107 si\u0119 na przyk\u0142ad ComfyUI, kt\u00f3ry nie jest analizowany w tym artykule, poniewa\u017c nie jest to interfejs u\u017cytkownika do prostego u\u017cytku LLM. Wiem, \u017ce mo\u017cna po\u0142\u0105czy\u0107 OpenWebUI z ComfyUI, ale to znowu wykracza poza zakres tego por\u00f3wnania.<\/p>\n
Jedn\u0105 z rzeczy, kt\u00f3re s\u0105 reklamowane w AnythingLLM<\/b> jest to, \u017ce pozwala przetwarza\u0107 wiele r\u00f3\u017cnych typ\u00f3w dokument\u00f3w. Problem polega na tym, \u017ce – przynajmniej w moim przypadku – \u017ce AnythingLLM<\/b> lubi si\u0119 zawiesza\u0107. Przestaje przetwarza\u0107 dokument, je\u015bli napotka jaki\u015b b\u0142\u0105d i nie podaje informacji o tym, co si\u0119 sta\u0142o, ale zamiast tego musisz ponownie uruchomi\u0107 ca\u0142\u0105 aplikacj\u0119, aby zn\u00f3w zacz\u0119\u0142a dzia\u0142a\u0107. Ponadto pami\u0119taj, \u017ce ka\u017cdy przes\u0142any dokument jest dodawany do kolekcji, do kt\u00f3rej AnythingLLM<\/b> mo\u017ce uzyska\u0107 dost\u0119p w celu przysz\u0142ych czat\u00f3w. Czasami wydawa\u0142o mi si\u0119 to sprzeczne z intuicj\u0105, ale rozumiem logik\u0119 RAG w tym przypadku. Po wybraniu odpowiedniego modelu by\u0142 w stanie prawid\u0142owo opisa\u0107 r\u00f3wnie\u017c przes\u0142ane obrazy.<\/p>\n
W przypadku LM Studio<\/b> nie mia\u0142em \u017cadnych takich problem\u00f3w. Wszystko, co dostarczy\u0142em do LM Studio<\/b>, zosta\u0142o przetworzone prawid\u0142owo (lub wy\u015bwietlony zosta\u0142 zrozumia\u0142y b\u0142\u0105d). Po przes\u0142aniu otrzymasz powiadomienie, \u017ce dokument zostanie dodany do RAG \u2014 ale RAG to temat, kt\u00f3ry om\u00f3wi\u0119 p\u00f3\u017aniej. To oprogramowanie r\u00f3wnie\u017c przetworzy\u0142o przes\u0142ane przeze mnie obrazy bez \u017cadnych problem\u00f3w i pozwoli\u0142o LLM opisa\u0107, co si\u0119 na nich znajduje.<\/p>\n
OpenWebUI \u2013 znany interfejs u\u017cytkownika, nieznane mo\u017cliwo\u015bci<\/h3>\n\n- Strona internetowa: https:\/\/openwebui.com\/<\/a><\/li>\n
- Dokumenty: https:\/\/docs.openwebui.com\/<\/a><\/li>\n
- Kod: https:\/\/github.com\/open-webui\/open-webui<\/a><\/li>\n
- Wersja testowana: 0.3.35<\/li>\n
- Zatwierdzenia: 7,2 tys., gwiazdki: 47,6 tys., rozwidlenia: 5,8 tys.<\/li>\n
- Organizacja\/osoba\/w\u0142a\u015bciciel: Tim J. Baek (zobacz https:\/\/docs.openwebui.com\/team<\/a>)<\/li>\n<\/ul>\n
Interfejs zarz\u0105dzania modelem AI i pobierania<\/h2>\n
Pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest zainstalowanie interfejsu u\u017cytkownika – co jest proste dla wszystkich interfejs\u00f3w z wyj\u0105tkiem OpenWebUI. Nast\u0119pn\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest pobranie modelu AI na lokalny komputer, aby m\u00f3c go uruchomi\u0107. P\u00f3\u017aniej oczywi\u015bcie powiniene\u015b m\u00f3c z \u0142atwo\u015bci\u0105 zarz\u0105dza\u0107 pobranymi modelami.<\/p>\n
AnythingLLM<\/h3>\n
W przypadku AnythingLLM<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest znalezienie ustawie\u0144 \u2014 znajduj\u0105 si\u0119 one w lewym dolnym rogu oprogramowania. Nast\u0119pnie przejd\u017a do \u201eWszystkich dostawc\u00f3w\u201d i wybierz jednego z menu rozwijanego lub pobierz sugerowany model za pomoc\u0105 konsoli. Na li\u015bcie rozwijanej zobaczysz wielu r\u00f3\u017cnych dostawc\u00f3w, wi\u0119c mi\u0142o, \u017ce obs\u0142uguj\u0105 wielu z nich. Obejmuje to nie tylko HuggingFace, ale tak\u017ce lokalnie uruchomionego Ollama i r\u00f3\u017cnych komercyjnych dostawc\u00f3w, takich jak OpenAI, Azure, Antropic itd. W programie nie ma opcji \u201eWyszukaj modele\u201d, wi\u0119c musisz wyszuka\u0107 je online, a nast\u0119pnie uruchomi\u0107 polecenie z interfejsu AnythingLLM<\/b>, aby je pobra\u0107. Interfejs nie pomo\u017ce Ci w wyborze r\u00f3\u017cnych rozmiar\u00f3w modeli ani ich filtrowaniu, ale po pobraniu zobaczysz, czy model jest tylko tekstowy, czy multimodalny. Nast\u0119pnie mo\u017cesz po prostu wr\u00f3ci\u0107 i otworzy\u0107 nowy w\u0105tek, kt\u00f3ry mo\u017cna zorganizowa\u0107 w folderach, a ka\u017cdy folder mo\u017ce mie\u0107 inne ustawienia dostawcy LLM. Taka organizacja jest bardzo przydatna, je\u015bli chcesz przetestowa\u0107 r\u00f3\u017cne modele (lub ustawienia modelu) na tych samych zapytaniach.<\/p>\n
<\/p>\n
LM Studio<\/h3>\n
W LM Studio<\/b> nie jest r\u00f3wnie\u017c oczywiste, gdzie pobra\u0107 modele. Po lewej stronie znajdziesz ikony, z kt\u00f3rych trzecia to \u201eMoje modele\u201d, ale nie znajdziesz jej tam. Musisz wpisa\u0107 co\u015b w polu wyszukiwania na g\u00f3rnym pasku wyszukiwania. Nast\u0119pnie zobaczysz, \u017ce otwiera si\u0119 nowe okno, w kt\u00f3rym mo\u017cesz zobaczy\u0107 wyniki z HuggingFace i znale\u017a\u0107 r\u00f3\u017cne modele. To okno pozwala wybra\u0107 wersj\u0119 lub rozmiar modelu, co jest bardzo przydatne, je\u015bli repozytorium ma r\u00f3\u017cne wersje tego samego LLM. Kiedy wr\u00f3cisz do \u201eCzatu\u201d, zauwa\u017cysz, \u017ce mo\u017cesz organizowa\u0107 czaty w folderach, tak jak w AnythingLLM.<\/p>\n
<\/p>\n
Sty<\/h3>\n
Podczas korzystania z Sty<\/b>, pierwsz\u0105 czynno\u015bci\u0105 powinno by\u0107 przej\u015bcie do Hub. W Hubie znajdziesz r\u00f3\u017cne modele, kt\u00f3re s\u0105 oznaczone, je\u015bli mog\u0105 by\u0107 wolne na Twoim urz\u0105dzeniu lub niedzia\u0142aj\u0105ce, lub je\u015bli mo\u017cesz ich u\u017cywa\u0107. Jest to bardzo fajna i przydatna funkcja, szczeg\u00f3lnie je\u015bli jeste\u015b nowicjuszem. Pomaga Ci ona okre\u015bli\u0107, kt\u00f3re modele chcesz wypr\u00f3bowa\u0107 lokalnie. W ustawieniach na samym dole mo\u017cesz zobaczy\u0107, \u017ce mo\u017cesz po\u0142\u0105czy\u0107 si\u0119 z wieloma r\u00f3\u017cnymi dostawcami komercyjnymi, takimi jak: Anthropic, MistralAI, OpenAI i tak dalej. Po pobraniu modelu, je\u015bli wr\u00f3cisz do czat\u00f3w, zauwa\u017cysz, \u017ce nie mo\u017cesz organizowa\u0107 czat\u00f3w w folderach. Chocia\u017c interfejs ma by\u0107 bardzo prosty, wi\u0119c rozumiem t\u0119 decyzj\u0119 dotycz\u0105c\u0105 interfejsu u\u017cytkownika.<\/p>\n
<\/p>\n
GPT4All<\/h3>\n
Dzi\u0119ki GPT4All<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 chcesz zrobi\u0107, jest przej\u015bcie do modeli po lewej stronie, gdzie mo\u017cesz znale\u017a\u0107 model, kt\u00f3ry chcesz pobra\u0107. Ma r\u00f3wnie\u017c bardzo przydatny interfejs, poniewa\u017c otrzymujesz parametry, takie jak rozmiar pliku, wymagana pami\u0119\u0107 RAM, parametry, kwantyzacja i typ. Na pocz\u0105tku otrzymasz propozycje modeli, ale mo\u017cesz u\u017cy\u0107 funkcji wyszukiwania, aby znale\u017a\u0107 cokolwiek z HuggingFace. Po pobraniu modelu oczywi\u015bcie wracasz do czat\u00f3w, gdzie mo\u017cesz rozpocz\u0105\u0107 rozmow\u0119. Tak jak w styczniu, nie otrzymasz folder\u00f3w, tylko w\u0105tki, w kt\u00f3rych mo\u017cesz u\u017cy\u0107 konkretnych modeli.<\/p>\n
<\/p>\n
OpenWebUI<\/h3>\n
W przypadku wszystkich powy\u017cszych opcji OpenWebUI<\/b> jest jedynym wyj\u0105tkiem, w kt\u00f3rym nie otrzymasz instalatora. Zamiast tego musisz zainstalowa\u0107 Pythona, a nast\u0119pnie obs\u0142ugiwa\u0107 aplikacj\u0119. Jest to powa\u017cna wada, je\u015bli nie jeste\u015b osob\u0105 korzystaj\u0105c\u0105 z konsoli. Chocia\u017c zdecydowa\u0142em si\u0119 na uwzgl\u0119dnienie go ze wzgl\u0119du na dost\u0119pne funkcjonalno\u015bci i poniewa\u017c instalacja polega w rzeczywisto\u015bci na uruchomieniu dw\u00f3ch polece\u0144 z konsoli. Domy\u015blnie OpenWebUI<\/b> u\u017cywa Ollama jako \u017ar\u00f3d\u0142a modeli i nie otrzymujesz \u017cadnego interfejsu do wyszukiwania i pobierania modeli z panelu administracyjnego. Aby po\u0142\u0105czy\u0107 us\u0142ugi komercyjne, musisz wprowadzi\u0107 adres URL i klucz API zgodny z OpenAI. Na pocz\u0105tku zostaniesz poproszony o utworzenie konta \u2014 poniewa\u017c jest to konto lokalne, mo\u017cesz bez obaw u\u017cywa\u0107 fikcyjnych danych (jestem \u015bwiadomy, \u017ce mo\u017cesz to wy\u0142\u0105czy\u0107 podczas instalacji Docker). Mo\u017cesz organizowa\u0107 konwersacje w folderach i czatach, a interfejs u\u017cytkownika jest bardzo podobny do ChatGPT, wi\u0119c taka kombinacja by\u0142aby naj\u0142atwiejszym wyborem, je\u015bli chcesz uruchomi\u0107 OpenWebUI<\/b> online.<\/p>\n
<\/p>\n
Przetwarzanie plik\u00f3w w lokalnym czacie AI<\/h2>\n
Mo\u017cliwo\u015b\u0107 analizowania plik\u00f3w, kt\u00f3re dostarcz\u0119 do modelu, jest jedn\u0105 z najwa\u017cniejszych rzeczy, kt\u00f3rych wymagam od interfejsu. Bez niej m\u00f3g\u0142bym po prostu u\u017cy\u0107 wiersza polece\u0144 z Ollam\u0105 zamiast instalowa\u0107 pe\u0142ny interfejs. Chcia\u0142em sprawdzi\u0107, czy interfejs mo\u017ce przetwarza\u0107 przes\u0142ane dokumenty, przekazywa\u0107 je do modelu i zwraca\u0107 znacz\u0105ce informacje. Podczas gdy w przypadku prostych plik\u00f3w tekstowych nie stanowi\u0142o to G\u0141\u00d3WNIE problemu, warto zauwa\u017cy\u0107, \u017ce szuka\u0142em r\u00f3wnie\u017c obraz\u00f3w (na przyk\u0142ad do cel\u00f3w OCR) i transkrypcji g\u0142osu. \u017badne z narz\u0119dzi nie by\u0142o w stanie faktycznie przepisa\u0107 d\u017awi\u0119ku od razu po wyj\u0119ciu z pude\u0142ka: AnythingLLM nie mog\u0142o pobra\u0107 modelu Whisper, Jan i GPT4All nie mog\u0142y przes\u0142a\u0107 takich plik\u00f3w, LM Studio zawsze interpretowa\u0142o dane wej\u015bciowe jako tekst. Dla OpenWebUI istnieje narz\u0119dzie Whisper, ale nie by\u0142em w stanie sprawi\u0107, by dzia\u0142a\u0142o – chocia\u017c istnieje otwarty problem z natywnym wsparciem: https:\/\/github.com\/open-webui\/open-webui\/issues\/<\/a><\/p>\nPowiniene\u015b wiedzie\u0107, \u017ce testowane przeze mnie oprogramowanie nie jest przeznaczone do tworzenia grafiki, ale g\u0142\u00f3wnie do LLM przy u\u017cyciu formatu GUFF (tworzenie grafiki LLM najcz\u0119\u015bciej wykorzystuje format “safetensors”) – je\u015bli szukasz interfejsu u\u017cytkownika, kt\u00f3ry jest w stanie tworzy\u0107 obrazy, powiniene\u015b przyjrze\u0107 si\u0119 na przyk\u0142ad ComfyUI, kt\u00f3ry nie jest analizowany w tym artykule, poniewa\u017c nie jest to interfejs u\u017cytkownika do prostego u\u017cytku LLM. Wiem, \u017ce mo\u017cna po\u0142\u0105czy\u0107 OpenWebUI z ComfyUI, ale to znowu wykracza poza zakres tego por\u00f3wnania.<\/p>\n
Jedn\u0105 z rzeczy, kt\u00f3re s\u0105 reklamowane w AnythingLLM<\/b> jest to, \u017ce pozwala przetwarza\u0107 wiele r\u00f3\u017cnych typ\u00f3w dokument\u00f3w. Problem polega na tym, \u017ce – przynajmniej w moim przypadku – \u017ce AnythingLLM<\/b> lubi si\u0119 zawiesza\u0107. Przestaje przetwarza\u0107 dokument, je\u015bli napotka jaki\u015b b\u0142\u0105d i nie podaje informacji o tym, co si\u0119 sta\u0142o, ale zamiast tego musisz ponownie uruchomi\u0107 ca\u0142\u0105 aplikacj\u0119, aby zn\u00f3w zacz\u0119\u0142a dzia\u0142a\u0107. Ponadto pami\u0119taj, \u017ce ka\u017cdy przes\u0142any dokument jest dodawany do kolekcji, do kt\u00f3rej AnythingLLM<\/b> mo\u017ce uzyska\u0107 dost\u0119p w celu przysz\u0142ych czat\u00f3w. Czasami wydawa\u0142o mi si\u0119 to sprzeczne z intuicj\u0105, ale rozumiem logik\u0119 RAG w tym przypadku. Po wybraniu odpowiedniego modelu by\u0142 w stanie prawid\u0142owo opisa\u0107 r\u00f3wnie\u017c przes\u0142ane obrazy.<\/p>\n
W przypadku LM Studio<\/b> nie mia\u0142em \u017cadnych takich problem\u00f3w. Wszystko, co dostarczy\u0142em do LM Studio<\/b>, zosta\u0142o przetworzone prawid\u0142owo (lub wy\u015bwietlony zosta\u0142 zrozumia\u0142y b\u0142\u0105d). Po przes\u0142aniu otrzymasz powiadomienie, \u017ce dokument zostanie dodany do RAG \u2014 ale RAG to temat, kt\u00f3ry om\u00f3wi\u0119 p\u00f3\u017aniej. To oprogramowanie r\u00f3wnie\u017c przetworzy\u0142o przes\u0142ane przeze mnie obrazy bez \u017cadnych problem\u00f3w i pozwoli\u0142o LLM opisa\u0107, co si\u0119 na nich znajduje.<\/p>\n
Interfejs zarz\u0105dzania modelem AI i pobierania<\/h2>\n
Pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest zainstalowanie interfejsu u\u017cytkownika – co jest proste dla wszystkich interfejs\u00f3w z wyj\u0105tkiem OpenWebUI. Nast\u0119pn\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest pobranie modelu AI na lokalny komputer, aby m\u00f3c go uruchomi\u0107. P\u00f3\u017aniej oczywi\u015bcie powiniene\u015b m\u00f3c z \u0142atwo\u015bci\u0105 zarz\u0105dza\u0107 pobranymi modelami.<\/p>\n
AnythingLLM<\/h3>\n
W przypadku AnythingLLM<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 musisz zrobi\u0107, jest znalezienie ustawie\u0144 \u2014 znajduj\u0105 si\u0119 one w lewym dolnym rogu oprogramowania. Nast\u0119pnie przejd\u017a do \u201eWszystkich dostawc\u00f3w\u201d i wybierz jednego z menu rozwijanego lub pobierz sugerowany model za pomoc\u0105 konsoli. Na li\u015bcie rozwijanej zobaczysz wielu r\u00f3\u017cnych dostawc\u00f3w, wi\u0119c mi\u0142o, \u017ce obs\u0142uguj\u0105 wielu z nich. Obejmuje to nie tylko HuggingFace, ale tak\u017ce lokalnie uruchomionego Ollama i r\u00f3\u017cnych komercyjnych dostawc\u00f3w, takich jak OpenAI, Azure, Antropic itd. W programie nie ma opcji \u201eWyszukaj modele\u201d, wi\u0119c musisz wyszuka\u0107 je online, a nast\u0119pnie uruchomi\u0107 polecenie z interfejsu AnythingLLM<\/b>, aby je pobra\u0107. Interfejs nie pomo\u017ce Ci w wyborze r\u00f3\u017cnych rozmiar\u00f3w modeli ani ich filtrowaniu, ale po pobraniu zobaczysz, czy model jest tylko tekstowy, czy multimodalny. Nast\u0119pnie mo\u017cesz po prostu wr\u00f3ci\u0107 i otworzy\u0107 nowy w\u0105tek, kt\u00f3ry mo\u017cna zorganizowa\u0107 w folderach, a ka\u017cdy folder mo\u017ce mie\u0107 inne ustawienia dostawcy LLM. Taka organizacja jest bardzo przydatna, je\u015bli chcesz przetestowa\u0107 r\u00f3\u017cne modele (lub ustawienia modelu) na tych samych zapytaniach.<\/p>\n
<\/p>\n
LM Studio<\/h3>\n
W LM Studio<\/b> nie jest r\u00f3wnie\u017c oczywiste, gdzie pobra\u0107 modele. Po lewej stronie znajdziesz ikony, z kt\u00f3rych trzecia to \u201eMoje modele\u201d, ale nie znajdziesz jej tam. Musisz wpisa\u0107 co\u015b w polu wyszukiwania na g\u00f3rnym pasku wyszukiwania. Nast\u0119pnie zobaczysz, \u017ce otwiera si\u0119 nowe okno, w kt\u00f3rym mo\u017cesz zobaczy\u0107 wyniki z HuggingFace i znale\u017a\u0107 r\u00f3\u017cne modele. To okno pozwala wybra\u0107 wersj\u0119 lub rozmiar modelu, co jest bardzo przydatne, je\u015bli repozytorium ma r\u00f3\u017cne wersje tego samego LLM. Kiedy wr\u00f3cisz do \u201eCzatu\u201d, zauwa\u017cysz, \u017ce mo\u017cesz organizowa\u0107 czaty w folderach, tak jak w AnythingLLM.<\/p>\n
<\/p>\n
Sty<\/h3>\n
Podczas korzystania z Sty<\/b>, pierwsz\u0105 czynno\u015bci\u0105 powinno by\u0107 przej\u015bcie do Hub. W Hubie znajdziesz r\u00f3\u017cne modele, kt\u00f3re s\u0105 oznaczone, je\u015bli mog\u0105 by\u0107 wolne na Twoim urz\u0105dzeniu lub niedzia\u0142aj\u0105ce, lub je\u015bli mo\u017cesz ich u\u017cywa\u0107. Jest to bardzo fajna i przydatna funkcja, szczeg\u00f3lnie je\u015bli jeste\u015b nowicjuszem. Pomaga Ci ona okre\u015bli\u0107, kt\u00f3re modele chcesz wypr\u00f3bowa\u0107 lokalnie. W ustawieniach na samym dole mo\u017cesz zobaczy\u0107, \u017ce mo\u017cesz po\u0142\u0105czy\u0107 si\u0119 z wieloma r\u00f3\u017cnymi dostawcami komercyjnymi, takimi jak: Anthropic, MistralAI, OpenAI i tak dalej. Po pobraniu modelu, je\u015bli wr\u00f3cisz do czat\u00f3w, zauwa\u017cysz, \u017ce nie mo\u017cesz organizowa\u0107 czat\u00f3w w folderach. Chocia\u017c interfejs ma by\u0107 bardzo prosty, wi\u0119c rozumiem t\u0119 decyzj\u0119 dotycz\u0105c\u0105 interfejsu u\u017cytkownika.<\/p>\n
<\/p>\n
GPT4All<\/h3>\n
Dzi\u0119ki GPT4All<\/b> pierwsz\u0105 rzecz\u0105, kt\u00f3r\u0105 chcesz zrobi\u0107, jest przej\u015bcie do modeli po lewej stronie, gdzie mo\u017cesz znale\u017a\u0107 model, kt\u00f3ry chcesz pobra\u0107. Ma r\u00f3wnie\u017c bardzo przydatny interfejs, poniewa\u017c otrzymujesz parametry, takie jak rozmiar pliku, wymagana pami\u0119\u0107 RAM, parametry, kwantyzacja i typ. Na pocz\u0105tku otrzymasz propozycje modeli, ale mo\u017cesz u\u017cy\u0107 funkcji wyszukiwania, aby znale\u017a\u0107 cokolwiek z HuggingFace. Po pobraniu modelu oczywi\u015bcie wracasz do czat\u00f3w, gdzie mo\u017cesz rozpocz\u0105\u0107 rozmow\u0119. Tak jak w styczniu, nie otrzymasz folder\u00f3w, tylko w\u0105tki, w kt\u00f3rych mo\u017cesz u\u017cy\u0107 konkretnych modeli.<\/p>\n
<\/p>\n
OpenWebUI<\/h3>\n
W przypadku wszystkich powy\u017cszych opcji OpenWebUI<\/b> jest jedynym wyj\u0105tkiem, w kt\u00f3rym nie otrzymasz instalatora. Zamiast tego musisz zainstalowa\u0107 Pythona, a nast\u0119pnie obs\u0142ugiwa\u0107 aplikacj\u0119. Jest to powa\u017cna wada, je\u015bli nie jeste\u015b osob\u0105 korzystaj\u0105c\u0105 z konsoli. Chocia\u017c zdecydowa\u0142em si\u0119 na uwzgl\u0119dnienie go ze wzgl\u0119du na dost\u0119pne funkcjonalno\u015bci i poniewa\u017c instalacja polega w rzeczywisto\u015bci na uruchomieniu dw\u00f3ch polece\u0144 z konsoli. Domy\u015blnie OpenWebUI<\/b> u\u017cywa Ollama jako \u017ar\u00f3d\u0142a modeli i nie otrzymujesz \u017cadnego interfejsu do wyszukiwania i pobierania modeli z panelu administracyjnego. Aby po\u0142\u0105czy\u0107 us\u0142ugi komercyjne, musisz wprowadzi\u0107 adres URL i klucz API zgodny z OpenAI. Na pocz\u0105tku zostaniesz poproszony o utworzenie konta \u2014 poniewa\u017c jest to konto lokalne, mo\u017cesz bez obaw u\u017cywa\u0107 fikcyjnych danych (jestem \u015bwiadomy, \u017ce mo\u017cesz to wy\u0142\u0105czy\u0107 podczas instalacji Docker). Mo\u017cesz organizowa\u0107 konwersacje w folderach i czatach, a interfejs u\u017cytkownika jest bardzo podobny do ChatGPT, wi\u0119c taka kombinacja by\u0142aby naj\u0142atwiejszym wyborem, je\u015bli chcesz uruchomi\u0107 OpenWebUI<\/b> online.<\/p>\n
<\/p>\n
Przetwarzanie plik\u00f3w w lokalnym czacie AI<\/h2>\n
Mo\u017cliwo\u015b\u0107 analizowania plik\u00f3w, kt\u00f3re dostarcz\u0119 do modelu, jest jedn\u0105 z najwa\u017cniejszych rzeczy, kt\u00f3rych wymagam od interfejsu. Bez niej m\u00f3g\u0142bym po prostu u\u017cy\u0107 wiersza polece\u0144 z Ollam\u0105 zamiast instalowa\u0107 pe\u0142ny interfejs. Chcia\u0142em sprawdzi\u0107, czy interfejs mo\u017ce przetwarza\u0107 przes\u0142ane dokumenty, przekazywa\u0107 je do modelu i zwraca\u0107 znacz\u0105ce informacje. Podczas gdy w przypadku prostych plik\u00f3w tekstowych nie stanowi\u0142o to G\u0141\u00d3WNIE problemu, warto zauwa\u017cy\u0107, \u017ce szuka\u0142em r\u00f3wnie\u017c obraz\u00f3w (na przyk\u0142ad do cel\u00f3w OCR) i transkrypcji g\u0142osu. \u017badne z narz\u0119dzi nie by\u0142o w stanie faktycznie przepisa\u0107 d\u017awi\u0119ku od razu po wyj\u0119ciu z pude\u0142ka: AnythingLLM nie mog\u0142o pobra\u0107 modelu Whisper, Jan i GPT4All nie mog\u0142y przes\u0142a\u0107 takich plik\u00f3w, LM Studio zawsze interpretowa\u0142o dane wej\u015bciowe jako tekst. Dla OpenWebUI istnieje narz\u0119dzie Whisper, ale nie by\u0142em w stanie sprawi\u0107, by dzia\u0142a\u0142o – chocia\u017c istnieje otwarty problem z natywnym wsparciem: https:\/\/github.com\/open-webui\/open-webui\/issues\/<\/a><\/p>\n Powiniene\u015b wiedzie\u0107, \u017ce testowane przeze mnie oprogramowanie nie jest przeznaczone do tworzenia grafiki, ale g\u0142\u00f3wnie do LLM przy u\u017cyciu formatu GUFF (tworzenie grafiki LLM najcz\u0119\u015bciej wykorzystuje format “safetensors”) – je\u015bli szukasz interfejsu u\u017cytkownika, kt\u00f3ry jest w stanie tworzy\u0107 obrazy, powiniene\u015b przyjrze\u0107 si\u0119 na przyk\u0142ad ComfyUI, kt\u00f3ry nie jest analizowany w tym artykule, poniewa\u017c nie jest to interfejs u\u017cytkownika do prostego u\u017cytku LLM. Wiem, \u017ce mo\u017cna po\u0142\u0105czy\u0107 OpenWebUI z ComfyUI, ale to znowu wykracza poza zakres tego por\u00f3wnania.<\/p>\n Jedn\u0105 z rzeczy, kt\u00f3re s\u0105 reklamowane w AnythingLLM<\/b> jest to, \u017ce pozwala przetwarza\u0107 wiele r\u00f3\u017cnych typ\u00f3w dokument\u00f3w. Problem polega na tym, \u017ce – przynajmniej w moim przypadku – \u017ce AnythingLLM<\/b> lubi si\u0119 zawiesza\u0107. Przestaje przetwarza\u0107 dokument, je\u015bli napotka jaki\u015b b\u0142\u0105d i nie podaje informacji o tym, co si\u0119 sta\u0142o, ale zamiast tego musisz ponownie uruchomi\u0107 ca\u0142\u0105 aplikacj\u0119, aby zn\u00f3w zacz\u0119\u0142a dzia\u0142a\u0107. Ponadto pami\u0119taj, \u017ce ka\u017cdy przes\u0142any dokument jest dodawany do kolekcji, do kt\u00f3rej AnythingLLM<\/b> mo\u017ce uzyska\u0107 dost\u0119p w celu przysz\u0142ych czat\u00f3w. Czasami wydawa\u0142o mi si\u0119 to sprzeczne z intuicj\u0105, ale rozumiem logik\u0119 RAG w tym przypadku. Po wybraniu odpowiedniego modelu by\u0142 w stanie prawid\u0142owo opisa\u0107 r\u00f3wnie\u017c przes\u0142ane obrazy.<\/p>\n W przypadku LM Studio<\/b> nie mia\u0142em \u017cadnych takich problem\u00f3w. Wszystko, co dostarczy\u0142em do LM Studio<\/b>, zosta\u0142o przetworzone prawid\u0142owo (lub wy\u015bwietlony zosta\u0142 zrozumia\u0142y b\u0142\u0105d). Po przes\u0142aniu otrzymasz powiadomienie, \u017ce dokument zostanie dodany do RAG \u2014 ale RAG to temat, kt\u00f3ry om\u00f3wi\u0119 p\u00f3\u017aniej. To oprogramowanie r\u00f3wnie\u017c przetworzy\u0142o przes\u0142ane przeze mnie obrazy bez \u017cadnych problem\u00f3w i pozwoli\u0142o LLM opisa\u0107, co si\u0119 na nich znajduje.<\/p>\n