親愛的讀者朋友們，今天我要給大家介紹一個(gè)強(qiáng)大的開源工具——AntSK。這個(gè)工具能讓您在沒有Internet連接時(shí)依然能使用人工智能知識(shí)庫對(duì)話和查詢，想象一下，即使在無網(wǎng)絡(luò)的環(huán)境中，您也能與AI進(jìn)行愉快的交流！
項(xiàng)目地址：
https://github.com/xuzeyu91/AntSK
AntSK不僅免費(fèi)、開源，更妙的是它可以完全離線運(yùn)行，不再依賴于OpenAI的API接口。它的核心是集成了LLamaSharp，讓我們可以在本地機(jī)器上運(yùn)行g(shù)guf格式的模型。本次教程中，我們使用的是“tinyllama-1.1b-chat.gguf”模型來進(jìn)行測試。
初探AntSK的配置世界
配置可能是很多人的噩夢，但AntSK的配置簡單明了。首先，看到配置文件時(shí)，我們主要關(guān)注以下幾個(gè)要點(diǎn)：
'LLamaSharp': { 'Chat': 'D:\\Code\\AI\\AntBlazor\\model\\tinyllama-1.1b-chat.gguf', 'Embedding': 'D:\\Code\\AI\\AntBlazor\\model\\tinyllama-1.1b-chat.gguf'},
在這里，我的Embedding和Chat都是配置成相同的tinyllama模型。你可能會(huì)問，為什么需要兩個(gè)相同的路徑？這是因?yàn)锳ntSK提供了聊天和語義嵌入兩種功能，二者可以使用同一個(gè)模型，也可以分別配置不同的模型以滿足不同的需求。
下一步，我們要模擬設(shè)置OpenAI的終端：
'OpenAIOption': {'EndPoint': 'https://localhost:5001/llama/','Key': '這個(gè)用本地可以隨便寫','Model': '這個(gè)用本地可以隨便寫','EmbeddingModel': '這個(gè)用本地可以隨便寫'},
在實(shí)際本地運(yùn)行時(shí)，上述的“EndPoint”將是服務(wù)的本地地址，而其他的Key、Model等字段在本地運(yùn)行時(shí)并不會(huì)被實(shí)際驗(yàn)證，所以你可以隨意填寫。
激動(dòng)人心的第一次啟動(dòng)
當(dāng)我們配置好所有必要的參數(shù)之后，就可以啟動(dòng)程序，看看它第一次呼吸的樣子了：
你看，AI已經(jīng)在本地運(yùn)行起來了，一切準(zhǔn)備就緒后，界面會(huì)展示給我們一個(gè)期待已久的聊天窗口。
知識(shí)庫文檔的導(dǎo)入與應(yīng)用
AntSK支持導(dǎo)入知識(shí)庫文檔，這意味著你可以將專業(yè)知識(shí)、文檔或是你日常積累的筆記嵌入到系統(tǒng)中：
有了這些定制化的文檔后，AntSK的AI能針對(duì)特定的內(nèi)容給出更為精準(zhǔn)的反饋和答案。
實(shí)戰(zhàn)測試：和AI進(jìn)行問答
終于到了最激動(dòng)人心的時(shí)刻——我對(duì)AntSK進(jìn)行了一系列的問答測試，看看它的表現(xiàn)如何：
備注：這個(gè)是離線運(yùn)行效果，不依賴LLMAPI而是直接本地加載模型，并且我使用的是CPU進(jìn)行的知識(shí)庫文檔導(dǎo)入和問答
從測試結(jié)果來看，AntSK回答問題流暢、準(zhǔn)確，給人近乎實(shí)時(shí)聊天的體驗(yàn)?？梢韵胂?，在沒有網(wǎng)絡(luò)的情況下，這樣的工具將極大地方便我們的生活和工作。
聯(lián)系客服
