Tumblr of Soul & Shell

認識 LangChain 讓 LLM 快速落地的好幫手 在這幾年 LLM 應用爆發的浪潮中，真正讓 AI 變成「可以落地的應用」，其實不是模型本身，而是你怎麼把它接進系統、接進資料、接進流程。這正是 LangChain 存在的理由。LangChain 是一個採用 MIT License 的開源專案（2014 年起公開發展），定位非常清楚：它不是在跟 OpenAI、Claude 或任何 LLM 打對台，而是負責把這些模型「變成可以用在產品裡的元件」。你可以把它理解成一個 LLM 應用的中介層框架，幫你統一整合語言模型、向量資料庫、API、工具函式與業務流程，讓你用工程方式來開發 AI，而不是用 Prompt 土法煉鋼。 如果你在做 RAG（Retrieval-Augmented Generation），LangChain…

今天來介紹一個線上的 AI 人聲分離工具，早期如果想要自己練歌唱唱，就需要花錢去 KTV 或卡啦 OK 這樣的場所，如果想要在家自己練練歌也不容易取得只有伴唱的音樂檔案。 早期其實有很多可以去除人聲的工具，但多數都是利用左右聲道的數據進行計算，能實現的效果有限。現在 AI 發展非常的迅速，針對聲音的處理也有很多成熟的產品，隨著 Web 技術的普及，透過雲端技術線上即時處理聲音的過程已經非常絲滑。這陣子接觸了一些線上 AI 人聲去除服務，順便介紹一下 EaseUS Vocal Remover 這個雲端服務。 音訊分離的實現原理是什麼？ 當前資訊科技已經發展出許多先進的方法來分離歌曲中的人聲與配樂，這個技術可以統稱為音訊源分離 (Audio Source Separation)，其中針對「主唱與背景音樂分離」的應用稱為 Vocal Separation 或 Music…

家長安心神器！MoniMaster for LINE 教您輕鬆管理孩子的網絡行為

兒童與青少年網路行為守護 隨著智慧型手機和社交媒體的普及，未成年人的網絡使用已成為現代生活的重要組成部分。根據聯合國的報告，全球約79%的青少年積極使用互聯網，LINE作為亞洲地區深受歡迎的即時通訊平台，擁有超過4億活躍用戶，其中相當一部分是未成年用戶。然而，網絡的開放性和匿名性也帶來了不可忽視的風險，例如陌生人騷擾、網絡欺凌、不當內容的傳播以及沉迷社交媒體等問題，讓家長憂心忡忡。 在希臘，政府推出了針對青少年的“兒童錢包”應用，幫助父母監控孩子的數位行為，這反映了技術工具在保護未成年人方面的重要性。同樣，MoniMaster for LINE 專為家長設計，旨在幫助家長掌控孩子的網絡行為，提供全方位的守護，讓孩子的網絡生活更安全。 MoniMaster for LINE…

目前的 LLM RAG 解決了什麼問題？ 當前的人工智慧技術中，LLM (大型語言模型) 和 RAG (檢索增強生成) 結合是一種強大的應用方式。簡單來說，這是一種將「AI LLM 的智慧」與「資料庫的知識」結合起來的方法。LLM 就像是一位非常聰明的助手，擅長理解和生成自然語言，能回答問題、完成文章，甚至進行創意寫作。但它的知識是來自於訓練過程，並非即時更新，因此可能會有過時或不完整的資訊。RAG 則解決了這個問題，RAG 的核心是利用檢索技術，即在需要的時候，從外部資料庫或知識庫中提取最新、相關的資訊，再將這些資訊傳遞給 LLM，讓它能結合這些資訊生成更準確、更有依據的回答。可以說是有效率的彌補新資訊對於 LLM 訓練時不存在的神經網路參數記憶，大幅度提昇回應能力。 舉個例子：想像你在問一個問題，比如「今年最流行的手機是哪款？」LLM 本身可能無法知道最新的資訊。但通過…

Ollama 介紹 Ollama 是一個專注於大語言模型（LLM, Large Language Models）應用的開源專案，旨在幫助開發者輕鬆部署和使用私有的大型語言模型，而無需依賴外部的雲端服務或外部 API，這些模型不僅僅只有包括 Meta Llama Model，也提供其他一些 Open LLM Model，像是 Llama 3.3, Phi 3, Mistral, Gemma 2。該專案的核心目的是提供高效、安全、可控的 LLM 推論環境建制。大致上有以下特性： 採用本地機器運行 Ollama 支援在自己的設備上載入模型，無需將數據上傳至雲端，確保數據隱私與安全。通過優化模型運行效率，即使在資源有限的設備上也能流暢進行推論。 開源與可客製化 Ollama 是一個採用 MIT License…

關於 Windows 11 遠端桌面連線人數限制 Windows 11 所有版本是禁止 RDP 多使用者同時連線登入使用，這裡測試了網路傳說修改 DLL 的方法來處理多人連線。正常第二位使用者會踢掉前面的用戶，同時多條 RDP 連線的功能只允許在 Windows Server 的版本，微軟官方論壇有明確的說明 Windows 11 RDP 連線限制。 本文聲明：修改 Windows DLL 的方法不是正規的方式，可能會違反 Microsoft 授權或條款，本文僅僅提供實驗 測試的方法如下： 關閉「遠端桌面」功能 由於我們需要修改 termsrv.dll 檔案，所以需要先關閉服務才可以修改。進入「設定 > 系統 > 遠端桌面」進行關閉，如下： 關閉後重新啟動 Windows 11 安裝「HxD mh-nexus」文字編輯器 HxD mh-nexus…

NVIDIA NIM 介紹 2024 NVIDIA Computex 黃仁勳執行長發表了 NIM，NIM 是一個推論微服務隨處部署的架構，使用者可以在雲端或自己的伺服器建立 AI 推論微服務，並且可以整合 K8S 進行動態擴充機制。同時 NVIDIA NIM 也是 NVIDIA AI Enterprise 的一部分，這套易於使用的微服務可提升基礎模型在任何雲端或資料中心的部署速度，且有助於保障資料安全。NVIDIA 官方網站有針對 NIM Development 提供豐富的介紹與文件。 除了推論服務的部屬 NIM 也針對模型進行了 CUDA Runtime 的最佳化，整體的框架如下： Windows 11 安裝 NIM 服務 一般安裝 NIM 如果是使用 Linux 作業系統的話會是最順利的過程，但今天要介紹的是透過 Windows 11 內建的 Windows System…

實現 Omniverse Composer 遠端連線操作的 3 個方法

之前有一個需求，就是需要讓不同 Client 連線進某一台比較強大的 GPU Workstation 進行 Omniverse 操作，並且可以分享硬體資源給其他人。也或者在其他沒有 GPU 的電腦來連線操作雲端上的 Omniverse，目前可以透過三種方法實現： 透過 Linux X-Window 或 Windows RDP 遠端桌面連線 透過 Omniverse Streaming Client 透過 Omniverse WebRTC Browser Client 以下介紹第 2 與 3 種方式 使用 Omniverse Streaming Client 遠端連線 先安裝專用的 Extension 外掛程式，在 Omniverse Composer 進入選單 Windows > Extensions 功能，如下： 安裝 LIVESTREAM NATIVE BACKEND…

NVIDIA Omniverse Nucleus Server Backup

需要備份 Omniverse Nucleus Server 可以透過 Nucleus Tools, 檔案 Rsync 與實做 omni.client.copy API 三種方法來實現，最後可以將備份的檔案透過 Git LFS 進行管理與版本控制。其實 Omniverse Nucleus 本身對於版本控制是使用 Checkpoint 機制，但是我們這裡是針對低階的備份做討論，主要是確保災難復原與高可用的實現方案。 Nucleus Tools 進行備份 Nucleus Server 這個 Nucleus Tools Package 只有提供在 Enterprise Nucleus Server 屬於付費的版本，如果是使用 Nucleus Workstation 那就很抱歉了，窮人請往下走。如果有安裝 Nucleus Tools 可以透過 docker 參考以下命令 dump_backup,…

建制自己私有的 Docker Registry 以往我們的 Docker Image 都是上傳到 Docker Hub，如果自己在開發上有很多專案需要管理，或者需要自訂複雜的帳號權限，這時候就需要自行建立 Docker Registry 來存放 Image。這裡我們手把手教學如何建立自己的 Harbor Server，並且透過 Caddy 全自動管理 SSL 憑證，這樣一來就可以大量減少維護的時間，也可以有自己專用的 Docker Registry。 Harbor Project 介紹 Harbor 是一個 Open Source 的 Docker Registry，使用 Apache License 進行發布，可以透過 Docker Compose 的方式啟動整個服務，安裝完成後提供完整的 Web 管理介面與服務，可以自訂專案與各種角色成員，算是非常夠用了。畫面如下： Docker…

使用 IaaS 雲端服務可以享受資源動態調整的便利性，空間不足夠的時候也可以直接動態擴充磁碟，最近剛好有遇到這個問題。順便紀錄一下 Linux Disk Resize 的步驟與指令。 我們採用 Snapshop 重新建立新磁碟的方法，這種方法不但快速而且有備份，由於不是對原本的磁碟直接修改，所以如果失敗的話不會影響原始的資料。由於是資料磁碟的擴充，所以整個過程基本上 VM 不需要關機，維護的時間也很短。 透過 GCP / AWS 建立 Snapshot Disk 每個雲端服務的方式都差不多，這裡不詳細介紹。主要是先停止系統服務，然後 umount 卸載要擴充的 Disk，在雲服務 Console 先對磁碟建立 Snapshot，然後針對這個 Snapshot 建立一個比較大的新磁碟，最後掛載到 VM…

透過了解 WhatsApp Hack ，讓使用者從多方面來防範並提昇資訊安全

你的 WhatsApp 是否有被入侵的風險 WhatsApp 在歐美地區是世界上最出名的社交訊息應用程式之一，WhatsApp 每天傳送海量的訊息，這些訊息在網路傳輸上可能會面臨著巨大的安全風險。本文通過介紹入侵 WhatsApp（WhatsApp Hack）的方式來說明如何防止 WhatsApp 安全性問題，讓資訊安全可以更上一層樓。以下介紹四種 WhatsApp 常被使用的攻擊方式： 通過第三方應用程式監聽 WhatsApp 封包 監聽 WhatsApp 的方法有很多，其中最簡單易行的是使用嗅探應用程式，而 mSpy 又是其中最容易操作、使用最廣的手機應用。 mSpy 是一款免費的手機監控應用程式。一旦 mSpy 被安裝到目標對象的手機，它的 WhatsApp 功能就可以直接啟用，它能夠使你非常輕鬆地從目標對象手機中的 WhatsApp 中監聽到以下內容： 監控 WhatsApp…

透過 Cloudflare API 實現 Cloudflare DDNS 本文教學在 Linux 下如何透過免費的 Cloudflare DNS 服務組合 Cloudflare API 實現 Cloudflare DDNS 的效果，如果伺服器可能會有動態的網路位置 (比如 PPPoE 連線) 就可以透過定時更新 DNS IP 來達到動態網址對應的效果，同時也附上 Cron Shell Script 動態更新程式碼，只要透過 Linux Cron 執行 Script 就可以自動更新 Server DNS 對應的 IP 了。讓需要 PPPoE 撥接上網的浮動 IP 也可以方便地管理主機位置。 什麽是 DDNS 動態域名系統？ DDNS (Dynamic Domain Name System) 中文為動態域名系統，是指一種讓使用者可以透過一個固定的域名來連接到一個網路裝置的服務。 傳統的…

Keras 教學 – 透過微調預先訓練神經網路法訓練高準確度 CNN 模型

什麽是微調預先訓練神經網路法？ 簡單來說就是「使用已經訓練好的模型進行調整與重新訓練」，微調預先訓練神經網路法 (Fine-tuning a pretrained network) 是指在 CNN 訓練的時候，使用已經預先訓練好的神經網路模型的權重作為初始權重，然後再進行微調的過程。這種方法的目的是利用已經訓練好的模型所學習到的知識，來加快 CNN 的訓練速度並提高準確度。 常見的預先訓練神經網路有 Google 的 Inception 和 ImageNet，以及 Microsoft 的 ResNet。這些預先訓練的模型已經在大量圖像數據上進行過訓練，因此能夠提供豐富的圖像特徵。 在使用微調預先訓練神經網路法的時候，通常會將預先訓練的模型的某些層的權重固定，而只對其他層進行微調。這樣可以避免預先訓練模型所學習到的知識被破壞，同時又能夠利用這些知識來加快 CNN…

計算 MySQL Server 需要使用多少記憶體

調整 MySQL 設定來規劃 Server 記憶體使用 當 MySQL 使用的記憶體超過系統上限時，Linux 基於預設的管理機制，就會對行程進行刪除。當 MySQL 觸發 OOM 的時候，常常 mysqld 會被 kill 以後被 supervisor 重啟。前陣子剛好處理大量連線與 Query 的問題，所以順便紀錄一下。 資料庫其實是一個需要大量記憶體與 I/O 的服務，尤其是關聯資料在 Join Table 時常常需要大量的資源。以 MySQL 來說，資料讀寫存取都需要在記憶體中完成，最常優化與加速的方法就是加大 Buffer Pool 的記憶體使用空間，但是這其實不是唯一可以控制記憶體的方法。因為 MySQL 針對每一條連線都有定義可以使用的記憶體大小，如果要計算目前 MySQL 設定可能會消耗的最大記憶體，可以透過以下的 Query 來計算。 SELECT…

Keras 教學 – 透過預先訓練神經網路特徵萃取法快速訓練高準確度模型

預先訓練神經網路的特徵萃取法 我們知道 CNN 卷積層的訓練需要很多數據與運算資源，在資料集不足的情況下，從頭訓練卷積層不是一個聰明的方法。何不直接採用大神訓練好的卷積層，加速 AI Time to Market。這樣的方法稱為預先訓練神經網路的特徵萃取法 (Feature extraction with a pertrained network)，由於在 CNN 架構中訓練 Convolutional Layer 成本是很高的，太少的樣本不足以訓練出具有特徵擷取意義的網路。Convolutional Layer 如下： Convolutional 主要用來擷取特徵，在不同的業務需求下，前端對於影響的特徵擷取其實是可以共用的。所以我們想站在巨人的肩膀上，直接使用一些典型網路已經訓練好的 Convolutional Base 來擷取特徵，透過特徵重新訓練自己的 Full…