Hahowise | 對於產品跨出 AI 的第一步 - 我們如何用 AI 來幫助學習者探索自己？
期望可以做出一個對於世界稍微不一樣的東西，到底對我來說有多重要？
要做一個 LLMs 為基礎的應用，我需要注意什麼？
這篇文章會跟你分享，我與我們團隊開發 LLMs 的應用時一些心路歷程
- 這個問題一直是我經過創業後的失敗、背叛、爭吵後，唯一留在我腦海中對我而言至關重要的一個問題。
2023 年 3 月，全世界都為 AIGC 的體驗而瘋狂著迷，任何 AICG 是通往 AGI 的道路、AI 會造成大量失業的討論都如雪片般飛奔而來。除此之外，應用面更是打著 「AI 一日，人間一年」的方式推陳出新。今天有那個新應用，明天也有那個新開放白名單申請。那陣子的時光每天「排隊」成了每日日程安排。
OpenAI 的 GPT-3.5，GPT-4 推出的時候更是振奮了所有領域的人，大家都對 AI 充滿熱情、希望與期待。各家廠商都想方設法要在此基礎上推出叱咤風雲的運用。我自己也積極地實現、分享這些實作的心得。現在已經可以幫助我的日常工作、閱讀文章、收聽 Podcast、看 YouTube 影片總結、生成 Code 等功能（如下圖）。
Hahowise - 是什麼？
經過接近半年的打磨、分析與開發，我與我們的團隊已經準備好推出 Hahowise - 一款對於 Hahow 這款線上平台，全方位幫助老師創作者、學生與日常運營等而成的生態系應用。在第一個版本 Beta v1.0 中，我們提供學生可以盡可能地探索自己，了解自己，然後從中找到有興趣的學習課程與相關的知識。
第一個版本中，我們團隊第一步討論的想法很單純，就是「我們接下來要開發的應用，使用 AI 能不能做到以前做不到的事情？」是的，在這一波的 AIGC 浪潮中，我們的核心想法很簡單，我們開發的應用是要更好的服務用戶，如果 AI 現階段的開發與應用，並不能改變我們更好地提供價值，那我們寧可不做。
時間回到半年前，我們非常積極的發展我們對於用戶「搜索」的價值提供。用戶想搜到的可能不是課程，而是他已知或者未知的知識。用戶應該要可以加強他的某個技能。或者培養他某個不會的技能，又或者意外覺得好奇的知識、愛好或者興趣。
百萬暢銷書《學習如何學習》的作者 Barbara Oakley，曾在他的新書《跨越式成長：思維轉換重塑你的工作和生活》中提到過「許多知識或許當下毫無相關，但他通常是為你未來的某些時刻發揮至關重要的影響，連點成線，成面，甚至是知識結晶。往往是那些看似無用的知識構成了下一個職業生涯中強而有力的基礎。」
要說這點讓我印象最深刻的就是：蘋果公司創辦人 Jobs 最廣為人知的就是他在學習書法後，結合了產品設計，讓 macOS 上的字體有了「靈魂」
那個做出超強計算軟體的 Wolfram，沃爾夫勒姆曾經說過：「人的最高級的工作，是發現新的可能性。這種決策是藝術而不是技術。」而我認為，要達成這個工作，唯有不斷學習這條路。
而我們希望 Hahowise 的誕生，能夠加速這些創意思維的複雜網路更加的活躍，激發出更多創意與思考，激發出學習者的那些隱藏特質，也回到 Hahow 的核心思想，探索自己，成為你自己。
But, How to …?
「如何做」是我這三個月被問到的最多的問題。某種程度上講是這一生都在思考的問題。從我還是學生時其實我就發現，我會為了我做的東西有人用、我提供的資料或者資訊有人受益而感到高興。我很早就在我的個人座右銘寫下：「在宇宙創造點聲音。」But, How?
最早在高中的時候，我接觸到了 Coding，那時期中考大家都很懊惱，對於 Coding 感到困惑與困難。那個時候我做了一個為了準備期中期末考的程式，提供班上的同學下載使用，該應用會幫助你複習會考的程式碼等相關基礎概念。當時這個應用有人下載或跟我說謝謝時，我真心地覺得那比我一個人考滿分還要開心。
此後，我對於做一個對其他人有幫助的事情感到開心、有意義。包含大學時期的程式課，結合金融做出了基金報酬率計算的程式，後來開課簡易課幫助同學了解交易與證券市場真正交易的樣子。出社會後有機會到其他大學擔任客座講師分享一個軟體應用開發是如何從 0 開始到上線的。到後來創業時分享自家的如何從 0 開始培養 DevOps 的文化等等。這些過往的分享對我來說是打從心裡感到喜悅。
所以在做 Hahowise 的專案時，我也是抱持著這種心態與神諭在向前走的，「我應該如何真正幫助那些想自我探索、學習與知識擴充的自我驅動者？」
在開發的過程中其實遇到了不少的問題，大家如果有所體驗的話，應該都會覺得 AIGC 某種程度上是難以控制的。有些狀況不能當作他是一個系統，而更多的要把它當作一個人類。他富有創意但也會犯錯。你需要給他案例模仿、需要告訴他你偏向什麼，而不喜歡什麼。什麼可以做，什麼不能做。確定他理解你的需求，真的很像是一個需要你幫他注入靈魂的生物體。而那些 Prompt 或許就是他的靈魂，他的應用框架是他的軀體，靈魂加上軀體，生命得以呈現。
說這麼多，可以告訴我做一個 LLM 應用你需要什麼關鍵組件？
好的，讓我們回到正題，做一個 LLM 應用，你通常有幾個問題要先釐清：
- 理解 LLM 也是一種技術，不要把它當作最終解決方案。他依然需要依靠你過往的軟體開發知識，包含架構、抽象、服務溝通、UI/UX、自動化、持續交付...等
- 如何系統設計你的 Prompt？把他當作一種程式語言來使用？
- 如何抽象你的每一個 LLMs 的 Question & Answer？或者像是 Chain 把他們組合起來？
- 如何讓你的 LLM 與你的系統甚至微服務流暢地互相溝通與系統功能、資料的調用？
- 可觀測性 - 你如何評估、觀測你的 LLM 應用？
- 安全性 - 你如何避免 Prompt Injection & 有毒或違規的 Chat 內容？
- 成本管理 - 如何監測你的成本，如同監測雲服務基礎設施的成本？
- 性能管理 - 如何在 LLM 天生的限制與速度下提升性能？
- LLM’s UI & UX
你可以發現這些問題，是不是似曾相識？其實跟以前的軟體開發並沒有太大的不同，都是這些本質的、第一性原理所構成的。把這些問題釐清之後，你會發現現在有許多解決方案是為此而生的。
LangChain
LangChain 這個項目非常火紅，當你聽要有人要做一個 LLMs 應用時，有很大的機會都會聽到 LangChain。不過這邊想拋出一個問題思考，「是搞懂了做 LLM 需要什麼的第一性原理而發現 LangChain 可以解決這些問題？還是反過來？」
對我來說，我的答案，很明顯是前者。
LangChain 這個項目非常火紅，並且生態中有許多貢獻者，非常活躍。LangChain 中有幾個關鍵組件：
- LLMs - Model 的抽象層，提供統一調用不同 Model 的能力
- Chain - LLMs 的 Question & Answer 的一個抽象層，是一個 LLMs 應用的基本單位，其中包含 Prompt Temp、Question 與 Answer，Chain 可以透過 Prompt 提供各種功能，並且可以互相組合使用。
- Memory - LLMs 應用中的記憶基礎單位
- Agent - 一個規劃者與數個 Chain 組合而成的代理，為了解決一個問題或這達成一個目標而存在
- Callbacks - 讓你在使用 LLMs 時，可以觀測到任何動作，幫助你完成系統開發
- Retrieval - 檢索任何文件、資料的抽象層，理論上透過向量資料庫你可以完成任何形式文件的檢索
後記
知名 UX 講師 Soking 在前幾天曾經發文討論過這些線上學習的相關議題，我覺得很值得拿出來討論看看，也是我們內部不斷問自己的問題，下列引用部分內容：
我認為以 PPA、SAT、Hahow 等線上教育平台與消費者、開課者、制課者、平台、行銷、系統商等關係，在心智模型上更像傳統出版業的讀者、作者、編輯、出版社、行銷、印刷廠。...
這個關係越穩固，就越難跳脫刻板印象，換成網路效應的思考框架，導致明明應該是在打造新的事物，卻套用了舊的心智模型，限制了想像的空間，殊為可惜。
但新的事物在剛開始的時候往往會經歷這類階段，就像電話技術剛發明的時候，人們只想到要用來聆聽歌劇院的表演。
我們面對網路如何改變教育的這件事情，我相信還有很多未知的探索空間。
這也是我對網路如何改變事物的信仰。
...
我認為學習是奢侈品，不僅僅是教材，教師資源需要研究、備課、出題、出作業、改作業、討論、諮詢等。
還需要學習者有身心餘裕，也需要環境與豐富的互動回饋。
我非常認同這些論述，這也是 Hahow 正在致力於改變的事情，平台跟創作者不應該僅僅只是傳統出版社的關係。平台應該有更多「學習」生態系的概念，幫助學習者在平台上學習時優於在其他平台上，也就是所謂的平台幫課程「賦能」。
而我們認為 AIGC 很有機會幫助我們達成這件事情。如同 Soking 老師說的沒錯，學習的成本相當奢侈，人力等資源成本非常高。想要學習效果特別好可能就需要一個隨身助教，但我們現階段無法幫助每個人配備一個「奢侈的」真人助教。
不過，與此同時事情有了一些轉機，當 AI 技術日益成熟之後，我們有希望做到這件事情。
未來與期望
理解了 LLMs 的第一性原理，也就不難看出 Hahowise 是如何從中誕生而出的，未來我們會在此基礎上設計更多功能，全方位的圍繞「學習」這件事情展開，如何讓學習更加愉悅，到甚至每個人都可以擁有一個私人助教，我想這是可能可以努力的方向。
很感謝身為讀者的你看到這裡，如果你有什麼想法、疑問或者回饋要給我，歡迎留言或者寄信到我的 Email。期待與你的討論，我們下次見。
哦對了，如果你想從 PM 的視角來看這次的軟體開發，可以參考我夥伴的這篇文章：PM 分享 | AI 小白如何從 0 到 1 打造 AI 產品？
最後別忘了，邀請你一同試用 Hahowise Beta
