[AIGC note]How to develop a GenAI product?

From product managers' aspect to view GenAI

Posted by Jamie on Tuesday, April 16, 2024

Preface

這是< Reimagined: Building Products with Generative AIReimagined: Building Products with Generative AI>這本書的3位作者,在一次的線上分享時的內容筆記。三位作者都是在矽谷大廠的資深產品經理,在這段事件,許多新創公司CEO、產品經理、工程師都有跟他們詢問有關開發AI native產品的細節、想法等等,他們便一同岀了這本書。

image

Main Steps of GenAI Product

由於目前整個LLM產業都還在早期階段,還沒有人能夠提出完整的解決方案,而書中作者們提出了四步來試圖總結GenAI 產品的開發流程:

  • Gen AI Superpower
  • Prompt Design
  • Define Trust Framework
  • AI UI/UX

第一步 Gen AI Superpower

最一開始,要確定這個產品,是否只能因為GenAI賦能而開發出來、而不是跟風為了GenAI而GenAI。那麼,要如何確認這一點呢?首先便是要知道GenAI的強項在哪些方面:

GenAI 能夠賦能的切入點

  • 創意內容生成
  • 資料生成、總結、預測
  • 任務生成、規劃、執行
  • 個性化
  • 實時交互
  • Access Democratization(不知道怎麼翻,不過意思大概是只知識、技能等信息不再難以取得)

所以,如果要用GenAI來開發產品,最好從以上角度來切入;不然,前GPT時代其實應該就有方法可以完成了。

有了以上切入點,接下來就是要「量測」這個產品在多大程度上適合用GenAI來解決

第二步:設計Prompt

接著,就要為GenAI產品設計prompt,這個部分網上有很多內容,包含角色、口吻、回覆格式、任務範例等等。不過如果要想要在GenAI的回覆內容和其他產品有區別性,那麼還需要考慮到更多細節,不過就是case by case了(這個部分可能書中有更多的解釋)

第三步:搭建可信任框架

使用GenAI,一個是用戶的輸入可能是較為私人的資料、另一個是生成內容注定有一定的隨機性,要如何把控GenAI的生成、讓用戶信任並且使用呢?目前沒有一個絕對的方法,不過「可信任」可以從以下角度來切入、做驗證和改善:

  • 隱私性:用戶的對話如果會被模型拿來重新訓練,那麼要如何保證個人的資訊不會被其他用戶透過模型來獲取?
  • 安全性:保護chatbot不會被一些駭客手法來破解、獲取資料
  • 無害性:確保chatbot不會出現有害的回覆(暴力、色情等)
  • 減少偏見:LLM在訓練時,在訓練數據上可能就有偏向某個方向的觀點,那麼該如何確保數據的多樣性?
  • 公平性:chatbot是否公平對待所有用戶(種族、社會地位)
  • 包容性:chatbot是否能夠優先輸出讓用戶感到受歡迎和理解的內容
  • 責任歸屬:chatbot的功能、限制和決策過程是否透明

這個部分其實橫跨基礎通用模型和應用層面,但偏基礎模型一點。

第四步:AI UI/UX

現在也是十分早期、甚至可以說尚未發展的階段,因為目前引領市場的產品就是ChatGPT的對話介面。但是,GenAI的時代,不會是「現有設計的延伸」,而是全新的交互方式和顯示方式

作者們列舉出三種研究方式與方向

  • Wizard of Oz testing:用戶與他們「認為」的GenAI介面進行互動,但實際上時由幕後的人類控制
  • Diary studies:了解用戶對GenAI互動的感知、認知是如何隨著時間而變化
  • Ethical assessments:解決GenAI開發中的偏見、透明度、安全性等挑戰

Summary

To be honest, the concept is still confused me, but it is still really helpful that the checklist about GenAI superpower. We should avoid other unneccessary features, just arrow on the one and only feature, and keep iterating until flywheel of growth start spinning.

For the rest, I might need to read the book to have a deeper understanding.

ChangLog

  • 20240416–init