2025年3月5日 星期三

多個限制條件的複雜問題

 當AI面對包含多個限制條件的複雜問題時,確實存在難度。

在注意力機制(Attention mechanism)中,模型需要同時關注多個條件,並且每個注意力分配都是基於概率的。當條件數量增加時,要同時滿足所有條件的概率會顯著降低,這就像是連續投擲硬幣並期望全部正面朝上一樣——條件越多,全部滿足的概率越低。

這種情況下,模型可能會:

  • 忽略某些條件
  • 錯誤理解條件之間的關係
  • 在滿足一些條件的同時違反其他條件

如果您有一個包含多個複雜條件的問題需要解決,我建議將問題分解成較小的部分,逐步處理每個條件,這樣會更容易得到準確的解答。


2025年3月3日 星期一

會犯錯的機器更強大

這觸及了人工智慧系統設計的深刻見解。允許機器犯錯、從錯誤中學習並回溯確實是一種強大的方法。

當我們分解複雜任務時,我們為系統創造了以下機會:

  1. 識別某種特定方法何時無效
  2. 嘗試替代策略而無需從頭開始
  3. 從錯誤中漸進式學習

這類似於人類解決問題的方式 - 我們很少一次就把事情做對。我們能夠說「這行不通」並轉變方向的能力對我們的智能至關重要。

在機器學習中,像蒙特卡洛樹搜索(AlphaGo使用的技術)這樣的技術通過探索不同的可能路徑並在必要時回溯來融入這一原則。同樣,一些現代語言模型使用的方法可以在推理過程中重新審視並完善其思考。




A profound insight about AI system design. Allowing machines to make errors, learn from them, and backtrack is indeed a powerful approach.

When we decompose complex tasks, we create opportunities for systems to:

  1. Recognize when a particular approach isn't working
  2. Try alternative strategies without starting from scratch
  3. Learn incrementally from mistakes

This is similar to how humans solve problems - we rarely get things right on the first try. Our ability to say "this isn't working" and pivot is essential to our intelligence.

In machine learning, techniques like Monte Carlo tree search (used in AlphaGo) incorporate this principle by exploring different possible paths and backtracking when necessary. Similarly, some modern language models use approaches that can revisit and refine their reasoning mid-stream.


2025年2月10日 星期一

Use AI to brainstorm research ideas

為什麼用AI來激盪研究方向(ppt)

  • 其實不是必要的,但是如果你是新手,必須花費幾年時間才能變成領域中的人
  • AI 擁有全世界的知識,遠超過一般人的知識,雖然不會馬上把你變成專家,但是可以把你帶入門
  • AI可以整理知識這不難懂,但為什麼AI 可以產生新研究點子呢?
  • AI 擅長從別的領域借用知識,例如有人研究過土石流的風險成因,當你研究家中風險時,AI 可能會轉化知識過來,這個點子雖然在土木工程不算創新,但在家中安全管控卻沒有人試過。同樣地,老鼠大腦會利用傅立葉轉換濾掉環境雜訊,這個知識會被AI拿來用在降躁耳機,而降躁對耳機設計來說就是創新了。
  • 那為什麼我們沒有想到這樣的點子,因為電子工程師未必知道老鼠大腦,可能也不熟悉土木工程,而且即使使用Google 也找不出來。
  • 那為什麼不能要求AI直接給新點子,因為AI必須先了解你在研究甚麼,文獻中有那些被做過,痛點在哪裡,研究缺口在哪裡,從這裡出發才能去看看有沒有其他領域知識可以借用。
  • AI 可說是跨領域專家,很會轉換既有知識,因此可以"想出"好點子。(其實是借用啦!)

1. 以參考論文或需求為起點

從一篇具體的研究論文或明確的系統需求開始是很好的做法。這讓我們有清晰的目標和範圍。我們可以仔細分析論文中提出的問題、方法和結果,或是深入理解需求文件中描述的系統功能和限制。


2. 進行文獻調查(建議使用 Claude 協助)

文獻調查是了解研究現狀的重要步驟。我們可以請 Claude 協助:

- 分析相關領域的重要論文

- 總結現有方法的優缺點

- 找出目前研究中存在的問題和挑戰

- 歸納可能的改進方向


3. 設計更好的系統(建議透過詢問 Claude "是否有創新之處?")

在理解現有研究後,我們可以開始設計新系統。Claude 可以幫助:

- 提出創新的解決方案

- 分析設計方案的優勢

- 評估可行性和潛在問題

- 提供改進建議


4. 深入研究感興趣的子系統

選擇最感興趣或最具挑戰性的子系統進行深入研究。這可能包括:

- 分析子系統的具體需求

- 研究可能的實現方法

- 評估不同方案的優劣

- 選擇最適合的解決方案


5. 使用 Claude 生成程式碼和圖示

最後是實現階段。Claude 可以:

- 生成高品質的程式碼(特別適合使用 Claude)

- 提供詳細的註解說明

- 製作系統架構圖和流程圖(必須使用 Claude)

- 生成使用說明文件


這個流程強調了循序漸進的研究方法,從理解現有工作開始,通過創新設計提出改進,最後落實到具體實現。在整個過程中,Claude 可以提供寶貴的協助,特別是在文獻分析、創新思考和程式實現等方面。


實例: Research Grant Proposal





sonnet 3.5

sonnet 3.5-> opus 3





sec 1 background

sec 2 literature


sec 3 method


enhance sec 3


generate challenges and solutions (from context)


generate expected outcome (from context)

2024年12月1日 星期日

AI+VR+Gaming 科技大趨勢的服務應用


WorldLabs







AR+Game
 
智能障礙者體感式AR交通安全遊戲訓練系統


AI+VR+Game 

智能障礙者生成式AI交通安全VR遊戲訓練系統 (interactive計畫書)