2025年2月22日 星期六

Missionaries and Cannibals River Crossing Puzzle

Problem statement


三名傳教士和三名食人族必須使用一艘最多能載兩人的船渡河,並且受到以下限制:在河的兩岸,如果有傳教士在場,他們的人數不能少於食人族(否則食人族會吃掉傳教士)。

船不能沒有人而自行渡河。請找出將所有人安全送到對岸所需的最少船隻行程數。


Three missionaries and three cannibals must cross a river using a boat which can carry at most two people, under the constraint that, for both banks, if there are missionaries present on the bank, they cannot be outnumbered by cannibals (if they were, the cannibals would eat the missionaries).

The boat cannot cross the river by itself with no people on board. Find the smallest number of boat trips needed to get everyone safely across the river.









Solving river crossing puzzles

運用AI戰勝AI

 讓我們在仔細回顧一下

 Given 19, 36, 55, 7, can you give an equation that equals 622?

晚餐接機大作戰(半導體廠製程排程)


2025年2月17日 星期一

「數位共生工程師」

Cyborg vs. 「數位共生工程師」(Digital Symbiotic Engineer)


因為以後每個行業的專家(X師)都會需要AI,正如我們現在各行各業都需要電腦手機,所以我稱之為數位共生,就像我們需要腸道細菌跟我們共生,消化系統才能運作,細菌同時分享了我們吃進去的食物,維持了生命,互利共生。


三個挑戰

 Given 19, 36, 55, 7, can you give an equation that equals 622?

AI 可以用來協助心理諮商嗎

晚餐接機大作戰(半導體廠製程排程)


2025年2月15日 星期六

HW#1

 如何發布 How to publish ChatGPT and Claude.


課堂練習 

使用 Claude Sonnet 3.5 

使用 ChatGPT 4o, o1

使用 Gemini 2.0 Flash



AI 推理:計算面積 **


Illustrations **


文字說明製作插圖

程式製作插圖

程式 -- 插圖 (3.2.7)




Deadline: 

Initial: today before class ends

Complete: This Saturday


Send your answer link to Line Group or email to Professor chang212@gmail.com , with subject CL#1 AI [your name]

2025年2月14日 星期五

AI 的關鍵提問 Q&A

想想看 (in English)

  AI 有分左腦跟右腦嗎

規模的迷思 : AI 的規模與問題解決策略

有了 AI 之後,大學的價值是甚麼(MIT 研究材料科學的例子,學習AI和讀碩士孰輕孰重)

Claude Sonnet 3.5 會推理嗎?還是 Pure LLM

關於DeepSeek 的事實與非事實



1. AI 有分左腦跟右腦嗎? (in English)
AI 模型並沒有像人類那樣的左右腦區分。它們是為特定任務設計的人工神經網絡。雖然有些模型在某些任務上表現較好,但這並非源於像人類大腦那樣的左右腦分工。然而有些模型(4o)內容見長,有些(o1, o3-mini)以推理見長,前者類似右腦,後者類似左腦

2. 為什麼 ChatGPT 4(非 RL LLM)不擅長規劃?
我需要說明我無法確認其他 AI 模型的具體能力或進行直接比較。不過,一般來說,規劃是一項複雜的認知任務,需要幾個關鍵能力:
- 理解因果關係和時間關係
- 維持連貫的長期目標
- 適應不斷變化的環境
- 管理資源和限制

純粹基於下一個詞預測訓練的語言模型可能在這些方面存在困難,因為它們本身並沒有順序決策或維持長期連貫性的機制。

3. 規模的迷思:AI 的規模與問題解決策略
規模本身並不能保證更好的問題解決能力。雖然較大的模型通常在許多任務中表現更好,但架構、訓練方法和具體的優化策略同樣重要。目前有許多研究在探討模型規模與能力之間的關係,表明架構創新和訓練方法可能比純粹的規模更為關鍵。

4. 有了 AI 之後,大學的價值是什麼
以 MIT 研究材料科學為例:
- 大學教育提供:
  - 基礎理論知識
  - 實驗操作經驗
  - 研究方法訓練
  - 專業人脈網絡
  - 批判性思維能力
  - 團隊合作經驗

學習 AI 和攻讀碩士學位服務於不同目的。碩士學位提供專業知識和研究經驗,而 AI 知識提供分析和自動化工具。選擇取決於職業目標 - 這兩者並不互斥,反而可以相輔相成。

5. Claude 3.5 Sonnet 會推理嗎?
作為 Claude 3.5 Sonnet,我可以描述我的能力:我能進行邏輯推理、問題解決和分析。但我是通過模式識別和學習到的關聯來完成這些任務,而不是通過與人類相同的認知過程。

6. 關於 DeepSeek 的事實與非事實

What AI can do for students like you

以下是給學生的


在未來AI 世代,在張老師的課程中,我們會一起來學:


使用AI 協助閱讀英文文獻


如何使用AI 協助撰寫文獻整理報告*


如何使用AI 協助撰寫小論文


如何使用AI 繪製工程圖,為你的程式,論文,報告加分


如何使用AI 尋找研究新點子 (demo)


如何使用 AI 協助開發並且優化軟體程式引言)*



AI 推理:計算面積

Find Area 



Non-reasoning mode, ChatGPT fails



Non-reasoning mode, Grok fails





Sonnet 3.5 works (but not all the time)



o1 fails


o1 fails







 

2025年2月13日 星期四

開場

 Opening Remarks:


現在進行式: 世界正在快速改變
軟體工程師的工作
  • 流程 (電子商務,ATM,報名系統,...)
  • 演算法 (汽車導航,猜你也喜歡,...)

AI 的前世今生

今日 AI 的運作   GPU NPU     
人類行為 - 直覺,經驗 - AI 類神經網路     
                - 流程,規劃,推理 - Agentic  AI,Reasoning AI



類神經網路:模仿人類大腦,表現類似人類的行為(視覺,聽覺,解決問題,…但跟人一樣會犯錯,從犯錯中學習是很重要的學習方式)

類神經網路:深度學習,CNN, LLM, …  

 洞察,直覺
(相對論,橋樑最大應力集中點)

補充:

人 vs. AI

智慧 - 智人  
IQ
EQ

 失智老人走路,喝水,卻可能忘記兒女小時候情景
痛,冷熱,香,辣,看,聽,...
悲傷,憂鬱,快樂,憤怒

海馬核
密佈全身的身經
情緒與生命演化

地球生命演化


魚 400,000,000 年
兩棲 300,000,000
恐龍 200,000,000
哺乳類  56,000,000
直立人 2,000,000
智人 200,000





2025年2月9日 星期日

Use AI to brainstorm research ideas

為什麼用AI來激盪研究方向(ppt)

  • 其實不是必要的,但是如果你是新手,必須花費幾年時間才能變成領域中的人
  • AI 擁有全世界的知識,遠超過一般人的知識,雖然不會馬上把你變成專家,但是可以把你帶入門
  • AI可以整理知識這不難懂,但為什麼AI 可以產生新研究點子呢?
  • AI 擅長從別的領域借用知識,例如有人研究過土石流的風險成因,當你研究家中風險時,AI 可能會轉化知識過來,這個點子雖然在土木工程不算創新,但在家中安全管控卻沒有人試過。同樣地,老鼠大腦會利用傅立葉轉換濾掉環境雜訊,這個知識會被AI拿來用在降躁耳機,而降躁對耳機設計來說就是創新了。
  • 那為什麼我們沒有想到這樣的點子,因為電子工程師未必知道老鼠大腦,可能也不熟悉土木工程,而且即使使用Google 也找不出來。
  • 那為什麼不能要求AI直接給新點子,因為AI必須先了解你在研究甚麼,文獻中有那些被做過,痛點在哪裡,研究缺口在哪裡,從這裡出發才能去看看有沒有其他領域知識可以借用。
  • AI 可說是跨領域專家,很會轉換既有知識,因此可以"想出"好點子。(其實是借用啦!)

How-to

1. start from a paper by attaching a PDF or a requirement (for example, design an AI interview system)


2. generate a literature survey (ChatGPT OK, but better with Claude)


3. generate a better system (better with Claude by asking "Is there any novelty?")


4. check any subsystem that you are interested in


5. Use Claude to generate codes (codes better with Claude) and illustrations (optionally, must use Claude)


研究開發流程:

1. 以參考論文或需求為起點

從一篇具體的研究論文或明確的系統需求開始是很好的做法。這讓我們有清晰的目標和範圍。我們可以仔細分析論文中提出的問題、方法和結果,或是深入理解需求文件中描述的系統功能和限制。


2. 進行文獻調查(建議使用 Claude 協助)

文獻調查是了解研究現狀的重要步驟。我們可以請 Claude 協助:

- 分析相關領域的重要論文

- 總結現有方法的優缺點

- 找出目前研究中存在的問題和挑戰

- 歸納可能的改進方向


3. 設計更好的系統(建議透過詢問 Claude "是否有創新之處?")

在理解現有研究後,我們可以開始設計新系統。Claude 可以幫助:

- 提出創新的解決方案

- 分析設計方案的優勢

- 評估可行性和潛在問題

- 提供改進建議


4. 深入研究感興趣的子系統

選擇最感興趣或最具挑戰性的子系統進行深入研究。這可能包括:

- 分析子系統的具體需求

- 研究可能的實現方法

- 評估不同方案的優劣

- 選擇最適合的解決方案


5. 使用 Claude 生成程式碼和圖示

最後是實現階段。Claude 可以:

- 生成高品質的程式碼(特別適合使用 Claude)

- 提供詳細的註解說明

- 製作系統架構圖和流程圖(必須使用 Claude)

- 生成使用說明文件


這個流程強調了循序漸進的研究方法,從理解現有工作開始,通過創新設計提出改進,最後落實到具體實現。在整個過程中,Claude 可以提供寶貴的協助,特別是在文獻分析、創新思考和程式實現等方面。


實例: Research Grant Proposal





sonnet 3.5

sonnet 3.5-> opus 3





sec 1 background

sec 2 literature


sec 3 method


enhance sec 3


generate challenges and solutions (from context)


generate expected outcome (from context)

Problem solving strategies

 


晚餐接機大作戰(半導體廠製程排程): AI 協同軟體開發

半導體工廠中包含各種機台,EUVL,以及備料,封裝(包含CoWoS)

這些製程中發生的排程,如何優化產出(throughput),減少機台怠機時間,縮短風險路徑(critical path),以及容許有限度風險不確定性。



機器人可用於排程



Dinner Operation vs. Semiconductor Fab Scheduling Optimization




Scheduling Parallelism in Plans problem  (Eng) (from source)



Try smart search. Prompt Claude to generate A* search Algorithm


Generate code base by using Claude Sonnet 3.5 (better than ChatGPT o1)



To run Python, use Google Colab



Tweak the program by trials and errors 


Visualize results as Python can generate complex states










Debug, Cleanup, Optimized by ChatGPT o1





最佳解 最高的平行度,throughput 高,idle time 減少,critical path 短




次佳解 因為James 似乎太奔波了,剛從機場回來,馬上得回去剛才的機場接人
在工廠等於也就是機器人來回運動,但是沒有產出




次佳解 Sarah 好忙,先烤火雞,換手給機場回來的 James,然後去機場接Emily,James 接手烤火雞,idle time 過長,而且造成沒有必要的 switchover 






                                                                            

 我將分享一篇關於處理現實世界排程問題的智慧代理式人工智慧論文。我不會著重於總結論文內容或解釋其數學原理,而是要帶各位了解如何運用當前可用的人工智慧工具來解決論文中的問題。


首先,我會展示為什麼 ChatGPT o1 的先進推理雖然能得出可行解,但無法獲得最佳解。接著,我會說明為什麼人工對程式的調整仍然很重要。最後,我將展示如何實現平行運算,以及如何實現智慧代理式人工智慧。


I will share the following paper focusing on agentic AI that deals with real world scheduling problem (for example those in foundries). Instead of summarizing the paper and explaining its mathematics, I will guide you through the details how the problem is the paper can be solved using AI tools available right now. I will first show why ChatGPT o1 reasoning cannot get an optimal solution although it works out a feasible solution. Then I will demonstrate why human tweaks on the program still mater. Finally, I will show how parallelism is implemented and agentic AI is achieved.

AI 可以生成 OK 解
Human 可以進一步優化
碰到瓶頸可以用AI
找到最佳解(Lucky)


More to explore

Solving river crossing puzzles

2025年2月3日 星期一

晚餐行動

  感恩節全家晚餐大作戰

Why LLM fails (source)






ChatGPT o1 reasoning feasible outcome optimized by human


Claude Sonnet 3.5 illustration of solution (happens to be acceptable)




What if Emily arrived at the airport at 4:30

ChatGPT o1 OK at the first try

Sonnet 3.5 illustration (attention bias occurs. some constraints forgotten)


What if Emily arrived at the airport at 2:30

ChatGPT o1 reasoning feasible outcome optimized by human

Sonnet 3.5 illustration (attention bias occurs. some constraints forgotten)


What if Emily arrived at the airport at 2:30

Minimize the sum of waiting time at the airport and car driving time


Planning: LLM vs. A* search

 Given 19, 36, 55, 7, can you give an equation that equals 622? inspired by source



LLM is not good at this.



Claude in reasoning mode got it in seconds.




May need several trials






Do A* search with Python code