AI模擬面試遊戲化，身障職涯協助

 製作面試模擬遊戲系統

1. 製作場景

2. 設定動畫

3. 模擬過程

4. 加上操作元件(使用REACT)

5. 套入履歷，生成對話

製作進階面試模擬遊戲系統

1. remix 上次最後一個artifact

2. 視覺效果 (思考感，大腦運轉中動畫)

3. 視覺效果(話語感，一次一個字出現)

4. 增加計時器，進度

5. 加入對話語音

6. 加入臉部表情

情感分析，多元智慧

產生一篇輕小說，然後標示情緒

製作一個愛與失去的故事 (The empty chair) 沒有人坐的椅子

情感分析

文學賞析

標示情感標籤(語音合成)

如何在語音合成中帶有感情，而非平凡單調的合成音 ，一種做法是使用人工智慧來做即時的感情分析 sentiment analysts  

健康照護科技專題一： AI 時代的輔助科技設計與實作 (Syllabus)

本課程使用 Claude.ai Sonnet 3.5 Artifact, ChatGPT4o， 等先進 LLM 工具實作 AI 時代的輔助科技設計。這些 AI 工具也可廣泛使用在學術，職場，生活各層面的服務設計。

開場 2/18/2025

AI for Learning Algorithms

Illustrate your X

Prompt Engineering

UI 設計 2/25

練習: UI 設計

AI 時代下研究方法的典範轉移 3/4

AI視覺輔助科技 

練習: 空間智慧

空間資訊與識別輔助 3/11

真實的世界，空間智慧

空間素描與空間地圖

練習: 盲人空間智慧

聲景地圖 3/25

盲人導航系統簡易UI 設計，

盲人導航影像辨識

盲人導航像辨識2 (safe route)

Autopilot

練習: 盲人AI導航

訊息處理，心智障礙生活輔助 4/1

多工任務訓練，延緩失智

練習：輔具設計

ＡＩ輔助情感分析 4/8

練習：情感，情緒，人工智慧

期中考週停課一次 4/15

進階Claude 生成技巧  4/22

練習：進階AI運用

ＡＩ輔助情感分析(II)  4/29　（界線主題app )

ＡＩ輔助媒體創作

• AI+VR+Gaming 科技大趨勢的服務應用

練習：G4H app 製作，媒體創作

生成式AI在環境安全的應用 5/6

Safety Visualization 

Safety Visualization for All People

AI視覺與大型語言模型在無障礙空間檢測與安全路徑規劃的應用 5/13

無障礙空間檢測

AI Vision and LLM for Safe Routing Recommendation 

AI Vision and LLM for Safe Routing Planning OmniSafe (Voronoi-based)

Advanced Navigation for People with Visual Impairments 5/20

• Obstacle Avoidance 2
• Obstacle Avoidance 1
• OmniSafe: Follow Voronoi 4 (Rural Road)
• OmniSafe: Follow Voronoi 3 (Country Alley)
• OmniSafe: Follow Voronoi 2 (New Scenario Corridor)
• OmniSafe: Follow Voronoi 1 (New Scenario Campus Trail)

Operational Research 5/27

• 狗兒池邊取球不下水
•  練習: 演算法

期末分享 6/3

期末分享 6/10

期末考周停課一次 6/17

空間智慧: 空間資訊與識別輔助

空間智慧

周圍環境旁白

Abandoned Campus Building Reclaimed by Nature

學院的時空故事

社區中心室內

non-blind, blind 場景描述

圖書館內部描述(non-blind, blind) alive 盲人資訊

觸感，聲音，氣味，安全，詢問，建議(有聲書)

社區圖書館內部描述(non-blind, blind) alive 盲人資訊

依空間結構描述

Patchwork Pavement alive

觸感，地形，障礙物，聲音，潛在危險

喧囂的路邊人行道 alive

觸感，聲音，氣味，溫度，安全，建議(陪伴)

更多的盲人場景描述 alive

簡易導航與障礙物提醒

盲人導航(簡易提示) alive

+障礙物提醒 alive

更多場景的簡易導航與障礙物提醒描述 alive

(咖啡廳)alive

咖啡廳

盲人導航(簡易提示) 

+障礙物提醒 

+風格指定

需求提示(Prompt to function)，提供風格樣式

夜間戶外

提供盲人導航資訊​​​​​​​​​​​​​​​​，障礙物 + 安全路徑  alive

鄉間小路

鄉間小路

池塘邊

更多練習圖片

數位媒材創作

• 放飛你的想像
• 畫出心裡想說的話
• 創作不止於靜態，可以是動畫，可以和它互動，可以是體驗

跳芭蕾的鯨魚和她的魷魚朋友

animation

 火星上的派對

長頸鹿綺想系列

Giraffe Walking Simulation（baby and parent）

code share

Giraffe Walking in Savannah Scene

Picasso-style Giraffe in Savannah (Version 2)

Dog walking upstairs

dog race

Soundscape 聲景

各種動物的聽覺 

甚麼是聲景(slide show 3X，1X)

里斯本的聲景。讓我們透過聽覺來體驗葡萄牙首都的一天：

清晨：

- 遠處教堂鐘聲的柔和鳴響

- 海鷗在塔霍河上空盤旋時的鳴叫聲

- 木製電車開始日常路線時的吱嘎聲

- 店主拉起店鋪金屬百葉窗的聲音

上午：

- 戶外咖啡館裡杯碟相碰的聲響，伴隨著當地人享用早晨咖啡

- 街頭小販叫賣新鮮魚類或水果的聲音

- 著名的格洛麗亞纜車爬上陡峭山坡時悅耳的鈴聲

- 寧靜廣場上街頭藝人輕撥葡萄牙吉他的樂音

下午：

- 遊客在阿爾法瑪區狹窄街道探索時歡快的談笑聲

- 河邊餐廳裡酒杯相碰和沙丁魚烤製時的滋滋聲

- 船隻和渡輪橫渡塔霍河的隆隆聲

- 飄散自某個開啟的窗戶的法朵音樂，其憂鬱的旋律隨風飄揚

傍晚：

- 人們外出用餐時，高跟鞋在鵝卵石街道上有節奏的敲擊聲

- 來自光明球場足球比賽的遙遠歡呼和吶喊聲

- 騎自行車者在晚間交通中穿梭時的車鈴聲

- 從高處酒吧傳來的柔和爵士樂，與巴羅阿爾托區夜生活的熱鬧氛圍交織在一起

夜晚：

- 在此時較為寧靜的港口區，波浪輕拍碼頭的聲音

- 偶爾傳來夜遊人的笑聲和交談聲

- 城市黃色電梯仍在為夜貓子運行的輕柔嗡嗡聲

- 遠處火車離開聖阿波羅尼亞車站的汽笛聲

整天你都能聽到城市的底層嗡鳴聲—街道上的汽車聲、葡萄牙語交談的片段，以及偶爾在陡峭坡道上電車剎車的尖銳聲響。這個歷史悠久的城市中，各處教堂鐘聲的規律敲響標誌著時間的流逝，為這幅聲景增添了獨特的韻律。

練習

將以上文字放入Claude Sonnet 3.5 (如果你喜歡別的城市，也可以放入這個城市的聲景描述)

產生聲景

想依照地理特性來呈現聲景

試著將文字轉為動態

加上一些圖示(icon)增添視覺效果，建議svg 風格

將這些聲景元素放入城市地圖

日夜

Highlight

觸控點選

寫意抽象

Kyoto

清水寺

盲人 AI 輔助科技

微軟曾招聘盲人工程師，他們認為場景描述的需求很重要

1. 開會時，盲人想知道參加開會的人有多少，男，女，神情

2. 盲人交談時，對方是否在注視她（儘管盲人看不見）

3. 閱讀菜單

4. 跟朋友聚餐時，想知道桌上有哪些菜

整理​​​​​​​​​​

 Ai 對盲人的協助(現在到未來)

這些AI輔助技術不僅能提升視障者的生活品質，還能增強他們的獨立性和自信心。隨著科技不斷進步，我們可以期待更多創新的AI應用來協助視障者更好地融入社會生活。

值得注意的是，在開發和應用這些技術時，我們需要特別注意保護視障者的隱私，並確保技術的可靠性和準確度。同時，我們也應該鼓勵更多像微軟這樣的公司聘用視障工程師，因為他們的親身經歷和洞察力對於開發真正有用的輔助技術是無可取代的。​​​​​​​​​​​​​​​​