AI讓我頭痛的地方--不是原本想的地方
AI工作帶來的是生產力上升,生產的成本下降,但同時帶來的,是決策的困難度增加。因為AI產出的東西,很可能會超過自己的認知邊界。
最近就有這樣的體悟。
前幾天某個業主突然來了個問題,說是某一個工項在相鄰各標都有編列,但發現為什麼每個標段編的金額不同。他要我們公司給個說法。
這個工項的預算可以說是近年來的標配,業主也有相對應的工作規範,但單價怎麼編沒有明確規定。這種工作說真的,A公司一個價,B公司一個價,沒有什麼標準,不是沒有規定該做什麼,而是這個項目本來就是有高度不確定性,和基地條件很有關係。工作項目本身是不變的,不確定的是規模、頻率及參與工作的深度,講白的就是產出報告書的品質。如果找得到有經驗有規模的好公司,可能會貴一點,但品質水準之上,不用太擔心,反之用養猴子的錢就只能得到猴子產出的品質,這樣講很直白了。
可這位業主的大爺,就是想知道我們是怎麼編預算的。這可真的有點難。本來就是根據經驗編的,也沒有經過什麼深入的邏輯推理。要說是個黑箱也不為過。而且這三個標雖然都在同一個大專案下,但設計時程及發包時程都不一樣,在預算編製時,這3個標的關聯性不高,真是一個頭兩個大。
好在這個案子先前有生態環境調查的相關內容,和先前設計階段的相關內容,我想到的就是先利用AI整理資料,可以的話看看能不能找出可行的邏輯,先用來自圓其說。雖然這是個倒果為因的過程,但如果能推出一個生態檢核的估價模型,至少是個思考邏輯,不是像現在,根本和瞎猜沒兩樣,當然這個工作有其本身的難度,變數太多,不在設計單位的掌握中,這個邏輯頂多就代表,我們是「可以這麼想」的,生態檢核有他的業界環境,我也不想拿著一個還不成熟的邏輯,就到處去說價錢可以這樣估。擋人財路的事可不能隨便做。
我貪心,分別將資料丟給Codex和Claude,想讓他們去跑出各自的解答。和我預想的沒錯,兩個模型的思路類似,都從生態資料的佔比出發,但Claude比較像學者,從數學的角度去計算佔比的意義,Codex則自己去找了相應工作的人月資料,去推每個路段各佔成本。兩個推出來的模式,都有點超過我自己的認知以外了@@,許多時候不得不停下來,在模型繼續往前推之前,我得問問這個思路所代表的是什麼意思。其實我最開始的初衷,也只是要一個先說服業主的方法,在過程中並不想造假,我想就用既有的手邊資料,整理並推理。結果有點出乎意料之外,我得先解決AI帶來的許多問題的問題,才能開始真正理解我原先的那個問題。後來我覺得,這個狀態實在是太燒腦了。看著AI產出的文件,第一次不是被AI所驚豔,而是頭痛啊!
後來我得停下來,先回頭看看是不是我的問題太鳥定義不清,資料的範圍太廣,還是AI的幻覺實在是太嚴重,更開始加強管控上下文視窗的長度,嗯最後還是看了一下所有的回答,找一找還能理解邏輯的,另開thread繼續發展,也乾脆直白的和AI說,啊你講的我不懂啦!換個方式再發展。
最後我從原始報規劃報告中,對生態指數計算的方式下手,要AI先完全理解這個方法,再去講其它有的沒的,兩套AI終歸用各自的邏輯,找到了最後的判斷方法,推演出各自的模型。但也同時證明,如果理性分析了與空間相關的生態指數,和當初預算編制的結果不符。唉!這個結果也早在我的預想中,那個數字本來就不是因為模型或其它方式推出來的,只能以報告書中非數值的方式,試著回應業主的疑問。那這個推出來的模型,真的可以應用在未來的工作嗎?坦白說我不確定。因為這個模型可以推得出來,是因為這個案子有來自數值化,可計算,且經過驗證的資料,餵給AI剛好,但其它的案子會有這些資料嗎?目前看是沒有,或許我應該再和AI研究,如何取得需要的資料。或許我想得太複雜,用人月法就可以推了,和什麼空間什麼生態沒什麼關係。
這樣想下去細思極恐。到頭來這個問題應該是從人月下手,或許我問錯了問題了。可見AI真的是個放大器,它可以把能力放大,也可以把愚昧放大。對問題深入的理解,並且有足夠的專業和經驗,評判AI的成果是否正確,中間的生產可以交給AI,但如何有好的開始,好的成果,AI是解方,也可能是問題產生的所在。
所以,AI會取代誰?誰又不會被AI取代?問題不會在這種2分法中找到的。有AI的工作流中,發想、產出和決策間,應該會是U型和倒U型的拉扯了。
留言