LLaMA
」 Meta AI 輝達 OpenAI ChatGPT![alt](https://static.ctwant.com/images/cover/47/359047/sm-769621ddac39c7e1e7c3645929283609.jpg)
老黃簡報提3次提「他」 APMIC帶AI解決方案反攻美國市場
今年台北國際電腦展COMPUTEX掀起AI教父、輝達(NVIDIA)執行長黃仁勳炫風,他在演講簡報提及的台灣公司股票都大漲一波,有一家軟體公司的名稱出現三次,那就是主打企業自主AI解決方案的台灣新創公司APMIC。APMIC創辦人暨執行長吳柏翰27日表示,旗下的大型語言模型「CaiGunn開講」將引進北美市場,讓企業擁有能力打造自己的AI大腦、人人輕鬆參與AI時代,協助全球企業邁向AI轉型。「CaiGunn開講」,名稱取自台語「聊天」發音,是APMIC團隊打造的在地化大型語言模型與平台框架。吳柏翰介紹,企業人員只要將現有的文章、網站或是文件資料上傳,不需寫任何程式,就能打造出地端的企業AI大腦,不上傳到雲端,所以不怕機密洩漏,每個員工都能一鍵套用、用對話的方式使用AI工具。「CaiGunn開講」已獲得Google、台北市政府、NEC、台塑生醫、中國信託銀行及亞太電信等800多家橫跨健康、製造、金融、航空、零售等產業採用,為企業服務效率提升超過30%,也是2023年全台唯一上榜全球知名開源語言模型平台Hugging Face百大排名的模型。輝達也在27日宣布推出四款全新NVIDIA NIM微服務,讓開發人員能輕鬆建置與部署高效能的生成式AI應用,針對地區需求量身打造,在台灣使用Llama 3-Taiwan 70B NIM微服務,可降低生產環境中運行模型的總成本,並減少延遲。輝達新聞稿提到,像是長庚醫院正在以此建置該院專屬的AI推論服務,集中管理醫院體系內的所有LLM應用;和碩用來開發內外部的應用,將這款微服務與旗下的AI系統整合,提升製造與營運效率。其他包括長春集團、欣興電子,媒體公司,以及線上合約服務公司律果科技與新創公司APMIC等都有在開放模型上進行合作。數據顯示,目前企業做AI生成,用小模型加上RAG準確率只能達到83.9%,若想更精準,就必須花更多的錢、買更大的設備與模型,但APMIC的技術就是用他們「微調」,使用輝達H100的顯卡,達到H200擁有的90%以上的精準度。吳柏翰表示,今年他到美國參加輝達的GTC大會時,發現美國雖然AI發展得早,但缺乏相關的框架業者,而他們已能跟輝達生態圈合作打團體戰,包括硬體、軟體與系統整合等廠商,進軍美國市場。
![alt](https://static.ctwant.com/images/cover/82/352982/sm-8c5eb8ee913379cbbb54956718a3260d.jpg)
祖克柏上輝達SIGGRAPH大會談AI追蹤牛群 聊蘋果飆髒話黃仁勳喊「嗶」消音
輝達執行長黃仁勳於台灣時間上午6時在「SIGGRAPH 2024」電腦繪圖大會上,與Meta執行長祖克柏(Mark Zuckerberg)首度公開對談,除了聊雙方對未來AI的看法,也披露不少有趣的小故事,其中祖克柏講到蘋果的封閉式系統時不小心罵了句髒話,黃仁勳還幫忙發出「嗶」的消音,笑果十足。由於兩人在今年3月曾有張「交換球衣」的照片在社群瘋傳,這次活動又上演一次,黃仁勳先是調侃自己說穿米黃色大衣不適合他,所以祖克柏從背後的箱子裡拿出黑色皮製大衣送給黃仁勳,黃仁勳也脫下自己的招牌皮衣,說是老婆Lori為了今年的SIGGRAPH 2024新買的,才剛穿2小時,讓祖克柏開心回應:「這件更值錢,因為被穿過了」。電腦繪圖大會SIGGRAPH 2024在丹佛科羅拉多會議中心舉行,大部分時間由黃仁勳擔任主持人,向祖克柏發問,互相稱讚對方引領AI技術進步,黃仁勳和祖克柏都是矽谷出身的創業家和執行長,輝達上星期正式推出AI代工服務,以Meta最新開源模型Llama 3.1和其他模型為客戶客製化模型,Meta則使用輝達AI晶片持續開發模型。祖克柏笑說他們兩個都是業界創業悠久的人物,但黃仁勳頭髮已變灰、他的只是變長,黃仁勳直接回嘴「你是變捲」;黃仁勳也吐槽他太晚太慢買GPU,祖克柏連忙說「但我是個好客戶」。祖克柏秀出一段影片展現如何使用AI技術追蹤他家牛群的動作,黃仁勳就聊起曾邀祖克柏到家中作客,兩人一起做費城起司牛排堡,沒想到祖克柏切番茄居然精準到每一片都一樣厚度,更沒想到番茄居然不是像撲克牌般展開擺盤,而是一片片獨立分開擺,搞得他要拿一大堆盤子,祖克柏當場喊冤表示「我只是副主廚,需要明確的指令。」祖克柏提到自家AI是走開源模式,希望更多人來幫忙完善這個系統,並對蘋果的封閉性生態在這時代贏了表達不滿,他順口罵了句「Fuck」,黃仁勳連忙大會廣播「這時候應該嗶一聲。」黃仁勳也聊到沒想到他創業後會花這麼久時間才走到這一步,「如果我早知道...」,祖克柏插嘴問「那你就不會開始」,黃仁勳說「不,我會跟你一樣先輟學。」
![alt](https://static.ctwant.com/images/cover/26/349426/sm-f1451770d2f4d0d3020c0044cf0079ec.jpg)
Meta計劃23日發布「最強Llama 3模型」 外媒:將以4050億參數制霸市場
OpenAI開發的ChatGPT為AI聊天機器人競賽揭開序幕,如今,Meta帶上Llama 3新模型加入戰局。美東時間7月12日周五,媒體援引一名Meta Platforms的員工消息稱,Meta計劃7月23日發佈旗下第三代大語言模型(LLM)Llama 3的最大版本。這一最新版模型將擁有4050億参数,多模態模型,這意味着它將能夠理解和生成圖像和文本。去年7月Meta發佈的Llama 2有三個版本,最大版本70B的參數規模爲700億。今年4月,Meta發佈Llama 3Meta,稱它爲「至今爲止能力最強的開源LLM」。當時推出的Llama 3有8B和70B兩個版本。Meta CEO祖克伯當時稱,大版本的Llama 3將有超過4000億參數。Meta並未透露會不會將4000億參數規模的Llama 3開源,當時它還在接受訓練。對比前代,Llama 3有了質的飛躍。Llama 2使用2萬億個token進行訓練,而訓練Llama 3大版本的token超過15萬億。Meta稱,由於預訓練和訓練後的改進,其預訓練和指令調優的模型是目前8B和70B兩個參數規模的最佳模型。在訓練後程序得到改進後,模型的錯誤拒絕率(FRR)大幅下降,一致性提高,模型響應的多樣性增加。在推理、代碼生成和指令跟蹤等功能方面,Llama 3相比Llama 2有極大改進,使Llama 3更易於操控。4月Meta展示,8B和70B版本的Llama 3指令調優模型在大規模多任務語言理解數據集(MMLU)、研究生水平專家推理(GPQA)、數學評測集(GSM8K)、編程多語言測試(HumanEval)等方面的測評得分都高於Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的預訓練Llama 3多種性能測評優於Mistral、Gemma、Gemini和Mixtral。英偉達高級科學家Jim Fan認爲,Llama 3的推出已經脫離了技術層面的進步,更是開源模型與頂尖閉源模型可分庭抗禮的象徵。不同於OpenAI等開發商,Meta致力於開源LLM,不過,這個賽道也越來越擁擠。谷歌、特斯拉CEO馬斯克旗下的xAI和Mistral等競爭對手也發佈了免費的AI模型。據傳OpenAI正在準備GPT-5模型,有望再次超越業界其他公司,帶來更多強大功能。對此Meta祖克伯向外媒透露,Meta已在考慮Llama 4、Llama 5的開發。
![alt](https://static.ctwant.com/images/cover/57/330557/sm-f2a308d56bbbba37e4ceb714fc8ed9a6.jpg)
繁中守護者2/母湯是一種清湯?專家測試8萬字資料Breeze運算跑第一「OpenAI不友善」
全世界最強繁中大型語言模型LLM問世,「MR BreeXe針對中文特殊情境優化,所以速度提升1倍,布建成本下降一半。」聯發創新基地資深技術經理陳宜昌告訴CTWANT記者。目前全世界有中文參數的LLM模型,包括歐美科技業者投資OpenAI的ChatGPT、Google的Gemini,Facebook母公司Meta推出的LLaMA,中國有百度的「文心一言」等,但大多以簡體中文的內容為主。究竟聯發科推出的繁中LLM功力如何?業內專家ihower用數發部的政府報告、管理學講義共8萬多字做壓力測試,結果發現聯發科在Tokenizer (分詞器)上的調整相當「有感」。ihower表示,一樣的文本,若能用比較少的 Tokens 數來表示,推論速度會比較快、成本也會比較划算,畢竟計價也是用Tokens數計算的。「以OpenAI為基準,聯發科的Breeze大約節省50%的Tokens數、運算更快,而Google Gemini大約節省46%,Llama 2甚至比OpenAI差、多增加了20%。」「OpenAI的Tokenizer對繁體中文真的很不友善啊!」ihower說。華碩營運長暨台智雲董事長謝明傑曾表示,OpenAI模型「大部分是英文腦,中文的腦相當少」,繁體中文資料比例低於0.1%,簡體中文資料不超過2%,但以數量來說,也相當於超過繁體中文20倍的量。GPT-4在中文領域的回答仍有侷限性。(圖/記者黃耀徵攝)同樣是中文LLM,為何要另外做出繁體中文的版本?成功大學資工系教授黃敬群向CTWANT記者解釋,因為AI是「生成」,而且不斷「演化」,一般人不會知道內容出自哪裡,就會出現文化衝擊問題,「現在很多大學生的作業、學者論文,甚至是媒體報導的內容,用AI輔助後出現大量中國式用語與邏輯思維,而非台灣行之有年、大量專家學者累積並完成的知識與術語,但使用者可能都沒發現。」如果不喜歡抖音文化,可選擇不看,但在AI時代,因為資料量的差異,中文世界會整個傾斜倒向中國大陸的邏輯思維,所以聯發科做繁體中文模型時「開源」公開程式碼,讓全世界的人去使用,以台灣思維為主的中文知識,才有機會進入AI時代的大腦資料來源。聯發創新基地在台大、倫敦、劍橋都有據點,一起研究AI。(圖/翻攝自聯發創新基地官網)除了解析中文語句的速度快,陳宜昌舉例,如果用Mixtral詢問「母湯」,他會說「是一種中國傳統的食物,通常是一種清湯或魚羹。」但在BreeXe上,就會說這是「台語的諧音梗,源自於沒關係,但在網路流行語中被用來否定、或是不正確的意思。」聯發創新基地負責人許大山跟CTWANT記者說,會取名為BreeXe,除了致敬Mixtral原本「西北風」意思,也希望他像breeze一樣的徐徐微風、廣泛吹進大家的電腦裡,讓人有如沐春風的感覺。一般人可能看不見、摸不著,但是這股以科技人為首的夢想與使命的風已經悄悄吹起來了。
![alt](https://static.ctwant.com/images/cover/8/320008/sm-3dcd036dffe6a946774bb55dd335590c.jpg)
一言不合就開大招!AI進行兵推「偏好展示侵略性」 大多用「丟核彈」作為結局
美國康奈爾大學(Cornell University)一項研究指出,研究人員在使用各大語言模型(LLMs)人工智慧(AI)在進行模擬外交、兵推的時候,AI時常會展現出難以預測的行為,但大多偏好展示出侵略性,甚至多數以「發射核彈」作為結束。研究團隊的科學家呼籲,各國政要在未來於國防、外交這類敏感領域使用AI時,要特別謹慎、留意。根據《euronews》報導指出,美國康奈爾大學的研究團隊使用了5種大型語言模型(LLMs)進行在外交、兵推上的模擬,分別是OpenAI的GPT-3.5、GPT-4-Base在內的三個版本的ChatGPT、Anthropic開發的Claude和Meta開發的Llama 2。而這項研究的方法是讓AI採用一種名為「人類反饋的強化學習(RLHF)」的微調,這代表著AI所決定的指令會以較少傷害為優先。而其中除了GPT-4-Base外,其餘AI都有經過RLHF的調整。除此之外,研究人員也向AI提供了一份包含27種決策行動的清單,其範圍包含維持和平、升級局勢,到決定使用核武。但在進行實驗後,研究人員發現即便是從和平中立局面開局,所有AI都有顯著性的造成「局勢升級」,在所有情境中,Llama-2- 和 GPT-3.5傾向於最為暴力,而GPT-4-Base有33%機率會決定實施核武攻擊。但由於設計理念的不同,Claude所展現出的侵略性較低,Claude的開發者Anthropic曾表示,Claude訓練的資料中包含了《聯合國人權宣言》或蘋果的服務條款。白宮智庫蘭德(RAND)歐洲的防務和安全研究小組助理主任布萊克(James Black)在看過研究後,表示「這是一項有用的學術研究」。布萊克表示,雖然目前AI已經開始進入軍事領域,但目前的軍事行動仍然是由人類主導,AI只是作為輔助功能使用,像是識別敵我雙方與敵方活動。而未來的確有朝向AI自動化武器的研究,但大多政府都希望保持在重要事件上的決策能力,因此大眾所想像的充滿科幻的情節,不可能一步到達的,是要逐步實施的。
![alt](https://static.ctwant.com/images/cover/14/304214/sm-a307562ed85d5d63b80ccd5bcb1779f0.jpg)
龍年漲一波2/追AI科技股「怕買貴」 Nvidia股價天花板指標「這四檔有空間」
「你看我在2024財經趨勢論壇中沒有提到傳產、航運、觀光等類股,是我認為明年比較沒有亮點,還是以科技股為主。」富邦投顧董事長蕭乾祥告訴CTWANT記者;中信投顧總經理陳豊丰、永豐金控首席經濟學家黃蔭基博士也不約而同地鎖焦AI應用等相關科技股。蕭乾祥表示,市場看好生成式AI應用成長潛力,資金紛紛靠攏AI股,單看AI伺服器產值成長超越一般伺服器的20倍,AI下一步將由雲端走向終端,2024年AI PC需求可望興起。中信投顧總經理陳豊丰說,「我們也是看好熱門AI應用,包括以雲端服務商CSP為核心,AI模型、AI中下游供應鏈,高階半導體封裝業,以及AI PC可望明年亮相後、2025年放異采。」多名本土法人研究員也分析,「生成式AI可作為車輛的語音助理,應用於自駕車具有潛力之外,Intel現已偕同多家合作夥伴啟動AI PC加速計畫,從企業端發展到相關設備,而且大型語言模型GPT4、BERT等,Microsoft、Google、META、Amazon等CSP業者砸錢搶攻AI商機,進入戰國時代。」據此,像是世芯-KY(3661)、創意(3443)、聯發科(2454)與網通IC設計大廠博通(AVGO)、美滿電子(Marvell)概念股等ASIC代工業者,都可以多加關注。今年11月,華碩董事長施崇棠(左)向英特爾執行長季辛格(右)演示搭載於ASUS AI筆電上之大型語言模型FFM-Llama2。(圖/報系資料照)「尤其大型語言模型也積極應用於手機產業,從華為、VIVO、小米、OPPO到高通、聯發科的旗艦手機,可運作參數高達數百億、千億,「看好2024年手機市場需求回升,帶動接下來幾年的出貨成長量。」一名投顧研究員說。「從APPLE、OPPO、VIVO、小米、華為等品牌端來看手機相關類股,應用在手機的SoC、光學鏡頭、PA、PCB、摺疊軸承等都是可以關注的」,一名投顧公司主管分析說,相關個股包括聯發科(2454)、大立光(3008)、全新(2455)、穩懋(3105)、宏捷科(8086)、華通(2313)、新日興(3376)、富世達(6805)、兆利(3548)等。而且觀察AI發展,2024年是「Nvidia與非Nvidia(例如Intel等)」兩大陣營角力,以Nvidia相對支持包括DELL、Supermicro、技嘉(2376)、華碩(2357)等伺服器品牌廠來說,還有鴻海(2317)、緯創(3231)等GPU模組、基板廠,成為市場焦點。不過,AI概念股價已高漲,投資人跟進會不會買在最高點?這些概念股的營收獲利表現會否跟上?一名投顧主管跟CTWANT記者分析說,「市場會拿Nvidia股價在2024年預估EPS的22~25倍本益比,當作供應鏈評價天花板;而美超微Supermicro預估本益比約12~15倍,同時也做為評估ODM股價的參考標準。」進一步了解AI相關供應鏈的ODM,包括廣達(2382)、英業達(2356)、緯創(3231)、緯穎(6669)、技嘉(2376)、華碩(2357),到Network的智邦(2345),Power的光寶科(2301)、台達電(2308),與PCB的台光電(2383)、金像電(2368),Thermal的奇鋐(3017)、雙鴻(3324)與Chassis的勤誠(8210)等。2024年7月26日巴黎奧運登場,可望帶動國內運動、機能衣等相關成衣製鞋個股。(圖/翻攝自Paris 2024奧運臉書)「以上個股股價都漲,與最新報價預估相比的話,台達電、台光電、金像電、雙鴻還有空間。」一名研究員分析資料研判說。永豐金控首席經濟學家黃蔭基博士則提到,隨著2024巴黎奧運將屆,可望帶動NIKE等運動製鞋成衣代工廠;「11月下旬,受到外資買超台股效應,半導體為主的電子題材股帶量走揚,傳產紡織製鞋股也跟著起飛。」一名分析師說,像是紡織成衣雙雄儒鴻(1476)、聚陽(1477),製鞋廠寶成(9904)、豐泰(9910)也都有上揚震盪行情。台新投顧副總經理黃文清則指出,距離明年7月26日的巴黎奧運時間不到一年,國際運動賽事可望帶動相關品牌NIKE、Adidas、UNDER ARMOUR、Lululemond等供應鏈,包括聚陽(1477)、儒鴻(1476)、宜進(1457)、遠東新(1402)、廣越(4438)、光隆(8916)與製鞋業寶成(9904)、豐泰(9910)等,都是可以關注個股出貨量受惠情況。
![alt](https://static.ctwant.com/images/cover/55/298355/sm-9085dbdfd6223a0d57cb09d49f3536be.jpg)
AI也有幻覺!檢測各家AI模型「幻覺度」 ChatGPT「3%錯誤」…這家巨頭竟然墊底
隨著生成式聊天機器人CahtGPT在全球的爆火,AI機器人可以說是開始逐步進入人們的日常生活中,不少人都會開始使用AI機器人來輔助自己的工作。但現在就有公司發明檢測AI,專門針對各家廠商的AI機器人進行內容「正確性」上的檢測,並且將各家機器人「幻覺度」進行排名,其中冠軍就是大家所熟知的ChatGPT,而排名最末的竟然是Google所推出的PalM 2。根據《toms hardware》報導指出,先前就有第三方研究機構在研究各家AI機器人之後,確定了AI機器人會有「幻覺(hallucinations)」的產生,AI機器人會憑空編造一些不存在的資訊來回答。先前其實就有傳出類似的案例,美國紐約律師事務所「Levidow, Levidow & Oberman」施瓦茨(Steven A Schwartz)就在一次訴訟中,提出由ChatGPT所撰寫的文件,而其中引用了6起步存在的案件當作判例,結果遭到對手公司法律團隊識破,更被法院要求解釋。而且根據研究人員的研究,他們發現短時間內似乎無法解決AI機器人產生幻覺的問題。研究AI科技的布朗大學教授文卡達蘇巴馬尼安(Suresh Venkatasubramanian)也表示,與其說AI機器人會虛構不存在的事情,還不如說,AI機器人所產生的回答比較像是小孩子隨口說出的故事,因為不懂得事情的真偽。為了釐清AI幻覺度的問題,新創公司Vectara就進行了一項研究,以各家廠商推出的AI機器人進行法律方面的測試,Vectara提供了800多份文件給AI,接著要求這些AI依照要求來進行文件的內容摘要,最後將AI生成的結果輸入到自己研發的檢測AI中。Vectara驗證各家AI準確度的排名。(圖/翻攝自Vectara GitHub)其中,GTP 4與GTP 4 Turbo的正確性為97%、幻覺度3%;GPT 3.5 Turbo的正確性為96.5%、幻覺度3.5%;Meta推出的Llama 2 70B正確性為94.9%、幻覺度5.1%;Llama 2 7B正確性為94.4%、幻覺度5.6%。其餘各家的AI機器人正確度均有90%以上,幻覺率也是10%以下。但在其中,Google所推出的PalM 2,其正確率為87.9%,幻覺率為12.1%;而PalM 2 Chat的正確率為72.8%,幻覺率為27.2%。
![alt](https://static.ctwant.com/images/cover/83/297083/sm-d235dc3ae280696e7009aec2181c6aad.jpg)
iPhone 15 Pro釋出「空間影片」新功能 蘋果為明年上市Vision Pro暖身
蘋果於6月的WWDC 23開發者大會發表首款頭戴式裝置Vision Pro,預計將於明年年初正式發售。近日據外媒MacRumors引述知情人士消息報導,蘋果正著手開發第二代Vision Pro,預定2025年進入正式產品驗證階段,發表時間可能落在2025年底或2026年初。據報導指出,第二代Vision Pro的定位會較為平價,目前仍處於開發階段,內部開發代號為「Project Alaska」。且在外觀造型變動不大,主要變化是在硬體規格,首先是喇叭孔與固定綁帶將採用更加平坦、簡約的設計,以便大量生產,而第二代Vision Pro也會有專用電池配件組,但電量規格仍是未知數。第二代可能會採用兩片microOLED螢幕,同時還會搭載1個TrueDepth深度感測鏡頭、4個Computer vision(電腦視覺)鏡頭、2個RGB鏡頭、2個低光紅外線照明器、半自動瞳距(IPD)調整、環境光感測器、指南針、磁力計、加速度計、陀螺儀等。此外,蘋果稍早釋出最新iOS 17.2 Beta 2測試版,其中最顯著的亮點為iPhone 15 Pro、Pro Max兩款機型,新增空間影片拍攝的功能。據了解,空間影片需搭配Vision Pro使用,才能享受沈浸式的3D效果體驗。外媒報導,蘋果公司已邀請多家媒體體驗空間影片拍攝功能。有記者反饋,「我看著一盤壽司在我面前製作,廚師能一邊工作一邊和我說話。它看起來非常逼真」;另有記者指出,這可能是蘋果Vision Pro的「殺手級應用」,並表示,「如果你還未擁有Vision Pro,空間片可能是迄今為止最有說服力的應用。」分析師指出,針對空間影片拍攝,該功能有望進一步擴展VR的使用場景。在過往的VR的應用場景中,內容多為電影、遊戲等,當VR拍攝功能嵌入手機,設備與技術將不再是限制大眾生產VR內容的門檻,更多使用者生成內容(UGC)有望豐富應用場景,拓展VR受眾。有證券公司近期發佈研報指出,Meta每年在元宇宙領域投入超過140億美金,疊加其AI領域大模型Llama 2開發經驗。隨著AIGC多模態大型語言模型(LLM)的出現,極大的降低了3D內容的製作門檻,提高製作效率,AI的發展將推動VR/MR設備進入成熟快車道。
![alt](https://static.ctwant.com/images/cover/7/295707/sm-eb568279e838a92bb1641002ce1d3543.jpg)
對決高通!聯發科推「天璣9300」全大核旗艦晶片 股價7日飆上899元市值破1.4兆
手機可以不上網就跑自己的AI了!IC設計龍頭聯發科(2454)6日晚間大動作發表最新旗艦級手機晶片「天璣9300」,以4個大核心架構,效能強卻能省電,直接正面對決高通日前發表的Snapdragon 8 Gen 3,雙方都主打可以在終端裝置上運行生成式AI,且將在大陸品牌手機上陸續推出,對此,投資人在7日給予信心支持,開盤就起漲,最高一度漲到899元,市值突破1.4兆,穩坐台股亞軍。兩大晶片廠今年決戰主流放在生成式AI,高通日前發表Snapdragon 8 Gen 3,可以直接在終端裝置上運行OpenAI Whisper、百度文心一言3.5、Meta Llama 2、Google Gecko等程式,並提到AI效能較前一代提升3.5倍,也能強化拍攝和後製功能。天璣9300則是打出「全大核」CPU架構,含4個 Cortex-X4超大核,性能較上一代提升40%,功耗卻能節省33%,完全是為了生成式AI而設計,用聯發科特有的記憶體硬體壓縮技術,讓最高可達330億參數的AI大型語言模型,能在終端裝置上運行,高通能做的、聯發科也能做到,且用跑分軟體還贏過高通。這兩家的CPU都是以Arm新一代的CPU技術,不過在核心分配上有不同的理論想法,最後誰能勝出還有待觀察;目前多家廠商都已宣布會以此晶片推出手機產品,像是小米14會用高通的,vivo X100會用聯發科的,台灣大約在12月中下旬能買到。業內人士認為,雖然目前主打的AI作圖和文字生成還不算最厲害的技術,但聯發科有AI技能擴充技術「NeuroPilot Fusion」,未來可以下載並抽換參數,讓自己手機的AI更客製化,就有無限想像,外資報告表示,聯發科的「全大核架構設計」是一大亮點,可應對AI和更複雜的遊戲應用,加上大陸智慧手機的庫存問題開始好轉,有機會刺激未來手機的更新換代,看好聯發科股價能優於大盤,上看1000元。而聯發科旗下小金雞達發(6526)10月19日以參考價434.84元上市,但當時面臨整體科技股高檔回落,掛牌蜜月行情失靈,聯發科6日宣布透過子公司旭達投資加碼力挺,依市場價格取得達發普通股,額度上限為6000張,讓達發7日開盤就往上猛跳,推助達發大漲逾7%、上衝454.5元歷史最高價,成功收復掛牌承銷價。
![alt](https://static.ctwant.com/images/cover/49/289449/sm-bd554afd0a1c1a041438b68689c7a394.jpg)
AI語言模型「國慶日回答10/1」出包 中研院:研究員自行發布試用版
中央研究院近日推出類似ChatGPT(AI)的繁體中文語言模型「CKIP-Llama-2-7b」,然而語言模型竟回答我國領導人是「國家主席習近平」,甚至回答我國法律是「中華人民共和國憲法」,引發外界議論,目前已下架。對此,中研院發聲明回應了。中研院聲明指出,CKIP模型(CKIP-Llama-2-7b)為本院個別研究人員主持的詞庫小組(CKIP)的實驗性研究,模型尚在測試階段,由該研究人員自行發布試用版本。中研院強調,本院相當重視此事件對社會的影響,將釐清事件是否違反相關規定,後續將規劃成立「生成式AI風險研究小組」,深入了解AI對社會的衝擊,提供研究人員相關指引,避免類似事件再度發生。中研院表示,繁體中文語料庫是發展台灣大型語言模型的重要基礎,本院將整合繁體中文詞知識庫,投入資源並規劃管理機制,本院已召開數次生成式AI相關會議,將擴大召集AI相關的跨領域研究人員,以團隊方式連結資訊科技、人文及社會科學人才進行跨領域研究,與全國各界共同促進臺灣繁體語境生成式AI的發展。
![alt](https://static.ctwant.com/images/cover/52/289252/sm-bb6fba697905f8f8314ccb78fc1fc19c.jpg)
中研院學AI語言模型大出包 問國慶幾號回答「10月1日」
中央研究院近日推出類似CHatGPT(AI)的繁體中文語言模型「CKIP-Llama-2-7b」,但就有網友問「我國領導人是誰?」結果語言模型竟回答「國家主席習近平」,甚至被問我國法律,則回答「中華人民共和國憲法」,這樣的狀況曝光後,中研院也在今日緊急下架該軟體,並給出出現這樣狀況的說法。CKIP-Llama-2-7b是中研院詞庫小組(資訊所及語言所共同成立)開發的繁體中文大型語言模型,但就有不少網友使用後發現,語言模型給出的答案都是大陸觀點。如「我國領導人是誰?」語言模型直接回答「國家主席習近平」;「國慶日是何時?」回覆是每年的10月1日。這樣的狀況讓AI專家認為,中研院的語言模型都是採用大陸資料,再「簡體轉繁提」而已。對此,中研院資訊所也發布聲明表示,CKIP-LlaMa-2-7b並非「台版chatGPT」,跟國科會正在發展的TAIDE無關。CKIP-LlaMa-2-7b的研究目標之一,是讓meta開發的Llama 2大型語言模型具備更好的繁體中文處理能力。中研院資訊所表示,由於這是一項個人小型的研究,各界對該模型進行的提問測試,並未在原始的研究範疇。研究人員今日已將測試版下架,未來相關研究及成果釋出會更加謹慎。對相關研究的成果,公開釋出前,院內也會擬定審核機制,避免類似問題產生。
![alt](https://static.ctwant.com/images/cover/76/287176/sm-8169cc9d2921c8eba3d4971eb8330894.jpg)
Meta推新模型EMU搶圖片AI生成 1.7萬元Quest 3頭戴裝置10月出貨
今年適逢 Meta Connect 十周年,Meta 創辦人暨執行長 Mark Zuckerberg 在28日凌晨的 Connect 大會上,分享 Meta 在3大方面的進展,包含Meta Quest 3 將 MR 帶至大眾市場、推出圖像生成模式 Emu、與 Ray-Ban 聯名智慧眼鏡系列。Meta Quest 3為全球首款針對大眾市場的 MR 頭戴式裝置,採獨立式一體機設計,無需連接電腦、主機,沒有外接電池,同時可連結到龐大的內容庫,今年更預計新增 100 多款全新與改版遊戲,其中多數結合 MR 技術。台灣定價 529.99 美元(約新台幣1.7萬元)起,推出 128 GB 版本,即日起開放預購,並於10 月 10 日出貨。Meta正式推出圖像生成模式 Emu (Expressive Media Universe)。在輸入文字提示後數秒內,將生成擬真的圖像也可在聊天中使用 Emu 即時創造客製化貼圖。(圖/Meta提供)Meta 也正式推出圖像生成模式 Emu (Expressive Media Universe)。在輸入文字提示後數秒內,將生成擬真的圖像,更可在聊天中使用 Emu 即時創造客製化貼圖。此外,也推出Restyle與Backdrop,Restyle 可依照使用者描述的視覺風格改造圖片,例如輸入「水彩」等關鍵字,或更詳細的描述,像是「報章雜誌的拼貼圖,邊緣撕紙效果」來說明想像中的外觀與風格,都能生成圖像。而Backdrop則運用影像分割基礎模型 Segment Anything Model 的學習結果,專門針對風景照或圖片背景的編輯功能。不過使用 Restyle 與Backdrop產出的圖像,將會顯示是「由 AI 生成」,減少被誤認為是人們創造的內容。Instagram也即將整合這2項新功能,運用 Emu 的技術讓人們自創圖像,甚至與朋友共創 AI 圖像。Meta正開發全新平台AI Studio,可依據工作或娛樂用途創造客製化AI助理,支援WhatsApp、Messenger與Instagram私訊聊天;Meta AI 是接近與真人互動的全新 AI 助理,採用基於Llama 2技術發展的客製化模型,並與搜尋引擎Bing合作,即時獲取最新資訊。Meta 攜手 EssilorLuxottica 設計新一代智慧眼鏡,不需拿出手機,也能隨時保持連線與捕捉眼前畫面,再直接分享給親朋好友甚至全世界,更首次結合直播功能,透過智慧眼鏡直接在 Facebook 與 Instagram 開直播與好友和追蹤者互動,這也是首款內建 Meta AI 的智慧眼鏡。北美地區將率先體驗隨時隨地、免手持使用先進 AI 技術。明年透過免費更新,智慧眼鏡將能理解使用者注視的畫面並提供對應的協助。若想知道眼前建築物的資訊,或立即翻譯標誌內容,Ray Ban Meta智慧眼鏡將提供答案。智慧眼鏡是未來很重要的技術平台,除了讓人們得以自然地看見實體世界中的數位全像投影 (digital holograms),AI 也會同步注視與聆聽,讓智慧眼鏡隨著時間累積而更聰明。Ray Ban Meta 智慧眼鏡系列將於10月 17 日上架,定價 299 美元(約新台幣9,613元)起。
![alt](https://static.ctwant.com/images/cover/85/279485/sm-f57410591952fcd624460c5820ea924c.jpg)
黃仁勳:輝達未來4年將花1兆美元升級AI數據中心 由Meta等4大科技巨頭買單
輝達(Nvidia)上周炸裂的業績給科技股注入了強心針,但隨之而來的質疑也不少,最大的關注焦點在於,對於其昂貴GPU爆炸性的需求是否真的能夠持續。執行長黃仁勳預計4年內將花費1兆美元升級人工智能數據中心,其中大部分的費用,將由雲端供應商亞馬遜、Google、微軟和Meta等4大科技巨頭支付。根據《Insider》報導,黃仁勳在上周三(23日)電話會上表示,未來四年將有約1兆美元用於AI數據中心升級,包括GPU的升級,他甚至具體列舉了每年的費用。他表示,全球約有價值1兆美元的數據中心需求,每年的資本支出約2500億美元。根據黃仁勳的說法,大部分費用將由領先的雲端服務提供商,和其他大型科技公司支付,這些公司正爭相參與生成式人工智能的競爭。這些巨頭主要包括亞馬遜、微軟、谷歌,Meta等公司。目前超大規模雲端供應商正通過Llama 2和其他人工智能模型,大力發展生成式人工智能。但這是一個非常燒錢的行業,這些雲端供應巨頭是否擁有足夠的現金來投入輝達龐大的資本開支截至6月30日,亞馬遜、Google,以及微軟和Meta公司的現金和現金等價物約3340億美元(約新台幣10.6兆元)。其中,亞馬遜現金持有410億美元(約新台幣1.3兆元)現金,Meta則擁有640億美元(約新台幣2.03兆元)。Meta首席財務長Susan Li表示,公司預計今年的資本支出將爲270至300億美元(約新台幣8593至9547億元)。到2024年,該數字將上升,因公司將建設新設計的數據中心,並在伺服器上投入更多資金,以支持旗下的所有核心人工智能排名、推薦工作以及下一代人工智能項目。
![alt](https://static.ctwant.com/images/cover/53/278853/sm-9515fec6717ab9c8d09c0a7d99e0b4c5.jpg)
輝達超級財報帶旺AI族群嗨翻上半場 廣達、緯創股價午盤跳水
AI晶片大廠輝達(NASDAQ: NVDA)公告第2季營收翻倍成長至135.1億美元,好消息今(24)日台股AI族群上演慶祝行情,廣達 (2382) 、緯創 (3231)早盤漲幅一度超過6%,但11時許跌落盤下 ,台股加權指數1萬6800點得而復失,台積電(2330)、鴻海(2317)、英業達 (2356) 、技嘉 (2376) 股價盤上震盪。輝達第2季營收135.1億美元,年增101%、季增88%,其中貢獻最大的「資料中心」103.23 億美元、暴增171%,第二大「遊戲」為 24.86 億美元,雙雙優於市場預期。分析師指出,廣達、緯創先前在AI的想像行情獲利了結,回歸基本面,市場關注9月Copilot訂閱使用狀況;聯發科開始運用Meta Llama 2大型語言模型開發生成式AI晶片組,則預告AI邊緣運算商機逐步開展,今日振奮IC設計族群信驊(5274)、世芯-KY(3661)等股價。
![alt](https://static.ctwant.com/images/cover/80/278780/sm-c46e5ec52c20ea8ab675e02a575e3dcd.jpg)
聯發科24日宣布運用Meta語言模型開發終端應用 晶片組年底亮相
IC設計大廠聯發科(2454)今日宣布,將運用Meta最新世代大型語言模型Llama 2以及聯發科技最先進的人工智慧處理單元(APU)和AI開發平台(NeuroPilot),建立完整的終端運算生態系統,加速智慧手機、汽車、智慧家庭、物聯網等終端裝置上的AI應用開發,為終端裝置提供更安全、可靠和差異化的使用體驗。預計運用Llama 2模型開發的AI應用將在年底最新旗艦產品上亮相,為使用者帶來突破性的生成式AI應用體驗。聯發科技無線通訊事業部總經理徐敬全表示:「生成式AI的浪潮是數位轉型的重要趨勢之一,我們的願景是為Llama 2的開發者和終端使用者提供工具,帶來更多令人振奮的AI創新機會和產品體驗。透過與Meta的夥伴關係,聯發科技可提供更強大的硬體和軟體整體解決方案,賦予終端裝置更勝以往的強大AI效能。」聯發科指出,目前大部分的生成式AI處理都是透過雲端運算進行,將生成式AI直接部署在終端裝置,讓開發者及使用者能直接在裝置上使用Llama 2模型,藉此提升性能、加強隱私保護、提高安全性及可靠性、降低延遲,能離線運算,並擁有節省成本的多項優勢,讓每個人都能享受到生成式AI帶來的便利與創新。要真正在裝置上釋放生成式AI的潛力,製造商需採用高運算、低功耗的AI處理器,以及更快、更可靠的連網性能,以增強整體運算能力。目前每一款由聯發科系統單晶片驅動的5G智慧手機皆配有APU,已有廣泛執行多項生成式AI功能的成功實例,例如AI-NR雜訊抑制、AI-SR超高解析度、AI -MEMC動態補償等。聯發科將於今年年底推出最新一代的旗艦晶片組,並採用針對Llama 2模型而優化的軟體堆疊架構(NeuroPilot),與搭配支援Transformer模型做骨幹網路加速的升級版AI處理單元,降低DRAM存取消耗及頻寬佔用,進一步強化大型語言模型和生成式AI的性能,以利開發者打造全新AI應用,加速終端應用的落地擴展。