AI大模型入職科技媒體：文心與豆包表現突出，但全都沒過試用期

臨近年末，各大手機品牌新機新機陸續釋出，一場接著一場的釋出會導致我們加班成了常態。疲憊之時小雷突然想到，或許我們可以用生成式AI撰寫一些資訊量較多，無需過多解讀的文章，以緩解工作疲勞。

但在真正使用生成式AI幫助我們工作之前，自然要對比測試一下當前行業人氣比較高的幾款AI大模型，看看它們是否真的可以完成我們的工作。

考慮到現階段生成式AI不少可以免費使用，部分需付費使用，公平起見，小雷選擇了豆包、Kimi、訊飛星火三款免費AI大模型，以及文心一言可免費使用的文心3.5版本和免費版GPT-4o。測試流程方面，小雷準備了三重考驗，包括總結能力、文章撰寫能力，以及圖片生成能力。

閒話不多說，咱們直接進入正題。

數碼圈報告總結：只得皮毛，卻失骨肉

今天幾乎所有AI都加入了文件總結能力，因而小雷感覺，只是對新手機的釋出會文件進行總結，難度似乎有點低。於是，小雷找到了之前看過的小紅書《潮流數碼白皮書》PDF檔案，該檔案約有2萬字，深度剖析了小紅書平臺潮流數碼的現狀、發展趨勢，並給數碼家電品牌提出了相應的營銷建議。

分析一份大小超過30MB的檔案，對於這幾款AI大模型都是挑戰。

豆包：資料紮實，深入內容剖析

作為位元組跳動開發的AI大模型，豆包擁有龐大的文章資料庫可用於訓練，也是當前小雷常用的AI助手之一。豆包將《潮流數碼白皮書》總結出核心觀點、小紅書數碼行業現狀、潮流數碼人群與趨勢、營銷解決方案、未來展望五大板塊。

（圖源：豆包截圖）

其中最為關鍵的營銷解決方案板塊，豆包還點出了應當抓住對應的時間節點進行營銷，這是其他所有AI大模型都未能做到的事。儘管仍遺失了不少資訊，但豆包總結出的內容明顯優於其他幾款AI大模型。

訊飛星火：精煉簡潔，關鍵資訊缺失

訊飛星火與豆包的風格完全不同，豆包的總結大而全，訊飛星火的總結則極為精簡，全文加起來的字數都沒有豆包總結出的營銷解決方案一個板塊多。

（圖源：訊飛星火截圖）

字數多雖不一定好，但兩萬多字的檔案，總結到五百多字，難免要捨棄大量內容。事實也正是如此，訊飛星火總結出的內容過於簡練，看不到太多有用資訊，也沒有明確的分析，整體顯得過於籠統。

Kimi：車軲轆話多，大廠味濃濃？

第三個進行測試的是Kimi，對於《潮流數碼白皮書》，Kimi足足總結出了八大板塊，但每一個板塊的字數都不多，有點淺嘗輒止的意味。而且與訊飛星火相同，Kimi也沒有總結出任何資料，有點大廠打工人開會的感覺，主打一個“不說人話”。

（圖源：Kimi截圖）

嚴格來說，Kimi總結出的內容更像是一份大綱，可以根據其填補缺失的部分，但對於我們瞭解PDF的內容，沒有太多幫助。

文心3.5：滿屏小標題，有效資訊少

如果說Kimi總結出的結果是一份大綱，那麼文心3.5總結出的內容則像是文章的標題和小標題，一句又一句的短語，有效資訊卻不多，能夠總結出數碼行業人群資產規模情況是少有亮點。

（圖源：文心一言截圖）

GPT-4o：我不支援解析PDF

前面幾款AI大模型無論總結的結果如何，但至少給出了一個答案，GPT-4o卻直接顯示無法檢視和處理PDF檔案。

（圖源：ChatGPT截圖）

ChatGPT幾乎是公認的最強LLM（大語言模型），卻無法檢視和處理PDF檔案，著實令小雷有些失望。

小結：車軲轆話來回轉，準確資訊看不見

本以為內容總結是AI大模型的基礎功能，豆包、訊飛星火、Kimi、文心3.5，以及GPT-4o的表現卻令小雷大失所望。豆包總結的內容有資料有分析，勉強能夠達到及格分，其他幾款AI大模型交上的答卷不說是0分，也沒高出太多。

AI大模型對於《潮流數碼白皮書》的總結，普遍是車軲轆話來回轉，鮮有話語能夠落到實處。例如營銷佈區域性分，PDF統計了不同產品的最佳營銷節點，暑期畢業季打遊戲和旅遊人群多，適合營銷桌上型電腦和攝像機；女生喜歡拍照和音樂，38女王節則適合營銷數碼相機和藍芽耳機。在評測的幾款AI大模型中，只有豆包提到了一些相關內容，

（圖源：《潮流數碼白皮書》截圖）

在本輪評測中，豆包的表現無疑是最好的，訊飛星火、Kimi、文心3.5三款大模型，雖沒能總結出太多有價值的資訊，但至少輸出了內容，表現可列為第二檔，被寄予厚望的GPT-4o，表現則遜色不少。

當然，總結功能不過是開胃菜，對於其他文章的總結能力不足，不代表撰寫的文章的能力不行。

釋出會報道：GPT水土不服，國產大模型出色

為了凸顯出編輯撰寫和AI生成的差距，小雷挑選了雷科技小夥伴撰寫iQOO Z9 Turbo+釋出會文章作為對比。該手機發布至今已有一段時間，網路上的相關文章不少，AI能夠輕鬆找到素材，相對而言更簡單一些。

首先看看雷科技小夥伴撰寫的資訊報道，該文章邏輯清晰，將iQOO Z9 Turbo+的硬體配置、遊戲幀率、產品亮點、價格完整羅列，並對其競爭力進行了分析。

（圖源：雷科技文章截圖）

受限於篇幅與時效性要求，雷科技小夥伴撰寫的這篇資訊報道並未深入解析與體驗產品，但消費者希望能夠了解到的資訊，基本完整闡述。

撰寫文章是生成式AI的基礎功能之一，豆包、訊飛星火、文心3.5等AI大模型還提供寫作型別或風格可選，以幫助使用者快捷創作文章。

（圖源：豆包截圖）

閒話不多說，咱們來看看AI大模型撰寫這一款產品的釋出會報道（由於iQOO Z9 Turbo+已釋出相當長一段時間，網路上的資料已十分充沛，能不能寫好就看大模型的技術實力了。）

豆包：資訊詳實，邏輯清晰，原創度超50%

豆包撰寫的文章比雷科技小夥伴所寫的內容更長，條理同樣清晰，外觀設計、效能、散熱、螢幕、電池、影像、價格每一部分都單獨列了出來，並加上了小標題。該文章不但配置細節相對豐富，而且沒有出現錯誤。值得一提的是，價格環節雷科技小夥伴報道稱iQOO Z9 Turbo+ 12GB+256GB首發價格為2199元，但實際上如豆包撰寫文章所言，應該是2299元，首銷特價2199元。

（圖源：豆包截圖）

小雷使用某自媒體工具對該文章進行了原創度檢測，查詢到該文章的原創度為50.56%。一般來說，自媒體平臺會要求文章原創度在70%以上，但考慮到該文章為資訊報道，內容包含了大量引數資訊，原創度能夠達到50%左右，實際上已經不低了。就算是雷科技小夥伴自己寫的文章，該工具檢測顯示原創度也在50%左右。

（圖源：自媒體工具截圖）

豆包撰寫的釋出會報道，配置資訊、價格、時間沒有錯漏，查重率能夠達到50%左右，是一篇合格的文章。不過文章段落之間的轉折略顯生硬，且沒有見解和分析，與雷科技小夥伴創作的內容有一些差距。

訊飛星火：文章簡練，資訊紮實，但條理不夠清晰

與總結部分相同，訊飛星火大模型創作的文章依然較為簡練，正文內容約700字，不到豆包撰寫文章的一半。不過這篇文章內容也足夠紮實，只是電池容量資料出現了錯漏，比真實容量低400mAh，而且文章條理性不如豆包撰寫的文章那麼清晰。

（圖源：訊飛星火截圖）

查重率方面，自媒體工具檢測顯示，訊飛星火文章原創值為61.02%，比豆包撰寫的文章更高。有意思的是，這些AI大模型似乎格外喜歡“震撼”二字，訊飛星火擬定的標題也帶有這兩個字，並被自媒體工具檢測為違禁詞。

（圖源：自媒體工具截圖）

站在編輯的角度，小雷認為訊飛星火撰寫的文章較為精煉，並不比豆包撰寫的文章差，而且原創度更高。可惜電池容量資料出現了小紕漏，如果使用訊飛星火寫文章，最好自己詳細檢查和對比引數資料，避免文中出現錯誤。

Kimi：錯誤資訊較多，AI風過於濃烈

Kimi是小雷平時使用最多的AI助手，但這一次它太讓我失望了。Kimi所撰寫的iQOO Z9 Turbo+釋出會，沒有註明釋出會時間，開售時間錯誤，處理器、電池、快充功率、價格等資料，一項對的都沒有。連資料都錯誤連篇，其他語法、結構根本沒有看的必要了。

（圖源：Kimi截圖）

該文章的原創度達到了58.52%，倒是不算低。然而轉念一想，本應充滿引數的釋出會報道，從硬體配置到價格到處都是錯誤，原創度居然未能達到70%以上，顯然問題很嚴重。

（圖源：自媒體工具截圖）

毫無疑問，Kimi撰寫這篇文章不合格，釋出會報道最重要的硬體引數出現了太多錯誤，甚至在其基礎上大改，都不如自己重寫一篇報道。

文心3.5：交出高分作文，我願稱之為最強

百度是當前國內圖文資訊平臺巨頭之一，用於訓練的資料同樣豐富。在前面三款AI大模型撰寫的文章中，豆包略勝一籌，文心3.5所撰寫的文章，在小雷看來比豆包還要強一些。

文心3.5創作的iQOO Z9 Turbo+釋出會報道全文不到1200字，沒有透過小標題分段，文章緊湊且資料沒有明顯錯誤，也點出了12GB+256GB限時特惠價格。文心3.5創作的內容亮點在於AI味沒有那麼濃，行文很像真人撰寫，除了言辭略顯軟文風格和沒有任何分析外，其他做方面都不錯。

（圖源：文心一言截圖）

原創度方面，該文章達到了57.77%，同樣優於豆包創作的文章。另外，文心3.5擬定的標題沒有“震撼”二字，自媒體工具也沒有檢測出任何可能存在違規情況的詞語。

（圖源：自媒體工具截圖）

作為國內使用者數量最多的搜尋引擎和頭部圖文資訊平臺，百度技術實力、訓練資料量領先絕大多數AI公司，文心3.5的表現也沒有辱沒百度，所撰寫的釋出會報道可以當作原創文章釋出。

GPT-4o： 內容極度敷衍，水土嚴重不服

網際網路一直流傳著一個說法，中國網民數量雖世界第一，但貢獻的資訊只佔網際網路的不到1.5%。事實上，這是因為該資料只統計了不包含中國大陸地區的網際網路資訊，海外網際網路中文資訊太少。正因如此，用於給ChatGPT訓練的資料也不多。

（圖源：ChatGPT截圖）

免費版GPT-4o撰寫iQOO Z9 Turbo+釋出會報道之時，就出現了水土不服的情況，資料錯亂不堪，而且內容字數不多，只有簡單的介紹，甚至不如Kimi撰寫的文章，完全沒有查重的意義。

小結：撰寫釋出會報道，AI已達科技編輯實習生水平

這幾款AI大模型的表現證明，儘管AI缺乏真正的邏輯推理能力，寫長文和分析類內容較為吃力，但在資訊量充足的情況下，創作釋出會報道已不是問題。小雷建議媒體老師參加釋出會不要發通稿了，至少可以用AI創作一番。

不過，AI撰寫的文章風格和邏輯性與編輯仍有差距，暫時無法代替專業編輯完成更多工。像雷科技編輯參加釋出會，重點產品必須要輸出大幾千字的長文解讀，包括髮佈會基礎資訊、高管發言解析、現場產品體驗、現場反饋觀察，以及深入產品對背後的技術、公司、品類和行業深入解析，這些是目前的AI做不到的。

AI大模型之間的差距也十分明顯，本輪測試中文心3.5和豆包表現出色，創作的內容行文通暢，也沒有明顯的資料錯誤，可並列第一梯隊。訊飛星火延續了精煉的風格，字數雖然不多，但該有的都有了，雖然有一些資料錯誤，但並不多，大多數資料依然準確，位列第二梯隊。

Kimi以長文字生成與解析能力著稱，不過似乎不太擅長撰寫文章，出現了較為嚴重的資料錯誤，GPT-4o因水土不服，撰寫中文報道問題較為嚴重，加錢升級至ChatGPT Plus才能享受到更好的服務，這兩款大模型在本輪測試中位列第三梯隊。

在日常工作中，AI大模型對於我們而言，除了幫忙檢查文章的錯別字、語病等問題，還有一項實用的功能——AI繪圖。因此，小雷特地加入了繪圖測試環節。

數碼圈文章配圖：偶爾能用，但提升空間較大

因擔心版權糾紛，雷科技小夥伴為文章配圖時極其謹慎，但很多文章配圖較為麻煩，因而小雷經常使用AI生成圖片。

最開始小雷本想使用AI生成一張iQOO Z9 Turbo+的圖片，結果所有AI大模型都不能準確生成指定機型，即便網際網路上已有不少該機型的圖片。小雷只好將限定語定為“一個人捧著手機打遊戲”，突出使用手機的場景，淡化具體手機型號，用於文章封面。

（因不支援繪圖功能，Kimi不參與本輪測試。）

豆包：未能正確理解遊戲與手機

在前幾輪取得了優異成績的豆包，本輪測試卻有點離譜，似乎無法正確理解“手機”和“遊戲”，所繪製的圖，都是拿著遊戲手柄，而且手指存在不協調的情況。

（圖源：豆包截圖）

豆包繪圖功能提供的選項較為豐富，可選擇不同風格，小雷又用人像攝影風格試了一次，結果給出的圖片風格換了，但圖片中的人手中握著的依然是遊戲手柄或者畸形的手機。

（圖源：豆包截圖）

在理解自然語言和繪圖方面，豆包的表現並不出色，但提供的繪圖後期處理功能為其扳回一分。AI生成的圖片基本為1:1比例，即便在描述中加了比例限定詞，生成的圖片還是1:1，不適合用作文章配圖和封面。豆包加入了區域重繪、擴圖、擦除等功能，可以對圖片進行一定程度的修改，例如小雷就使用擴圖功能，將1:1的圖片擴充至16:9，更適合用來做文章封面。

（圖源：豆包截圖）

儘管有這些功能，本輪測試小雷依然無法給豆包打高分，畢竟識別自然語言並繪製出我們想要的圖才是最重要的功能，後期修改有太多工具可以實現。

訊飛星火：正確生成圖片，自定義能力不足

在前幾輪的測試中，訊飛星火表現中規中矩，但本輪測試訊飛星火卻拿到了高分，所繪製的圖片接近我理想中的結果，最容易出錯的手指處也沒有太嚴重的不協調。

（圖源：訊飛星火截圖）

遺憾的是，訊飛繪畫大師智慧體提供沒有提供創作風格可選，也沒有後期處理功能，以至於文章的比例不適合用於文章配圖，且未能突出“捧著手機打遊戲”的主題。如果想要將這張圖處理成封面，還需要其他應用的介入。

文心3.5：完全可用，“盛名之下無虛士”

與豆包、訊飛星火生成的圖片相比，文心3.5繪製圖片更符合小雷的預期。

首先，其他幾款圖片的手機都顯現出了背面，可背面結構較為複雜，非常容易出錯，而且使用者能夠一眼看出圖片是不是文章提到的手機，文心3.5則突出了手機的正面，使用者難以分辨這是哪一款機型。

（圖源：文心一言截圖）

其次，訊飛星火生成的圖片重點落在了全景，文心3.5繪製的圖片則聚焦手機主體，突出了“捧著手機打遊戲”這一主題。唯一遺憾的是，手機螢幕沒有顯示遊戲畫面。

文心3.5同樣沒有提供風格選項和後期處理功能，期待文心3.5可以後續豐富一下繪圖功能，為使用者文章配圖提供更多便利。

GPT-4o：機身、螢幕全亂套，繪圖如此拉胯？

AI繪製手機圖片時最大的問題在於背面的設計元素細節混亂，但GPT-4o給出的結果，比小雷預想中更離譜，因為它將本該是手機背面的區域，繪製成了手機螢幕……

（圖源：ChatGPT截圖）

只能說，ChatGPT並不是萬能的，無論是撰寫文章還是製作圖片，都可能出現各種問題。GPT-4o本身也沒有提供後期處理功能和風格選擇，看來除了部分專業AI製圖軟體，如豆包一般提供圖片豐富風格選擇和後期功能的AI大模型並不多。

最後說一下圖片的解析度，雷科技配圖對於圖片的清晰度和解析度都有一定的要求，封面圖的要求就更高了。這四款大模型中，訊飛星火和GPT-4o繪製的圖片解析度為1024×1024，清晰度明顯較高，文心3.5繪製的圖片解析度則為769×768，解析度最低，無法用作雷科技文章封面。

豆包生成的圖片原圖也是1024×1024，但可以使用擴圖和重繪功能進行修改，例如小雷將圖片擴圖為16:9後，解析度就變成了1820×1024。

小結：繪圖不如撰文成熟，改進空間都不小

繪圖功能是AI大模型的基礎功能之一，也是長期圍繞著AI大模型的難題，從結果來看，AI大模型細節方面依然有所欠缺，如豆包未能正確理解限定詞，GPT-4o將手機背面區域繪製成了螢幕等等。但我們也能看出AI的進步，曾被用於分辨AI和真人繪畫的手指部分，AI作圖的和諧性越來越高，很少再出現多一根或少一根手指的情況。

當我將訊飛星火繪製的圖片上傳至其他AI大模型，測試是否能夠調整為16:9比例時，發現所有AI大模型都無法準確識別指令，訊飛星火更是稱圖片已是16:9比例，豆包則基於該圖片重繪了一張1:1的圖片，似乎所有AI大模型都無法準確識別圖片比例或難以根據指定比例繪圖，這點也急需改進。

（圖源：豆包AI截圖）

大多數AI大模型只提供繪圖功能，沒有相應的模板和後期處理功能，很難穩定為文章繪製配圖和封面，這幾款AI大模型的繪圖功能仍有較大提升空間。

總結：AI入職科技媒體做編輯，未來可期？

經過三輪測試，小雷認為，目前AI倘若“入職”任何一家科技媒體，恐怕都很難透過試用期，雖說部分工作偶爾可以達到實習生水平，但大體上距離一位合格的編輯還有較大差距。

一位合格的科技媒體編輯，至少需要以下能力：

有極強的資訊獲取、甄別、篩選、提煉能力；

快速創作內容，對釋出會進行報道，在真實場景對產品進行體驗，再提出自己的看法、行業觀察，以及深入淺出的技術解析；

具備一定的編輯能力，可透過配圖、排版提高文章的可讀性，增加讀者的使用者體驗。

現在看來，AI要做好其中任何一項工作都很難。

在這三輪測試中，最令小雷意想不到的是第一輪測試，總結PDF重點內容，理論上是最簡單的任務，可沒有一款AI大模型可以達到高分，普遍是車軲轆話來回轉。第二輪測試是平均表現最好的一輪，只有Kimi和GPT-4o出現了較為嚴重的問題。

而第三輪測試中，訊飛星火和文心3.5表現較好，其他兩款繪製出的圖片都存在明顯缺陷。然而文心3.5繪製出的圖片解析度太低，訊飛星火未能突出主體，只能算高分，卻拿不到滿分。

三輪測試下來，綜合表現最好的是文心3.5和豆包，其次則是訊飛星火，Kimi和GPT-4o則表現相對較差。當然，本次測試並不能代表文心一言和ChatGPT的全部實力，這兩款大模型都有付費版，掏錢才能享受更好的體驗。

總而言之，AI大模型已經擁有了撰寫釋出會文章的能力，但訊飛星火的資料錯誤表明，哪怕真的用AI大模型創作文章，也要有編輯加以稽覈和整理，避免出現資料資訊錯漏。而面對較長的文案，AI大模型給出的內容很可能會像總結出的文件一樣，車軲轆話亂轉，卻說不到實處。

（圖源：豆包生成）

2022年底AI大模型才爆火，至今不過兩年時間，從最初一片嘲笑之聲，到現在越來越多人接受了AI大模型，並將其作為提高工作效率的幫手，AI大模型的進步肉眼可見。如小雷就經常使用豆包AI生成圖片，用Kimi幫忙檢查文章。

兩年時間能取得如此驚人的進步，也讓小雷對AI更有信心。只是AI不具備真正的推理能力這一問題，可能會成為阻礙AI功能發展的進步。

在《GSM-Symbolic: 理解大型語言模型數學推理的侷限性》論文中，研究人員稱AI大模型只能套用訓練資料的模式解決問題，一旦出現嚴重的資料汙染，AI大模型回答問題的準確度就可能大幅下降。

至少以現在的眼光來看，AI大模型雖然可以不斷進步，但完全取代編輯撰寫文章仍是不可能的。唯有真正賦予AI推理能力，才能讓AI告別套用現有模式，用“思考”去解決問題。