经过过去一年多的快速发展,生成式 AI 激发出众多能帮助我们够跨越语言障碍,触及到「外面的世界」的工具。
这些工具不再仅限于「翻译」,而是以更敏捷的交互,在不同环境下跃过外语屏障,帮助用户获取信息和理解信息。
这次,围绕外刊文章、视频和播客三种媒介,我们试图在不同「相遇」场景下寻找减少语言隔阂的方法,最终梳理出以下这批 AI 工具。
因为现在大部分大模型都能翻译,不同用户有不同偏好,因此这次我们选择的工具尽可能是支持多模型选择,更重视这些工具在特定场景中的交互便利性。
当然,我们没法穷尽现存所有的工具。如果你也有好方法,还请多多在评论区和我们分享☺️
外刊文章 & 书籍
作为科技编辑,看外网文章找资料是工作日常中的日常。
在这个环节中,我会将外刊阅读分为三个维度:全文翻译、总结或理解。
全文翻译:
「沉浸式翻译」相信很多人都用过。
这款浏览器插件在交互上非常方便,安装后只需轻轻一点,就能在浏览器里进行双语阅读。
翻译质量方面,插件支持选择用不同大模型来进行翻译。不过,OpenAI 和 DeepL 等模型必须要成为插件的付费用户或者自己有对应产品的 API 才可使用,免费就只可选微软翻译、谷歌翻译、Yandex 和腾讯交互翻译几种产品。
即便如此,它将近可翻译任何浏览器里的能力和非常轻量化的设计,还是收获了众多喜爱。
它甚至还支持 PDF 全翻译。在浏览器打开线上的 PDF 论文,插件会创建一个新的并排界面,让你可以双语共读。如果想下载,也是可以选择论文的单语或双语版本保存。
如果你想看的是 EPUB 格式的电子书,也可以把英文图书直接丢进去,导出双语版本的 EPUB 格式图书。
对于 PDF 和 EPUB 文件的翻译,「微信读书」的用户也可以直接把文件导入微信读书,打开文件后启用自带的翻译功能,同样也有逐段式的翻译文本。
微信读书自带翻译功能
说起双语并列的阅读体验,那当然少不了很早就提出这种设计的「彩云小译」。
不过,和支持多个模型选择的「沉浸式翻译」相比,彩云只有「通用」和「学术」两种翻译模型选择,而且彩云的免费用户单次翻译字数和次数都有限制。
与此同时,彩云时不时插件会有 bug,譬如我为了写稿加装了好些浏览器翻译插件,然后现在一用彩云就会出现一层遮挡。
相比之下,彩云的优可能就是定价比「沉浸」的便宜些:彩云小译会员 SVIP 35 元/月,VIP 12 元/月;沉浸式翻译会员 703 元/年或者 69 元/月。
总结或理解
和传统翻译工具对比,生成式 AI 工具最大优势是让互动超越「纯翻译」,走向「对话」。
「总结」是一个高频场景,是在决心投入 30 分钟+ 阅读一篇特写前的「预览」。
同样的,我也更偏好可以调用不同模型去完成这件事的插件类产品,其原理大多是「帮我复制文章到大语言模型,输入提示词总结,向我返回结果」。
只想看总结的话,可装 NoteGPT 插件,一键就能在原页面看总结,非常快捷方便。(NoteGPT 插件免费用户一个月只有 15 次免费总结次数,但它的另一个插件「文章摘要ChatGPT生成」可免费使用。)
值得留意的是,一般这些插件的默认总结提示词都是让总结成英文,可以自己手动在设置处改成中文。
另一款插件 Glasp 也是我喜欢的「伴读」工具。
阅读文章时,快捷键「command + x + x」就可以总结,但它的呈现形式并不是在当前页面,也是带着复制文本 + 提示词跳转到大模型界面中。
所以,如果你需要对文章进行进一步「询问」,这是更顺手的一种模式。
譬如,提问「文章中是否有提及 Luis von Ahn 自己是如何学习外语的?」
同样的,这个插件默认总结提示词也是英文,可以在设置中国把需求改成中文,或者改成双语。
Glasp 的高亮功能我也很喜欢。
在精读过程中,如果看到后面写稿有机会可能引用的话或者是写得好的地方,我都会高亮起来,方便后面回头找。
用账号登录后,所有标注过的高亮部分都会被汇总起来
在生成式 AI 时代,遇到不懂的单词能查的不再只是词典,可以直接让模型结合上下文给你解释。
我一般会用 Perplexity 的网页插件直接询问。
譬如,在以下文段中出现了一个用法「net-net」,我不太理解它的意思,我就会:
反馈结果��
同样的,如果文段中有句子让你感到困惑,同样也可以放在上下文语境中让大模型为你解释其背后含义或者是作者为什么要这样去写。
如果我的网络条件不太好,只能用必须自己手动拷贝文章全文到模型的工具,我会用先打开浏览器「阅读模式」插件,这样拷贝起来更快。
国内的 Kimi 擅长处理长文本,但外网链接限制较多,所以要手动拷贝文章,但它的「常用提示词」也是挺方便的。
视频、视频、视频
现在的年轻人都爱看视频学习,怎能让外语阻挡了呢?
在线看
「沉浸式翻译」插件在这个领域适配得挺好,将「双语」习惯延续到在线视频上,支持在 YouTube、哔哩哔哩、Coursera、TED 等众多视频网站上实时提供双语字幕。
不过,「沉浸式翻译」似乎只能为原本就有 CC 字幕的视频提供双语视频。鉴于 YouTube 基本都会自动生成英文 CC 字幕,所以在那使用基本无障碍。
「彩云小译」同样也支持视频翻译,但它采用的并不是对 CC 字幕的翻译,而是自己实时「听」英文,然后翻译,显示时会有时间滞后,同时翻译质量也不稳定。
在线总结
就和看特写文章一样,如果想在投入大段时间看一个视频前「预览」一下视频内容,可以用视频浏览器插件 NoteGPT 或者 Glasp 来读一下视频的总结或者浏览文字转录。
在 NoteGPT 的插件中,用户也可以进一步就视频内容在「AI Chat」中进行直接提问,不用跳转页面。
而 Glasp 的模式则仍然是在 YouTube 视频页面直接生成完整转录文稿,如果需要「总结」或进一步「提问」,可一键直接带着完整文稿到大模型对话框中进行。
本地视频
如果你有一个视频,找不到字幕,也没法完全听懂,那我们可以用「通义效率」的「上传音视频」来看。
虽然没法自动在视频上生成双语字幕(希望终有一天会有!),但通义会提供完整的双语文本,并对视频内容生成概要和带时间点的章节速览。
在观看视频的过程中,视频下的字幕会随之往下滚动。用户也可以在界面右侧做笔记备忘,甚至支持添加时间戳。
追发布会和听课
在这些情景下,我们的根本需求是「实时翻译」,如果能做便利做笔记就更加分。
电脑端
「通义效率」里的「实时记录」功能很好地满足了以上需求。
活动前,打开「实时记录」,选择「音频语言」和是否需要翻译,开听。
在测试过程中,虽然生成会有一点滞后,但不算严重。
通义的界面对于阅读也很友善,两种语言并排显示,可以先看到源语言的转录,随后翻译跟上。语音分段时,分段文稿读起来也比较舒服。
在听的过程中,用户也可以在右边的笔记区实时记录,甚至还提供了「时间戳」功能,结束后要回头找详细信息也更容易定位。
活动结束后,在完整文稿的基础上,通义还会自动提取内容关键词、撰写概要、章节预览和内容要点。
唯一限制,就是这个功能只有电脑网页端有,手机端的通义并没有。
手机端
如果你只方便带手机,那我们可以用飞书的「妙记」,正好飞书的妙记录音功能也只有手机有,电脑端无。
妙记可以实时录音并对文字进行转录,但在手机这个更小的屏幕上,用户只能选择一种语言 —— 要不显示源语言,要不就显示翻译成果。
、
和显示源语言相比,显示翻译后语言的速度会稍微慢些。
妙记更像是一个单纯的速记工具,用户没有空间去做笔记或备注,录音结束成稿后也没有摘要章节等自动总结,但它就是可以直接在手机上用。
播客
近几年来,海外科技圈做播客的人越来越多,播客也成为了我们获取信息的一个重要途径。
善用原有文稿
非常幸运地,「Lex Fridman Podcast」「All-In Podcast」等对话型播客除了可以在播客应用收听外,也可以在 YouTube 上观看。
如果你是「看视频播客」的话,可以前面的指南开「沉浸式翻译」或者用 NoteGPT 或 Glasp 来做总结文稿。
而「Hard Fork」和「Pivot」这类由媒体打造的音频播客,通常会在其媒体主页上提供转录文字稿,因此要细看也没问题。
Apple Podcast 转录
如果你想听的播客,暂时没能找到文稿或视频,那还是可以试试通义效率里的「播客链接转写」功能。
据测试,Apple Podcast 的节目链接放进去可以识别成功,小宇宙和 Spotity 的链接则无法解析。
成功解析链接后,界面呈现同样也会以全文稿、概要、章节速览等部分组成,并提供了用户自己做笔记的部分。
「播客笔记」
在播客界,Snipd 算是比较有差异性的。
Snipd 不仅可搜到大部分主流播客,同时也支持从你手机中的 Apple Podcast、Castro、Google Podcast 等专门的播客应用中导入你原本就已经在订阅的节目。
Snipd 虽然没有翻译功能,但它可就播客在手机端生成完整文稿(并实时滚动)、内容总结以及分章节。
它最大的特色在于甚至可以做「播客笔记」:在听的过程中,选择「create snip」,就可以就当前段内容生成 AI 总结,并附上相关转录文稿,支持以图片、视频、链接等方式分享到社交媒体或者是笔记软件。
不过,这些 AI 功能都是付费用户才能用 —— 连续订阅 15 元/月,单月订阅 35 元/月。
完整产品传送门
沉浸式翻译
https://immersivetranslate.com/
彩云小译
https://fanyi.caiyunapp.com/#/web
NoteGPT
https://notegpt.io/
NoteGPT 文章摘要 ChatGPT 生成
https://chromewebstore.google.com/detail/llkgpihjneoghmffllamjfhabmmcddfh
Glasp
https://glasp.co/
通义效率
https://tingwu.aliyun.com/
飞书妙记
https://www.feishu.cn/product/minutes
Snipd
https://www.snipd.com/
Perplexity
https://www.perplexity.ai/
Kimi
https://kimi.moonshot.cn/