Obsidian基于AI自动为文章配图

edony -

我在 Obsidian 中管理 Newsletter 特别是文章发布之前经常需要花很长的时间在网络上搜索与文章主题匹配的图片作为文章的 featured image，同时还需要考虑版权、匹配度等等问题，如果 AI 能自动帮我完成这件事情那就太好了，顺着这个思路我发现 wordpress 已经支持类似的功能了，唯一的缺点就是得花钱🤪。于是我就想着在 personal assistant 插件中支持这个功能，这篇文章就介绍一下我是怎么在 Obsidian 插件中设计和构建这个能力的。

方案设计

基于众所周知的原因，ChatGPT、Claude、Stable Diffusion、DALL-E 这些最优秀的 AI 服务，在国内基本上是没发正常访问的，所以目标对象肯定是国内可用的大模型服务，同一个大模型服务既要支持文本生成，又要支持图片生成，通义千问服务可能唯一能满足我要求的了。我想这在公有云领域，这就是所谓的「Vendor Lock-in」。

personal assistant 基于通义千问大模型的 featured image 生成的工作流程如下：

  1. 完成文档的编辑
  2. 根据文档内容生成能够匹配文档内容的图片描述
  3. 根据图片描述生成图片艺术风格、技术参数、图片描述等内容
  4. 根据图片提示词生成图片
  5. 下载图片到本地并在 Obsidian 展示

效果演示

使用 AI 生成 featured image 的步骤：

  1. 需要在 Obsidian 中安装 personal assistant 插件；
  2. personal assistant 插件配置 Qwen API token（参考 README）；
  3. Obsidian 文档处于 Edit View；

效果如下所示：

0:00
/1:47

后续计划

  • 类似微信公众号目前支持的听书功能，打算在 Obsidian 和 Ghost 也支持上
  • AI 自动为 vault 的笔记文档建立关联关系