AI Sheets如何解锁图像的潜在力量？

🧭简要概览：Hugging Face AI Sheets 是一款开源工具，能够用 AI 模型增强数据集的处理能力，无需编写任何代码。现在新增视觉功能：可以从图像 (如收据、文档) 中提取数据、根据文本生成图像、甚至编辑图片——一切都能在电子表格中完成。依托 Inference Providers，可调用数千个开放模型。 我们非常高兴地发布 Hugging Face AI Sheets 的重大更新版——这是一款可通过开放 AI 模型构建、转换与丰富数据的开源工具。AI Sheets 基于 Inference Providers 运行，意味着你可以使用由全球顶级推理服务驱动的数千种开放模型。 AI Sheets 的首个版本 让结构化和增强文本内容变得轻而易举。现在，我们为它加入了视觉功能。 图像无处不在——商品照片、收据、截图、图表、徽标……这些图片中蕴含着丰富的结构化信息，等待被提取、分析与转换。现在，你终于可以在 AI Sheets 中直接处理图像内容：查看图片、分析内容、提取数据、生成新图像，甚至实时编辑——全部在同一流程中完成。 你的图片藏着故事 图片往往包含宝贵的信息——产品目录、客户支持单、研究档案、收据、文档等。现在你可以直接上传图片，或使用带图像的数据集，再借助视觉模型提取、分析并结构化这些内容。 你可以做到： 描述与分类图像 —— 为产品照片生成文字描述，识别文档类型，或根据内容自动打标签 提取结构化数据 —— 从收据中提取明细，从图表中提取数据，从扫描件中识别文本 添加上下文与元数据 —— 自动为图片添加相关属性、质量评分或自定义标注 与文本列一样，你可以反复调整提示词、手动修改结果，并用“点赞”告诉模型你更喜欢哪种输出。你的反馈会作为少量样本 (few-shot) 帮助模型生成更好的结果。 示例：从收据中提取结构化费用信息 假设你刚出差回来，手里有一堆收据。上传到 AI Sheets 后，在新列中输入提示词： 提取该收据中的商户名称、日期、总金额和费用类别 AI Sheets 会自动处理每一张收据，输出一个整洁的表格，包含所有提取出的详细信息。你可以手动纠正错误，对准确结果点赞，并重新生成其他条目以提升整体质量。最终可将数据导出为 CSV 或 Parquet 文件，用于你的报销工具。 或者，你也可以将家中旧笔记本上的手写食谱数字化——创建列提取食材、烹饪时间、菜系类型，让个人档案变成可搜索的结构化数据集。 在同一流程中生成与转换文本和图像 需要为你的内容配图？AI Sheets 可以在电子表格中直接通过 AI 模型生成或编辑图像，让整个内容创作流程集中在一个界面中完成。 你可以： 从文本生成图像 —— 生成与你内容匹配的社交媒体图片、缩略图或插画 编辑与转换图像 —— 修改上传或生成的图片：更换风格、添加元素、调整构图 批量生成变体 —— 一次生成多个版本或风格，测试最受欢迎的视觉形式 建立视觉素材库 —— 为品牌活动批量创建风格一致的图像资产 示例：创建带配图的内容日历 假设你计划发布一个月的健康食谱类社交媒体帖子。你已经准备好了标题与文案，但还缺图像。 创建一个图像列，提示如下： “为以下标题生成一张美味食物的照片：{{title}}。风格：明亮、俯拍、自然光。” AI Sheets 会为每篇帖子生成独特的图片。效果不理想？再建一列修改： “将背景换成乡村木桌，加上新鲜香草作为装饰。” 你可以多次调整生成和编辑提示，尝试不同方案。最终，你的整月内容计划——文字与图片——都集中在一张表格中，可直接导出或排程发布。 使用指南 下面我们通过一个实例来看看 AI Sheets 的实际操作。我们将用开源模型来识别祖母笔记本中手写的食谱。 上传数据 我们有一个文件夹，里面保存了食谱的照片，只需上传即可。 上传后生成的表格如下： 了解 AI 操作 在电子表格中，每一列都可以通过“AI 操作”进行提取、转换或查询等各种处理。 点击任意列上方的叠加层即可查看操作选项： 图像列支持的操作包括：提取文字、图像问答、目标检测、上色、添加文字，以及自定义任务； 文本列则支持：摘要、关键词提取、翻译等操作。 每个 AI 操作都由“提示词 + 模型”组合而成。让我们看看它如何处理手写食谱数据。