推荐几款在macOS下可以运行本地AI模型的软件

至于为嘛要在本地跑模型,我就不分析原因了,在macOS 14(Sonoma)上,有许多支持本地运行AI模型的软件,尤其是为了方便用户在本地运行LLM(大语言模型)和其他机器学习模型。以下是一些常见且广受推荐的本地AI模型运行软件:

本地现在跑的套装是(文本生成类:Ollama + OllamaSpring和Jan.AI;图片类:DiffusionBee)

文本生成类

Ollama.png

1. Ollama

  • 功能特点:Ollama 是一款专门为 macOS 设计的本地 AI 模型运行和管理工具,提供了方便的用户界面来下载、运行、管理和与本地 AI 模型交互。Ollama 支持多种常见的本地 AI 模型,如 Llama 系列,并允许你直接在终端或其 GUI 界面中与模型交互。
  • 优点

    • 专为 macOS 优化,性能优秀。
    • 支持多种常见的语言模型。
    • 可以轻松部署和管理不同的模型。
  • 适合用户:适合那些不太熟悉命令行操作的用户,也适合需要快速部署模型的开发者。

ollamaspring.png

2. GPT4All

  • 功能特点:GPT4All 是一款能够运行不同大语言模型(如 GPT-3、LLaMA 等)的开源项目。它可以在本地运行 AI 模型,并提供了一个简单的用户界面,让用户与模型进行对话式交互。
  • 优点

    • 开源且免费。
    • 支持多种不同类型的语言模型。
    • 适合用作轻量级的对话式 AI 解决方案。
  • 适合用户:适合需要一个简单、开源且免费的本地 AI 工具的用户,尤其是对代码开发要求不高的情况。

3. LM Studio

  • 功能特点:LM Studio 是一款能够运行 LLaMA 和其他本地 AI 模型的桌面软件,支持 macOS 和 Windows。它专注于提供良好的用户体验,允许用户在本地运行、测试和调整模型。
  • 优点

    • 易于使用的界面,适合初学者。
    • 支持多种流行的大语言模型。
    • 性能经过优化,适合 macOS 用户。
  • 适合用户:适合那些希望拥有易用的 GUI 工具来运行和调整语言模型的用户。

lm.gif

4. MLC Chat

  • 功能特点:MLC Chat 是一个能够在 macOS 本地运行的大语言模型工具,专门为苹果设备优化,特别是 M1 和 M2 芯片。它使用 Metal 技术来加速模型推理,使得在本地运行 AI 模型变得更加高效。
  • 优点

    • 针对 Apple Silicon 优化,性能极佳。
    • 支持各种主流 AI 模型。
    • 操作简单,支持图形界面。
  • 适合用户:适合拥有 Apple Silicon 芯片(M1/M2)并且希望在本地高效运行 AI 模型的用户。

5. LocalAI

  • 功能特点:LocalAI 是一个轻量级的本地 AI 推理工具,基于流行的 C++ 机器学习库(如 ggml、gpt4all)构建,支持在本地环境中运行各种 AI 模型。LocalAI 可以通过 REST API 的方式与其他应用集成,适合开发者使用。
  • 优点

    • 轻量且快速,支持各种 AI 模型。
    • 通过 API 方便地集成到其他应用中。
    • 社区支持强大。
  • 适合用户:适合那些希望自己编写代码并集成 AI 模型到其他应用程序的开发者。

6. FastChat

  • 功能特点:FastChat 是一个支持多人实时聊天的开源项目,可以用来本地运行并与多种大语言模型交互(如 Vicuna、LLaMA 等)。它提供了终端和 web 界面,让用户可以轻松在本地环境中部署和使用模型。
  • 优点

    • 开源且易于使用。
    • 支持多种开源的 AI 模型。
    • 支持多人聊天和交互式界面。
  • 适合用户:适合开发者和 AI 爱好者,尤其是那些希望在本地运行开源模型并构建互动式 AI 系统的用户。

7. Text Generation Web UI

  • 功能特点:这是一个专门为大语言模型设计的 web UI 工具,支持 LLaMA、GPT-3 等模型。用户可以在本地搭建一个界面,通过浏览器访问和使用 AI 模型。
  • 优点

    • 支持多种语言模型,灵活性强。
    • 可以自定义界面,适合不同需求。
    • 社区活跃,文档齐全。
  • 适合用户:适合需要自定义界面的开发者和希望通过 web UI 使用本地模型的用户。

8. Jan.AI

  • 功能特点:Jan是ChatGPT的开源替代品,可以在您的计算机上100%离线运行。多引擎支持(llama.cpp,TensorRT-LLM)
  • 优点

    • 支持多种语言模型,灵活性强。
    • 有自己的模型市场
    • 可以提供API服务
    • 社区活跃,文档齐全。
  • 适合用户:适合需要自定义界面的开发者和希望通过 web UI 使用本地模型的用户。

jan.png

根据你的需求和设备配置,如果你使用的是 Apple Silicon(M1/M2),推荐尝试 OllamaJan.AI,它们在 macOS 上的优化表现非常好。而如果你更倾向于使用开源项目,可以考虑 GPT4AllFastChatLocalAI

图片生成类

0. DiffusionBee

-- 功能特点 可完全离线的本地模型,且目前只支持macOS,模型多样
-- SD 1.x、SD 2.x、SD XL、Inpainting、ControlNet、LoRA
-- 多种应用模型,文生图、图生图、改图等都支持
screen2.jpg

1. Stable Diffusion

  • 功能特点:Stable Diffusion 是当前最受欢迎的图像生成模型之一,能够根据文本提示生成高质量的图像。它有多个开源实现,并且有很多不同版本和分支(如 DreamBooth、ControlNet)可用于微调图像生成。
  • 适用工具

    • DiffusionBee:专门为 macOS 用户设计的桌面应用程序,支持本地运行 Stable Diffusion。它操作简单,并且经过 Apple Silicon 芯片优化,性能表现优异。
    • Automatic1111 Web UI:这是一个强大且流行的 Web 界面,允许用户在本地通过浏览器生成图片。它支持自定义模型、LORA 微调以及各种插件,功能极其丰富。
    • InvokeAI:类似 Automatic1111 的 Web 界面,主要为 Stable Diffusion 提供支持,界面友好且功能强大,适合那些对代码开发要求不高但希望获得自定义功能的用户。
  • 优点

    • 模型和工具生态完善,拥有大量插件和扩展功能。
    • 支持文本到图像生成、图像到图像转换、局部修复等多种功能。
    • 易于在 Apple Silicon 上高效运行。
  • 适合用户:适合想要进行文本生成图像、图像增强或创作艺术作品的用户,尤其是需要稳定、高质量结果的情况。

stable-diffusion-webui

2. DeepDream

  • 功能特点:DeepDream 是 Google 开发的一款早期的深度学习模型,主要用于图像增强和风格转换。通过应用卷积神经网络的特征,DeepDream 能生成具有超现实主义风格的图像。虽然不如 Stable Diffusion 生成图像灵活,但它特别适合生成风格化图像。
  • 适用工具

    • DeepDream Generator:一个开源的工具,能够本地运行 DeepDream 模型并生成具有梦幻风格的图像。它在 macOS 上的表现同样出色。
  • 优点

    • 生成的图像风格化、梦幻化,适合艺术创作。
    • 模型轻量,适合在本地快速运行。
  • 适合用户:适合喜欢特定风格艺术创作的用户,尤其是那些希望增强已有图像风格的情况。

3. DALL·E Mini (Craiyon)

  • 功能特点:DALL·E Mini 是一个开源项目,受 OpenAI DALL·E 启发,能够根据文本提示生成图像。它适合那些想在本地运行相对轻量的图像生成模型的用户,虽然其生成质量不如 DALL·E 2 或 Stable Diffusion,但易于部署。
  • 适用工具

    • Craiyon (前称 DALL·E Mini):虽然不能直接在 macOS 本地运行,但可以通过使用其开源代码搭建本地环境。
  • 优点

    • 轻量级,适合在硬件性能相对较低的机器上运行。
    • 生成速度较快,且对用户配置要求较低。
  • 适合用户:适合那些需要快速生成简单图片、不需要太高图像质量的用户。

4. Disco Diffusion

  • 功能特点:Disco Diffusion 是一个基于扩散模型的开源图像生成工具,专注于生成艺术性和风格化的图像。它可以生成非常复杂的、具有超现实主义风格的图像,并且对艺术效果有独特的控制。
  • 适用工具

    • Disco Diffusion:可通过在 macOS 上安装相应的 Python 环境并运行代码进行图像生成。
  • 优点

    • 风格化生成能力强,适合艺术创作。
    • 开源且可定制,能够灵活调整生成参数。
  • 适合用户:适合那些对生成图像的艺术效果有高要求的创意工作者或艺术家。

5. Runway ML

  • 功能特点:Runway ML 是一个强大的 AI 工具集,不仅支持图像生成,还支持视频编辑、图像增强、风格迁移等功能。虽然它主要基于云端服务,但某些模型可以在本地运行(如部分 StyleGAN 或自定义模型)。
  • 优点

    • 功能多样,适合多种创意需求。
    • 支持高质量的图像生成,界面易于使用。
  • 适合用户:适合需要集成多种 AI 工具进行图像生成和编辑的用户。

6. StyleGAN

  • 功能特点:StyleGAN 是一款生成对抗网络(GAN)模型,能够生成高质量、逼真的图像,特别适合用于人脸生成、艺术风格转换等。虽然其主要应用领域集中在特定任务(如人脸生成),但它非常灵活,可以进行训练和微调以生成不同风格的图像。
  • 适用工具

    • Local StyleGAN:可以通过 Python 和 TensorFlow 或 PyTorch 在本地运行,适合那些希望生成特定风格图像的用户。
  • 优点

    • 生成图像的质量极高,特别适合细节精细的图像生成。
    • 灵活且可扩展,适合多种自定义应用。
  • 适合用户:适合需要生成特定主题或风格的高质量图像的专业用户。

如果你希望在 macOS 本地运行图像生成模型,Stable Diffusion 是目前最推荐的选择,搭配如 DiffusionBeeAutomatic1111 这样的工具,操作方便,支持多样化的生成需求。对于那些对风格化和艺术创作有特别兴趣的用户,可以尝试 Disco DiffusionStyleGAN

音频视频类 (这是ai推荐的,我因为不需要,所以并没有测试过具体的)

音频类模型与工具

1. Audialab

  • 功能特点:Audialab 是一个基于深度学习的音频生成工具,能够根据文本或其他输入生成音频,特别是音乐和效果音。它适合创作音乐和为视频、游戏等项目生成音效。
  • 优点

    • 支持音效和音乐生成。
    • 简单易用,提供多种预设和音频生成模板。
  • 适合用户:适合需要快速生成音效、背景音乐或进行音频创作的用户,尤其是那些制作视频、游戏的内容创作者。

2. OpenAI Jukebox

  • 功能特点:Jukebox 是 OpenAI 开发的一个音乐生成模型,能够生成不同风格的音乐,包括流行、摇滚、爵士等风格。通过给定的输入条件(如歌手风格、歌词等),可以生成完整的音乐片段。
  • 优点

    • 生成多样化的音乐风格,适合多种场景。
    • 开源,可以本地运行,支持高度定制化。
  • 适合用户:适合对生成音乐、音频有兴趣的用户,尤其是那些对不同音乐风格有需求的创作者。

3. Tacotron 2 和 WaveNet

  • 功能特点:Tacotron 2 是一个文本到语音(TTS)模型,可以生成高质量的语音,WaveNet 是一个生成式语音模型,用于提升语音的自然性和清晰度。两者结合可以生成非常逼真的人声合成效果。
  • 优点

    • 高质量的语音合成,声音自然。
    • 可以自定义语音风格,适合各种场景。
  • 适合用户:适合需要生成逼真语音的场景,如语音助手、播客内容创作,或语音处理的开发者。

4. Descript

  • 功能特点:Descript 是一个集成 AI 功能的音频和视频编辑软件。它能够自动转录音频、编辑文本并同步修改音频,还支持通过 AI 模型生成语音和处理声音。
  • 优点

    • 支持音频和视频编辑,功能全面。
    • 语音合成和自动转录功能强大。
  • 适合用户:适合播客、音频制作和视频编辑的用户,尤其是那些需要文本同步编辑音频的创作者。

5. MelodyRNN(Magenta Project)

  • 功能特点:MelodyRNN 是 Google Magenta 项目的一部分,专注于生成音乐旋律。通过递归神经网络模型(RNN),可以根据用户提供的旋律线索生成新的音乐作品,适合音乐创作中的辅助生成。
  • 优点

    • 生成音乐旋律,适合用于音乐创作。
    • 开源,易于本地运行和定制。
  • 适合用户:适合音乐制作人和爱好者,尤其是需要辅助生成旋律或即兴音乐的场景。

视频类模型与工具

1. Runway ML

  • 功能特点:Runway ML 是一个强大的 AI 视频编辑平台,支持多种 AI 模型,包括视频风格转换、对象检测与跟踪、视频剪辑等。它在 macOS 上运行流畅,并且有多种预置模型用于视频创作。
  • 优点

    • 支持多种视频处理任务,如风格迁移、自动剪辑等。
    • 操作简单,适合没有编程背景的用户。
  • 适合用户:适合创意工作者、视频编辑者和艺术家,尤其是那些想要在视频中引入 AI 特效的用户。

2. DeepFaceLab

  • 功能特点:DeepFaceLab 是目前最常用的面部替换(deepfake)工具之一,支持本地在 macOS 上运行。它可以自动检测和替换视频中的人脸,适合需要面部替换效果的场景。
  • 优点

    • 面部替换效果精确,适合电影特效制作。
    • 支持高度自定义,模型训练灵活。
  • 适合用户:适合那些从事视频特效、短片制作或者需要生成 deepfake 内容的用户。

3. First Order Motion Model

  • 功能特点:First Order Motion Model 是一个开源的面部动画生成工具,通过少量的图像输入和运动参考,可以生成实时的面部动画效果。它特别适合生成虚拟角色的动画。
  • 优点

    • 能够将静态图像转化为动态视频,动画效果自然。
    • 支持本地训练,适合各种角色动画生成。
  • 适合用户:适合虚拟主播、动画创作者,或者需要创建虚拟形象的场景。

4. D-ID

  • 功能特点:D-ID 是一个基于 AI 的视频生成和编辑工具,能够将照片或静态图像转化为动画视频,尤其适用于人像和面部动画。它利用深度学习模型生成逼真的面部表情变化。
  • 优点

    • 快速生成面部动画视频。
    • 提供非常自然的面部表情和嘴唇同步。
  • 适合用户:适合需要将静态图像生成动态视频的场景,如照片视频、虚拟角色展示等。

5. EbSynth

  • 功能特点:EbSynth 是一款视频风格迁移工具,能够将静态图像的风格应用到整个视频片段中,从而产生艺术化的视频效果。通过仅提供一帧图像,EbSynth 可以让整个视频呈现一致的风格,非常适合视频艺术创作。
  • 优点

    • 视频风格迁移效果强大,适合艺术视频创作。
    • 操作简单,自动应用风格到视频中。
  • 适合用户:适合艺术家、视频制作人,尤其是那些希望在视频中应用手绘、油画风格的用户。

6. Topaz Video Enhance AI

  • 功能特点:Topaz Video Enhance AI 是一款强大的视频增强软件,能够通过 AI 技术提升视频质量,尤其是低分辨率视频的超分辨率处理。它可以修复老旧的视频或将低清视频升级为高清甚至 4K。
  • 优点

    • 视频增强效果显著,特别是低质量视频的修复。
    • 支持批量处理和多种输出格式。
  • 适合用户:适合需要提升视频质量、修复老视频或者处理低分辨率视频的用户。
  • 音频方面:如果你需要生成语音或音乐,可以选择 Tacotron 2WaveNetOpenAI Jukebox 等工具;如果你需要结合音频编辑,推荐使用 Descript
  • 视频方面:如果你想进行视频剪辑、风格迁移或面部替换,可以选择 Runway MLDeepFaceLabEbSynthFirst Order Motion Model。如果你需要提升视频质量,可以使用 Topaz Video Enhance AI

标签: macOS, AI

相关文章

Ollama开启多模型、高并发配置 可用性更强

ollama默认是单模型运行,并且同时发起两个提问,他会一个个处理,所以在内存允许的情况下,有时候我们会开启多模型和并发处理Ollama 支持并发请求,可用性更高.mp4下面是我linux服务下...

图片Base64编码

CSR生成

图片无损放大

图片占位符

Excel拆分文件