指框AI

指框AI是什么？

指框AI（Finger Frame Effect AI）是一款手势框选AI视频重绘开源工具，主打真人双手框选画面，框内内容AI风格重绘 。依托MediaPipe手部跟踪+Gemini Omni Flash视频模型，精准跟随双手形成的矩形区域，仅对手指框内视频进行风格化重绘，外部画面保持原始实拍素材；支持网页在线使用、本地部署、Python命令行批量处理，适合短视频创意特效、影视分镜创作、AIGC创意短片制作。

官网：https://sophiamyang.github.io/finger-frame-effect-ai/

基础信息

工作流程

1. Track｜手部跟踪定位
   采用MediaPipe手部标记器逐帧识别双手关键点，计算双手合围形成的四边形选区。内置优化算法：解剖角度排序、交叉手指防渲染错乱、运动滞后平滑、瞬移过滤、丢帧补偿、选区淡入淡出，保证手指框持续稳定不抖动。
2. 重新制作｜AI视频风格重绘
   提取手指框内区域，调用Gemini Omni Flash进行视频重绘。系统自动追加强制对齐后缀约束：锁定构图、禁止缩放裁剪、人脸坐标固定、逐帧保留表情（眨眼、嘴型、视线），保障人物动作、表情连贯性，重绘内容与选区完美匹配。
3. 合成图像｜图层叠加渲染
   原始视频作为底层画面，AI重绘视频叠加在手指四边形区域；可视化显示虚线蚂蚁线轮廓+脉动角点，直观展示跟随手部移动的生成窗口。
4. 导出｜成品视频保存
   浏览器直接录制导出；兼容环境输出H.264 MP4，Safari/老旧Chrome输出webm，附带ffmpeg转码指令。原始音频轨道可保留。

两种使用模式

模式1：网页在线使用

• ✅ 特点 ：开箱即用，无需配置环境
• ⚠️ 前提 ：自备 Gemini API密钥

模式2：本地部署方案

1. 网页本地静态服务

python3 -m http.server 8124

访问 http://localhost:8124 ；支持 ?src=<文件路径> 参数加载本地视频，适合开发者调试。

1. Python CLI离线批量处理

适合批量渲染、精准帧控、稳定H.264输出

# 环境初始化
python3 -m venv .venv
.venv/bin/pip install -r requirements.txt

# 设置密钥
export GEMINI_API_KEY=你的密钥

# AI风格重绘
.venv/bin/python stylize.py input.mp4 -o stylized.mp4
# 原始素材+重绘素材合成最终成片（依赖ffmpeg）
.venv/bin/python composite.py input.mp4 stylized.mp4 -o final.mp4

⚠️ composite脚本依赖ffmpeg配置环境变量，自动保留原始音频。

核心优势

1. 局部可控生成 ：区别于全片AI重绘，仅双手框内画面变换，外部实景不变，创意层次感极强；
2. 强画面对齐约束 ：内置提示词锁构图、锁面部位置、保留表情，大幅降低视频人物崩坏；
3. 双端方案 ：普通创作者网页即用，开发者支持离线批量脚本；
4. 数据隐私友好 ：用户素材默认保存在本地，仅样本素材上传测试，个人视频不会留存；
5. 开源可改造 ：前端代码与Python脚本均可二次修改，自定义风格、跟踪参数。

适用人群 & 场景

1. 短视频创作者 ：真人实拍+局部动画化特效、脑洞创意短片；
2. 影视/编导 ：实拍画面实时预览动画化分镜效果；
3. AIGC工作室 ：创意镜头测试、混合现实风格视频；
4. 独立开发者 ：二次开发手势交互AI生成demo。

局限与注意事项

1. 需要自备Google Gemini API Key，国内直连访问存在网络障碍；
2. 上传视频大小限制15MB，不支持长视频处理；
3. 依赖Gemini Omni Flash视频模型，无法切换其他第三方视频生成模型；
4. 手部严重遮挡、快速大幅度晃动时，选区跟踪稳定性下降。

AITOP100作为华强方特（深圳）动漫有限公司倾力打造的AI数智化聚合营销平台，同时也作为全网最全AI大赛活动举办和收录平台以及国内AI头部社区之一，平台已收录超700场AI视频、绘画、写作、算法等大赛。更有AI工具、资讯、教程、大咖直播。承办线上线下活动。快来参与或合作！
官网：https://www.aitop100.cn

想了解AITOP100平台其它版块的内容，请点击下方超链接查看

AI创作大赛 | AI活动 | AI工具集 | AI资讯专区 | AI小说

AITOP100平台官方交流社群二维码：