Cách làm video thành hoạt hình anime bằng AI

Hôm nay camlo5 sẽ giới thiệu với mọi người cách convert một video bất kì thành anime bằng Stable Diffusion AI.

Bài viết được tham khảo từ người anh em pháp sư trung hoa 王欣欣 trong nhóm kín của Facebook.

Yêu cầu tối thiểu trước khi xem video

Đã biết cài đặt và thành thạo sử dụng Stable Diffusion . Nếu chưa biết cài đặt Stable Diffusion, thì bạn có thể thao khảo video này của admin HoangRC trong nhóm Stable Diffusion chia sẻ đam mê. Nếu chưa biết sử dụng prompt trong Stable Diffusion AI để generate ra ảnh, thì có thể tham khảo bài viết trước đó của camlo5 trong danh mục hướng dẫn sử dụng Stable Diffusion Prompt .

Hướng dẫn cài đặt Plugin move2mov trong Stable Diffusion

Để có plugin chuyển video thành 2d animation, thì các bạn làm theo các bước sau nhé :

• Tại màn hình chính của Stable Diffusion Web GUI, Chuyển qua tab Extension, ở ngoài cùng bên trái thanh navigation.
• Nhấp vào nút : Install from URL – cài đặt từ URL.
• Paste link github này vào và chọn install – cài đặt : https://github.com/Scholar01/sd-webui-mov2mov.git
• Các bạn có thể tham khảo cách cài đặt và hướng dẫn bằng tiếng trung ở đây : https://github.com/Scholar01/sd-webui-mov2mov
• Sau khi cài đặt xong, thì vui lòng Khởi động lại “WebUI”, bằng cách stop code bạn đang chạy trên Google Collab và chay lại.

Hướng dẫn sử dụng mov2mov để chuyển video thành anime 2D

Sau đây là quy trình sản xuất video thành video 2D:

1. Sau khi cài đặt thành công và khởi động lại WEBUI, chọn qua tab mov2mov trên thanh nav.
2. Chọn checkpoint phù hợp. Nếu bạn muốn video của mình thành 2D Anime, thì tác giả gợi ý bạn chọn những checkpoint sau : Sunshinemix_sunlightmix hoặc Abyssorangemix
3. Chọn Video muốn chuyển thành 2D ở màn hình chính.
4. Điền prompt yêu cầu AI xuất ra 2D anime

Prompt :

{{{masterpiece}}},{extremely detailed CG unity 8k wallpaper},best quality,Amazing,finely detail,cinematic lighting,{best quality},{highres},{an extremely delicate and beautiful},ray tracing,detailed background,beautiful detailed eyes,bright pupils,dynamic pose,dynamic angle,detailed clothes

Negative Promt :

(worst quality, normal quality, low quality:1.7), paintings, sketches>, freckles, lowres, monochrome, grayscale, bad proportions, nsfw, nipples, watermark, signature, text, nsfw, curvy, plump, fat, muscular female

Cài đặt thông số

Sampler: DPM++ SDE Karras,

Sampling Steps: 28,

Kích thước Video đầu ra: 1920X1080(cái này nên trùng với kích thước đầu vào của bạn),

Generate Movie Mode:MP4V,

Noise multiplier:0.3,

CFG scale: 7-12,

Denoising:0.25(các bạn nên tử cái này ở nhiều thông số khác nhau để có được kết quả tốt nhất cho mình),

Movie Frames:30 (25 hoặc 30 tùy bạn),

Max Frames:-1,

Additional Networks(LoRA):

Chọn nhân vật LoRA yêu thích của bạn, tổng không vượt quá 1,0 (0,6-0,8 là tốt nhất)
Ngoài ra, nếu muốn theo phong cách anime, bạn có thể thêm LoRA: Moxin và đặt trọng số thành 0,3-0,5, bạn có thể chạy thử và chạy một vài hình ảnh để xem hiệu quả rồi quyết định giá trị trọng số .Moxin có thể làm cho hiệu ứng hoạt hình tốthơn.

Tạo Video 2D Anime

Nếu tất cả các cài đặt ở bước trên đã đã hoàn tất, bạn có thể tạo video AI bằng cách nhấn nút generate. Nhấp vào thư mục ở phía dưới bên phải để xem kết quả được tạo cuối cùng (mov2mov-videos).

MP4 được tạo ra sẽ không có âm thanh. Sau đó bạn có thể bỏ video vào Adobe Premire hoặc Capcut PC để thêm âm thanh phù hợp vào cho video của mình.

Kinh nghiệm cách làm video thành hoạt hình anime 2D bằng AI

Đối với bản Stable Diffusion WEBUI chạy trên Google Collab, một video khoảng 7 giây, với 30 Frames 1 giây, AI sẽ phải Generate ra khoảng 210 ảnh. Mỗi ảnh sẽ mất khoảng 20 giây. Vị chi : 210*20 = 4.200 Giây cho một video 7 phút . Và bạn sẽ mất khoảng 70 Phút để Generate ra một video 7 giây.

Kinh nghiệm

• Bạn có thể Convert và test trước với video 1-2 giây. để rút ngắn quá trình test video to 2d anime.
• Sau khi thử nghiệm các thông số và prompt thành thạo, bạn có thể làm ở video với thời lượng dài hơn

Trên đây là một phương pháp sản xuất video thành hoạt hình 2D đơn giản. Phương pháp này tuy không tốn nhiều công sức, một click và chỉ việc chờ đợi là có video đầu ra. Nhưng có một nhược điểm là không thể chọn ra một khung hình để vẽ lại hoặc chỉnh sửa như cách làm truyền thống (sử dụng Controlnet để vẽ lại từng ảnh được trích xuất ra từ video mp4). Gì cũng có hai mặt của nó mà ^_^ (cách này khá hữu ích cho những người lười như mình).

Hi vọng các bước chia sẻ này sẽ giúp ích được cho bạn.

Bổ sung thêm cho bài viết

Đây là Video gốc mà tác giả cung cấp :

Đây là video hoạt hình anime được làm ra từ tác giả :

Đây là video mình thực hành theo và khá ưng ý :

Một Video Hướng dẫn trực quan trên YouTube mà mọi người có thể tham khảo thêm :