Quy trình biến video thật thành hạt chuyển động theo nhịp nhạc, sáu bước

Tóm tắt: Tác giả công khai cách làm: chọn tư liệu, tách màu, độ sâu và chủ thể, chọn kiểu hạt, tìm nhịp, lên lịch và thêm phản hồi ở điểm nhấn.

Tác giả viết bằng tiếng Trung một bản quy trình đầy đủ để gửi cho Opus 5.5: chọn đoạn phim có chủ thể trọn vẹn, nền sạch và khoảnh khắc hành động rõ; tách từng khung thành màu, độ sâu và vùng chủ thể; dựng lại hình bằng chấm, ô vuông, chữ hay nét với bốn đến sáu kiểu; tìm nhịp nhạc và điểm nhấn; lập bảng thời gian; thêm phản hồi nhẹ, vừa, mạnh ở các cú đánh.

Vì sao nhiều người dừng lại xem?

Đây không phải một câu lệnh mà là cả cách làm việc, và phần cuối đáng học nhất: làm mẫu nhỏ trước, xuất một hàng tham số để chọn, chỉ render lại đoạn đã sửa, bắt AI tự mở ảnh ra xem, cố định mọi giá trị ngẫu nhiên. Những thói quen này dùng được cho mọi dự án video bằng code.

Cách dùng với Claude Opus 5.5

Quy trình này cần Claude Code chạy trên máy, vì Claude phải đọc video, chạy mô hình ước lượng độ sâu bằng Python và xuất từng khung. Dán bản dịch tiếng Anh bên dưới vào thư mục có sẵn đoạn phim của bạn, rồi duyệt từng bước khi Claude gửi ảnh mẫu.

Prompt

Prompt gốc tiếng Trung, mình dịch sang tiếng Anh:

My production plan, made public: send it to Opus 5.5 and it works.

1. Choosing footage

Three criteria that decide success or failure:

- Complete subject: the person or object is fully in frame. Detail gets lost in processing; viewers recognise things by their outline, and a close-up turns into a blob.
- Clean background: a solid colour, snow or sky all work, so subject and background separate easily.
- A clear moment of action: a hit, a jump, a landing, a turn. These are the anchor points for the effects later.

The source can be your own footage, clips generated by a video model, or licensed stock.

2. Breaking down the footage

Extract three kinds of information from every frame:

- Colour: the original image.
- Depth: how far each point is from the camera, computed with an off-the-shelf depth-estimation model.
- Subject mask: which part is subject and which is background.

Also find the moments where shots change. The key in this step is stability: depth and subject mask must be handled consistently within one shot, or playback will jitter.

3. Deciding the "particles" and "styles"

First decide what to rebuild the image with: dots, squares, text or lines all work.

Then design several styles. Each style is just a different combination of three rules:

- Where: across the whole frame, or only on the subject.
- How big: one uniform size, or varying with brightness and depth.
- What colour: the original image colours, or one or two fixed colours.

Add one more switch: flat on a single plane, or pushed into 3D space by depth. Only once it is pushed into depth can the camera orbit.

Four to six clearly different styles are enough. Particle density needs tuning by eye: too big and the content is unrecognisable, too small and it looks no different from the original.

4. Finding the rhythm

- Set the tempo: pick the music's tempo and slice time into equal cells. Make one cell an exact whole number of frames so every later switch lines up.
- Find the action moments: combine two signals, "the sound suddenly gets louder" and "the image suddenly changes", to find the hit points in the footage.
- Prepare the music: use an existing track and analyse its beats, or synthesise one at the chosen tempo with accents on the hit points.

5. Arranging

Make a schedule that says, for each cell, which style, which palette and where the camera is. Keep this schedule as a separate file; later, to adjust the rhythm, you only change it.

Four principles of arrangement:

- Show the change at the start: give the original image first, then transition into particles, so viewers understand what is happening.
- Alternate fast and slow: constant speed numbs people; there needs to be a clearly slower section in the middle.
- Colours should clash: the bigger the contrast in colour and style between neighbouring cells, the stronger the cut.
- The ending needs closure: for example particles growing until they become blocks of colour, or a return to the original image.

6. Feedback at key moments

Layer short reactions on top of the hit points, graded by strength:

- Light feedback on every hit: the particles deform for a moment, the camera bumps.
- Medium feedback only on heavier hits: some of the particles bounce toward the camera.
- Big feedback only for the one or two heaviest hits: time freezes and the camera orbits.

The principle is weak and short. Move only some of the particles and finish within a few frames, otherwise the frame explodes into a mess and viewers can't see what the subject is doing.

Working method throughout

- Samples first, full film later: after each stage, render a few frames to check, confirm, then move on. Render the full film only at the very end.
- For parameters you're unsure about, generate a row at once: for density, for example, have the AI output five or six levels side by side and you pick.
- Re-render only what you change: when adjusting a section, re-render only that section.
- Make the AI look at the images itself: at every step, require it to open and look at the render before reporting.
- Fix all randomness: make sure the same settings give the same render every time, or you can't make step-by-step changes.

Prompt by @Pluvio9yte, via Skillry / awesome-opus5-5-videos (MIT)

Câu hỏi thường gặp

Prompt này tạo ra cái gì?

Tác giả viết bằng tiếng Trung một bản quy trình đầy đủ để gửi cho Opus 5.5: chọn đoạn phim có chủ thể trọn vẹn, nền sạch và khoảnh khắc hành động rõ; tách từng khung thành màu, độ sâu và vùng chủ thể; dựng lại hình bằng chấm, ô vuông, chữ hay nét với bốn đến sáu kiểu; tìm nhịp nhạc và điểm nhấn; lập bảng thời gian; thêm phản hồi nhẹ, vừa, mạnh ở các cú đánh.

Vì sao video này cần Python, chạy trong trình duyệt có được không?

Bài này không gói gọn trong một file HTML: quy trình dùng Python. Bạn cần để Claude chạy được lệnh trên máy, ví dụ Claude Code mở trong một thư mục trống, và cài sẵn Python nếu máy chưa có. Mình dùng Claude Opus 5.5; Claude tự viết code, tự chạy và xuất ra file video.

Prompt của @Pluvio9yte có được sửa lại cho việc của bạn không?

Được. Prompt là của @Pluvio9yte, mình lấy qua Skillry và bộ awesome-opus5-5-videos (giấy phép MIT). Chỗ nên đổi trước là tên thương hiệu, câu chữ, màu và thời lượng. Khi chia sẻ lại, bạn ghi nguồn @Pluvio9yte là đủ.

Previous
Previous

Mô hình 3D dòng chảy bùn đá: trầm tích bồi ở đâu, nước tràn chỗ nào

Next
Next

Phim motion design 15 giây: một chấm cam nối mọi cảnh từ nút bật đến thẻ kết