Actualiser README.md
This commit is contained in:
parent
23b261710b
commit
4cd5403677
1 changed files with 62 additions and 1 deletions
63
README.md
63
README.md
|
@ -1,3 +1,64 @@
|
||||||
# VideoStory
|
# VideoStory
|
||||||
|
|
||||||
Une expérience avec Stable Diffusion 1.5, Llama et du TTS qui permet la génération de "vidéo" (suite d'images) avec une histoire narré.
|
C'est une expérience avec Stable Diffusion 1.5, Llama 3 et du TTS qui permet la génération de "vidéo" (suite d'images) avec une histoire narrée. Il supporte potentiellement SD Video.
|
||||||
|
Ce programme n'a pas vraiment pour vocation d'être utilisé.
|
||||||
|
|
||||||
|
## Librairie
|
||||||
|
Voici les dépendances:
|
||||||
|
```
|
||||||
|
re
|
||||||
|
llama_cpp
|
||||||
|
outetts
|
||||||
|
diffusers
|
||||||
|
torch
|
||||||
|
os
|
||||||
|
moviepy
|
||||||
|
```
|
||||||
|
|
||||||
|
## Utilisation
|
||||||
|
Dans le fichier `main.py`, ajoutez dans l'appel de main() le prompt.
|
||||||
|
`SYSTEMPROMPTT` est le prompt système de Llama.
|
||||||
|
`SDBAD` est le prompt négatif de Stable Diffusion.
|
||||||
|
`SYSTEMPROMPTI` est le prompt système de Stable Diffusion.
|
||||||
|
|
||||||
|
Dans le fichier `gen.py`, dans les fonctions `loadllama()`, `loadtts()` et `loadsdxl()` vous devez ajouter vos models (fichiers locaux).
|
||||||
|
|
||||||
|
Le programme se lance avec `main.py`
|
||||||
|
|
||||||
|
## Fonctionnement
|
||||||
|
```mermaid
|
||||||
|
flowchart TD;
|
||||||
|
sd{{"Stable Diffusion"}}
|
||||||
|
img1["Image 1"]
|
||||||
|
img2["Image 2"]
|
||||||
|
img3["Image 3"]
|
||||||
|
p1["Paragraphe 1"]
|
||||||
|
p2["Paragraphe 2"]
|
||||||
|
p3["Paragraphe 3"]
|
||||||
|
fa["Fichier Audio"]
|
||||||
|
vd{"Vidéo"}
|
||||||
|
prt{"Prompt"}
|
||||||
|
llm{{"Llama"}}
|
||||||
|
tts{{"TTS"}}
|
||||||
|
prt --> llm;
|
||||||
|
llm --> Texte;
|
||||||
|
Texte --> p1;
|
||||||
|
Texte --> p2;
|
||||||
|
Texte --> p3;
|
||||||
|
Texte --> tts;
|
||||||
|
tts --> fa;
|
||||||
|
p1 --> sd;
|
||||||
|
p2 --> sd;
|
||||||
|
p3 --> sd;
|
||||||
|
sd --> img1;
|
||||||
|
sd --> img2;
|
||||||
|
sd --> img3;
|
||||||
|
fa --> vd;
|
||||||
|
img1 --> vd;
|
||||||
|
img2 --> vd;
|
||||||
|
img3 --> vd;
|
||||||
|
```
|
||||||
|
|
||||||
|
## Exemple de sortie
|
||||||
|
|
||||||
|
https://uwo.nya.pub/forge/Joachim/VideoStory/src/branch/main/out.mp4
|
Loading…
Add table
Reference in a new issue