les IA, scénaristes de films

[Apophis]

le truc le plus évident pour savoir si une image est générée par elles c'est de compter les doigts. Il y a de fortes chances que ce ne soit pas bons (y a même des mains/poignées de mains qui semblent tout droit sortis de l'horreur).

La technologie a progressé tellement vite que c'est devenu l'exception plus que la règle, du moins quand 1/ on utilise les bons outils et 2/ qu'on sait ce qu'on fait. Après, évidemment, quand on utilise des sites grand public, zéro prompt négatif, un checkpoint de base sans modifs ou extensions (LORA, etc.), qu'on ne sait pas rédiger un prompt (c'est à la fois un art et une science, les gens qui prétendent le contraire n'ont aucune expérience réelle du domaine) et qu'on ne connait pas la signification des nombreux réglages ou modèles (ceux des upscalers, notamment), on obtient un peu n'importe quoi.

Après, le VRAI problème, ce ne sont plus les mains, ni, la plupart du temps, les visages, mais les objets tenus dans les mains, particulièrement les armes (je me suis amusé à tenter de refaire la couverture de mon propre livre telle que je me l'imaginais, j'ai eu des soucis à ce niveau alors que le reste de l'image allait de l'acceptable au grandiose). Là, ça tient souvent (mais pas toujours) de la cata, effectivement. Mais bon, l'image qui sort de l'IA, c'est une chose, mais il existe désormais tout un tas de plugins / colabs permettant de la modifier, permettant par exemple de changer en une phrase, un prompt ou un jeu de réglages le décor, l'âge du personnage, sa couleur de cheveux, sa pose, et j'en passe.

Mais sinon, ça peut (et je dis bien : ça peut, PAS ça doit ; je ne souhaite certainement pas la disparition du paysage des Police, Fructus, Manchu et compagnie !) rivaliser avec un illustrateur, sans compter que c'est infiniment plus rapide : je peux générer une image de (grande) qualité en 15 secondes, et l'agrandir en HD en moins d'une dizaine. Démonstration des possibilités de cette technologie, tirée de mes prompts de test (archétypes que j'utilise pour tester différents checkpoints), zéro modifs en sortie d'IA à part pour la première image (upscalée) :

[PHILIPPE CADUC]

Le résultat est stupéfiant, j'en conviens. Mais il reste dans le domaine de l'image "top léchée", ce qui m'amène à formuler deux questions :
1 - Sais-tu si la base de données à partir de laquelle est générée l'illustration contient des photos ?
2 - Ton IA est-elle capable de générer du dessin "style griffonné", tel que le pratiquent des auteurs comme Tsutomu Takahashi ? Donc dans un style, disons plus spontané et rough. Je prends cet exemple parce que c'est un dessinateur que j'adore, mais j'aurais pu en citer d'autres (comme Tatsuki Fujimoto). Plus généralement, ton IA est-elle capable de produire autre chose que du style réaliste ? (Ou est-ce le propre de l'homme ?)
Et si tu me dis que oui, je sens que je vais bader.

[Pyjam]

Si vous ne supportez pas le bonhomme, vous pouvez toujours couper le son et regarder les images.

[Twin]

Ton IA est-elle capable de générer du dessin "style griffonné", tel que le pratiquent des auteurs comme Tsutomu Takahashi ? Donc dans un style, disons plus spontané et rough. Je prends cet exemple parce que c'est un dessinateur que j'adore, mais j'aurais pu en citer d'autres (comme Tatsuki Fujimoto). Plus généralement, ton IA est-elle capable de produire autre chose que du style réaliste ? (Ou est-ce le propre de l'homme ?)

On dirait bien (même si elle se débrouille moins bien sur le modèle précis du robot):

[Apophis]

Le résultat est stupéfiant, j'en conviens. Mais il reste dans le domaine de l'image "top léchée", ce qui m'amène à formuler deux questions :
1 - Sais-tu si la base de données à partir de laquelle est générée l'illustration contient des photos ?
2 - Ton IA est-elle capable de générer du dessin "style griffonné", tel que le pratiquent des auteurs comme Tsutomu Takahashi ? Donc dans un style, disons plus spontané et rough. Je prends cet exemple parce que c'est un dessinateur que j'adore, mais j'aurais pu en citer d'autres (comme Tatsuki Fujimoto). Plus généralement, ton IA est-elle capable de produire autre chose que du style réaliste ? (Ou est-ce le propre de l'homme ?)
Et si tu me dis que oui, je sens que je vais bader.

Les images mises en lien dans mon post ne sont pas si léchées que ça, en fait, ce type d'IA peut générer absolument n'importe quoi : des images impossibles à distinguer d'une photo, du style manga, comics, du crayonné, le style d'un conte dans un livre pour enfants, et ainsi de suite. Tout dépend du modèle (du checkpoint), des extensions qui lui sont ajoutées (les LORA, par exemple), du prompt (la phrase disant à l'iA ce qu'elle doit faire), de l'artiste d'inspiration (s'il y en a un), et ainsi de suite.

Si je prends l'IA que j'utilise (Stable Diffusion), la version de base a été entraînée avec 2 milliards d'images, il me semble, donc il y avait de tout : photos, dessins, tableaux, etc. Et chaque modèle / extension (LORA, etc.) qui en a été dérivé a ajouté des images pour un entraînement plus spécifique ou plus fin. Il y a aussi eu des images qui ont été retirées à la demande de certains artistes (le plus connu étant Greg Rutkowski). Ce qui n'a aucune conséquence vu que n'importe qui peut ensuite ré-entraîner son propre modèle avec les images de l'artiste en question et l'uploader sur le Net. Cela ne nécessite que quelques dizaines d'images (très grand maximum, ça marche avec dix) et prend de deux à quelques heures (Je précise que je ne pratique pas la chose, personnellement).

[Apophis]

Bon du coup, je me suis livré à une petite expérience :

Prompt normal (cowgirl dans une pinède), checkpoint Jurgen Mix :



En introduisant "esquisse en noir et blanc" dans le prompt :



Ensuite, introduire "photoréaliste" dans le prompt n'a rien donné de très probant, donc j'ai changé de checkpoint (--> Deliberate) et j'ai modifié le prompt et les paramètres (sampler, CFG, steps) en conséquence, selon les recommandations du créateur du modèle. Et là, j'ai obtenu du quasi-photoréaliste (j'ai fait ça sur un coin de table en plein milieu de la diffusion d'un match de tennis, donc oui, il y a des défauts sur 3 des 4 images, je me suis plus concentré sur le photoréalisme que sur autre chose. Mais bon, à 15 secondes par image, ce n'est pas difficile d'obtenir rapidement quelque chose d'utilisable quand on a le temps nécessaire) :

[PHILIPPE CADUC]

OK, merci à tous pour vos réponses. C'est hallucinant.
Et chuis en bad.

[PHILIPPE CADUC]

MAIS, tout ça reste très léché. Je demande à voir si elle est réellement capable de produire quelque chose aussi rough que ça. Ceux qui ont lu Bakuon Rettō comprendront. Ou même Gaston...
Qu'on m'apporte une preuve !

[PHILIPPE CADUC]

On a tous besoin de croire en quelque chose...

[Weirdaholic]

MAIS, tout ça reste très léché. Je demande à voir si elle est réellement capable de produire quelque chose aussi rough que ça. Ceux qui ont lu Bakuon Rettō comprendront. Ou même Gaston...
Qu'on m'apporte une preuve !

Apophis a raison : dans l'absolu, rien n'interdit de générer une image de type crobard, tout dépend comme tu nourris ton réseau de neurones.

Plus précisément, ce type d'images est générée après entraînement d'un réseau adverse comprenant deux entités : un générateur d'images et un discriminateur.

Grosso modo, tu passe un (gros) stock d'images (pouvant être des crobards donc) à ton générateur, il génère une image, que le discriminateur compare avec les images en stock, avant de livrer son verdict ! ressemblant à x % ; à ce moment, les deux entités ajustent leurs paramètres pour améliorer leurs performances la prochaine fois.

Tu répètes le processus des milliers de fois, jusqu'à ce que le générateur arrive à tromper le discriminateur, et tu obtiens un générateur d'images calibré sur ton stock initial : si le stock initial, c'est du Reiser, tu obtiens du Reiser-like à l'arrivée.

En fait, n'importe quel développeur connaissant Python et s'étant approprié le module TensorFlow peut écrire ce type de code (c'est le paramétrer / l'ajuster qui réclame plus d'expérience).

Par exemple, tu peux apprendre à un réseau de neurones à reconnaître des chiffres écrits à la main, en usant d'une des banques d'images par défaut de TF (MNIST).

Il est ainsi théoriquement possible de prévoir la prochaine couverture UHL (non, je n'ai pas essayé ^_^)...