Room for Andy's awk issue

next day → last day (15 days later) »

Andy K

17:41

hello

close to sobbing

terdon

Just so we don't flood the main room with this issue

Andy K

I feel dumb

terdon

@AndyK Nah, it's always hard to explain this kind of thing. Explain it in French.

Andy K

essayons

terdon

My written French is awful so I'll probably answer in English to spare your eyes but my comprehension is fine.

Andy K

17:42

j'ai un fichier de 20000 lignes , environ

terdon

Andy K

j'ai des doublons dans ce fichier

ce que je souhaite

est d'avoir dans un autre fichier

les doublons sur la première colonne et la 4eme colonne des lignes

de toutes les lignes

le truc est que j'ai fait un tri

sur ce fichier

terdon

QUand tu parles des doublons, tu veux dire doublon 100% ou juste par raport aux fields 1 et 4?

Andy K

les doublons sur la 1ere colonne et la 4eme colonne sont déjà groupés

doublons juste par rapport aux champs 1 et 4

terdon

Andy K

17:45

qui sont déjà groupés

quand je parle de colonnes , c'est field

est-ce que cela te paraît plus clair ?

terdon

Dessolé, il faut que je pars qq minutes. Essaye de me donner un exemple très très simple, genre:

aaa;bbb;ccc;ddd;eee
aaa;foo;bar;ddd;baz

et je vais réessayer quand je rentre. Dans une heur ou moins.

Andy K

ça devrait être comme ça

12345678;bbb;ccc;10/01/15;eee;0;1;1
12345678;foo;bar;10/01/15;baz;0;1;1
12345679;foo;bar;10/01/15;baz;0;1;1
12345680;foo;bar;11/01/15;baz;0;1;1
12345680;foo;bar;11/01/15;baz;0;1;1
12345680;foo;bar;12/01/15;baz;0;1;1
12345683;foo;bar;10/01/15;baz;0;1;1
12345652;foo;bar;10/01/15;baz;0;1;1

ça , c'est le jeu de donné initial.

le jeu de donnée transformé , c'est ça

12345678;bbb;ccc;10/01/15;eee;0;1;1
12345678;foo;bar;10/01/15;baz;0;1;1
12345680;foo;bar;11/01/15;baz;0;1;1
12345680;foo;bar;11/01/15;baz;0;1;1

regroupement des données par la première colonne et la quatrième

dis-moi dans le cas où je ne suis pas clair @terdon. Je me casse , je serais dispo si tu me pingues

terdon

18:38

Ah! Je vois! C'est ou l'un ou l'autre c'est ça?

So, either the 1st column is the same or the 4th is the same.

Ah, non, c'est pas ça

Donc, mois j'ai compris que tu veux toutes les lignes ou la 1ere colonne et la 4eme colonne sont doublés. Si c'est le cas, essaye cela:

awk -F';' '{if(NR==1){n=0; a[n]=$0}if($1==l1 && $4==l4){a[++n]=$0}else{for (l in a){print a[l];}delete a} l1=$1;l4=$4;l=$0}END{if($1==l1 && $4==l4){print}}' file

Ou ça:

 perl -F';' -ane '$k{$F[0]}{$F[3]}.=$_; $l{$F[0]}{$F[3]}++;END{foreach $o (keys(%k)){foreach $f (keys(%{$k{$o}})){ print "$k{$o}{$f}" if $l{$o}{$f}>1}  }}' file

Andy K

19:06

@terdon

c'est ça

je fais un test

@terdon , ça l'air de marcher avec mon extrait. Il faut que je fasse le test grandeur nature.

@terdon je te dis ça demain. Merci pour tout et bonne soirée.

next day → last day (15 days later) »

all rooms