Verktøy for utvikling av Cerebrum

3.7.1   Tilgjengelege databasar

Nokre databasar vert automatisk oppdaterte med ein kopi av produksjonsmiljøet:

• cerebrum_<instans>_ro

  Dette er ein kopi av produksjonsmiljøet for kvar instans. Desse er i utgangspunktet ReadOnly, og du bør lage ein kopi av ein slik database når du skal teste, og ikkje jobbe mot denne databasen direkte. Ikkje bruk denne databasen når du tester noko. Ikkje ver tilkobla denne databasen, då ingen får laga ein kopi av den om nokon bruker den.

• cerebrum_uio_no_pq

  Dette er ein kopi av UiO sitt produksjonsmiljø, men der tabellen paid_quota_printjob er tømd. Dette fordi denne tabellen er svær, og som oftast unødvendig for testing. I oktober 2012 innehaldt denne tabellen 35'871'822 rader!

Andre databaser:

• cerebrum_<instans>_<brukarnamn>

  Dette er det vanlege namneformatet for databasar du oppretter for testing.

3.7.2   Opprette test-database

Kvar natt får vi ein kopi av databasen til instansane Cerebrum drifter. Du bør ikkje gjere testar og endringar mot desse test-databasane, men heller lage deg ein lokal kopi. For å lage din eigen kopi av databasen:

cerebrum_uio_ro=> CREATE DATABASE cerebrum_uio_jokim WITH OWNER cerebrum TEMPLATE cerebrum_uio_no_pq;
CREATE DATABASE

cerebrum_uio_ro=> \c cerebrum_uio_jokim
SSL connection (cipher: DHE-RSA-AES256-SHA, bits: 256)
You are now connected to database "cerebrum_uio_jokim" as user "cerebrum".

cerebrum_uio_jokim=> ANALYZE ;
WARNING:  skipping "pg_authid" --- only superuser can analyze it
WARNING:  skipping "pg_database" --- only superuser can analyze it
WARNING:  skipping "pg_tablespace" --- only superuser can analyze it
WARNING:  skipping "pg_pltemplate" --- only superuser can analyze it
WARNING:  skipping "pg_auth_members" --- only superuser can analyze it
WARNING:  skipping "pg_shdepend" --- only superuser can analyze it
WARNING:  skipping "pg_shdescription" --- only superuser can analyze it
WARNING:  skipping "pg_db_role_setting" --- only superuser can analyze it
ANALYZE

cerebrum_uio_jokim=>

Vi har ein database per instans, på formatet cerebrum_INST_ro. For UiO har vi også ein skrivbar test-database - cerebrum_uio_rw, som du kan køyre små testar mot, samt ein database utan utskriftskvoter, cerebrum_uio_no_pq. Tabellen for utskriftskvoter er svær, så du kan bruke denne databasen for å få ein kjappare database.

3.7.3   Bruke database i utviklingsmiljø

For at utviklingsmiljøet ditt skal kunne ta i bruk din nyopprettede test-database, må du kopiere/symlinke en allerede eksisterende passord-fil på cere-utv04, som ligger i mappen:

/site/cerebrum/<instans>/etc/passwords

Din passord-fil må ligge i samme mappe, og ha navn etter følgende format:

passwd-cerebrum@<database-navn>@dbpg-cere-utv.uio.no

Dette må gjøres for alle nye instanser du etterhvert begynner å arbeide på.

3.7.4   Sjå aktive tilkoblingar

For å feilsøke i databasetilkoblingar kan ein få ei liste over aktive db-tilkoblingar mot ein database i psql:

SELECT * FROM pg_stat_activity WHERE datname = 'cerebrum_uio_ro';
  datid  |          datname           | procpid | usesysid | usename  | application_name |  client_addr  | client_hostname | client_port |         backend_start         |          xact_start           |          query_start          | waiting |                                           current_query
---------+----------------------------+---------+----------+----------+------------------+---------------+-----------------+-------------+-------------------------------+-------------------------------+-------------------------------+---------+------------------------------------------------------------------------
 3619295 | cerebrum_uio_jokim         |   16407 |    16785 | cerebrum |                  | 129.240.2.119 |                 |       37019 | 2012-10-11 10:32:23.459898+02 |                               | 2012-10-11 10:42:50.120591+02 | f       | <IDLE>
 3604719 | cerebrum_nmh_jokim         |   10484 |    16785 | cerebrum |                  | 129.240.2.119 |                 |       54544 | 2012-10-10 14:39:28.170159+02 | 2012-10-10 14:39:32.639194+02 | 2012-10-10 14:40:12.574372+02 | f       | <IDLE> in transaction
 3590201 | cerebrum_uio_jokim_studaut |     937 |    16785 | cerebrum |                  | 129.240.2.119 |                 |       38321 | 2012-10-11 09:59:36.114355+02 | 2012-10-11 10:02:36.55046+02  | 2012-10-11 10:02:36.572672+02 | t       | DELETE FROM posix_user WHERE account_id = 1808175

Du kan sjå i kolonna current_query kva for kall som køyrast, for å sjå kva som tek tid.

Dersom du lurer på kva eller kven transaksjonen tilhøyrer, er kolonna client_port vesentleg. På maskina som er nemnd i client_addr (vanlegvis cere-utv01) kan du køyre bash-kommandoen:

# netstat -pa --numeric-ports --inet | grep CLIENT_PORT
tcp        0      0 cere-utv04.uio.no:CLIENT_PORT     dbpg-cereutv2.uio.no:DB_PORT   ESTABLISHED PROCESS_ID/python
/* Til dømes: */
tcp        0      0 cere-utv04.uio.no:37019           dbpg-cereutv2.uio.no:5432      ESTABLISHED 30499/python

# ps aux | grep PROCESS_ID
root     22560      0.0  0.0  61148   732 pts/1    S+   11:06   0:00 grep PROCESS_ID
USERNAME PROCESS_ID 0.0  0.5 198960 23756 pts/25   S+   10:32   0:00 COMMAND
/* Til dømes: */
jokim    30499      0.0  0.5 198960 23756 pts/25   S+   10:32   0:00 python /usit/platon/gt-u1/jokim/src/cerebrum-head/servers/bofhd/bofhd.py -c /usit/platon/gt-u1/jokim/jobb/config/uio/config.dat --unencrypted -p 10001 -h localhost

Ein ser då både kva skript som køyrast og kven det tilhøyrer.

3.7.5   Grave frem hva som låser en tabell

Finn databasens oid:

SELECT oid from pg_database WHERE datname = 'cerebrum_uio_ro';

Finn locks på denne databasen:

SELECT * FROM pg_locks WHERE database = 5643667;

Her vil du klassisk lete etter ekslusive låser. Hvis du finner en lås du vil titte på, kan du ta verdien i pid-feltet, og stappe det inn i:

SELECT * FROM pg_stat_activity WHERE procpid = 12765;

Med dette kan du spore opp sesjonen videre til klienten.

Hvis du ønsker å se hvilken tabell låsen er satt på, kan du f.eks. gjøre:

SELECT relname FROM pg_class WHERE oid = 5644075;

Her er oid verdien du finner i relation-feltet ved spørring mot pg_locks.

3.7.6   Finne fram i koden

For å enklare vite korleis klassar, metodar og variablar er definerte kan du bruke tags. Dette er ei fil som inneheld ei liste over alt som er definert i kodetreet, som gjer at du kan slå opp eit namn og finne ut kva det, kor det er definert, og evt. med kva parameter det er definert.

For vim, gå til cerebrum-mappa di:

ctags --recurse --exclude=".git" --exclude="clients/cweb" \
                --exclude="*~" \
                --exclude="contrib/no/ntnu/*" --exclude="contrib/no/uit/*" \
                --exclude="Cerebrum/modules/no/uit/*" --exclude="Cerebrum/modules/no/ntnu/*" \
                --languages="Python,PHP,Java"

For å bruke dette:

1. Start opp vim i cerebrum-mappa di. Dette for at den leiter berre etter

   tags-fila i den mappa du er i (pwd).

2. Gå til namnet som du vil slå opp.

3. Trykk CTRL+}.

4. Du vil bli sendt til fila der namnet er definert. Dersom namnet er definert

   fleire stader vil du få opp ei liste over alle, og må velge ein av dei med å skrive inn eit tal.

5. Du kan hoppe til neste definisjon ved å fortsette med punkt 2.

6. Når du vil hoppe tilbake eit hakk trykker du CTRL+T, ein gang for kvart

   hopp du har utført.

7. Meir info, køyr: :help tags-and-searches

For emacs, gå til cerebrum-mappa di:

etags --recurse --exclude=".git" --exclude="clients/cweb" \
                --exclude="*~" \
                --exclude="contrib/no/ntnu/*" --exclude="contrib/no/uit/*" \
                --exclude="Cerebrum/modules/no/uit/*" --exclude="Cerebrum/modules/no/ntnu/*" \
                --languages="Python,PHP,Java"

TODO: Kva kommandoar brukast i emacs?

3.7.7   Minnebruk

Av og til kan det vere greit å vite kor mykje minne eit skript bruker.

Dette kan ein finne under /proc/$PID/status. Fila /proc/self/status vil alltid gi deg status for den prosessen du køyrer i.

Kva du kan legge inn på slutten av skriptet ditt:

for line in open('/proc/self/status'):
    if line.startswith('Vm'):
        print line.strip()

Som gir deg output av typen:

VmPeak:   757028 kB
VmSize:   756876 kB
VmLck:         0 kB
VmHWM:    571316 kB
VmRSS:    571080 kB
VmData:   564060 kB
VmStk:       192 kB
VmExe:         4 kB
VmLib:     13556 kB
VmPTE:      1416 kB
VmSwap:        0 kB

Det som gjerne er mest interessant er VmPeak som viser deg kva skriptet har brukt maksimalt på samme tid gjennom køyringa si. VmSize gir deg kor mykje minne du bruker i det du las inn fila frå proc.

3.7.8   Tidsbruk

Dersom du har behov for å sjå kva som gjer skriptet ditt treigt, kan cProfile vere smart å bruke. Dette er funksjonalitet som ser på kva python-koden din køyrer, og kan gje deg statistikk på slutten.

For å køyre det utan å endre skriptet:

python -m cProfile -o /tmp/cprofile.$USER.data -s cumulative ~/src/cerebrum/contrib/...

Ein kan deretter lese ut all informasjonen etterpå:

TODO

TODO: skriv meir om dette.