Web осень 2013 лекция 6

Работа с базой.
Django ORM

Александр Бекбулатов

Где хранить данные
На клиенте
• Cookie (до 4Кб)
• HTML5 Web Storage (до 5Мб)

На сервере
• В памяти
• На диске
• На диске и в памяти
2

Работа с базой

1. Представление о СУБД
2. Проектирование баз данных
3. Основные операции SQL

4. Работа с базами данных в python
5. Работа с базами данных в django

3

Представление о СУБД
База данных
взаимосвязанная информация (данные) об

объектах, которая организованна специальным
образом и хранится на каком-либо носителе.
СУБД

совокупность программных и лингвистических
средств общего или специального назначения,
обеспечивающих управление созданием и
использованием баз данных.
4

Представление о СУБД
Функции СУБД
 управление данными на дисках и в оперативной памяти
 журнализация изменений, резервное копирование и
восстановление базы данных после сбоев;
 поддержка языков БД (язык определения данных, язык
манипулирования данными).

5

Реляционная модель данных
 Таблица – отношение, relation
 Строка – кортеж, tuple
 Столбец – атрибут, column

Car
Key
1
2
3

Model
Toyota Camry
Audi A4
Honda Civic

Color
Key
1
2

Color
1
2
2

Name
Black
Pink

Year
2010
2013
2013
6

Cousine
Key
1
2

Ingredient
Key
1
2
3

Name
Baked fish
Pork Chops

Name
Pork
Lamb
Salmon

Type
Main Course
Main Course
CousineIngredient
CousineKey
IngredientKey
1
3
2
1

7

Задачи проектирования
 Обеспечение хранения в БД всей необходимой информации.

 Обеспечение возможности получения данных по всем
необходимым запросам.
 Сокращение избыточности и дублирования данных.
 Обеспечение целостности данных (правильности их
содержания): исключение противоречий в содержании данных,
исключение их потери и т.д.

8

Проектирование на практике
 Логическое разделение сущностей

 Выделение синтетических первичных ключей
 Связи 1:N, N:1 реализуются через внешний ключ

 Связи N:M реализуются через промежуточную таблицу
 Атрибут с фиксированным числом значений – внешняя
таблица либо поле типа enum

9

Основные операции SQL

10

SELECT
SELECT * FROM users WHERE age > 10;
SELECT * FROM users WHERE name = 'masha';
SELECT max(age) FROM users;
SELECT id, name, length(name) AS len
FROM users
WHERE email LIKE '%@mail.ru' AND age > 10
ORDER BY name DESC
LIMIT 10 OFFSET 15

11

SELECT. Агрегация
Агрегатные функции:
COUNT, SUM, AVG, GROUP_CONCAT
SELECT name, count(id) cnt
FROM users
GROUP BY name
ORDER BY cnt
HAVING cnt > 1

12

SELECT. JOIN
SELECT h.name, a.name
FROM heroes h, abilities a
WHERE h.id = a.hero_id
FROM heroes h
INNER JOIN abilities a ON h.id = a.hero_id

FROM heroes h
LEFT JOIN abilities a ON h.id = a.hero_id

13

SELECT. Вложенные запросы
SELECT title
FROM article t1
JOIN (
SELECT rubric_id, MAX(id) max_id
FROM article
GROUP BY rubric_id LIMIT 5
) t2
ON t1.id = t2.max_id;

14

INSERT, UPDATE, DELETE
INSERT INTO users (name, age) VALUES ('Petr', 10);
UPDATE users SET age = 20 WHERE name = 'Petr';
UPDATE users SET rating = rating + 1;
DELETE FROM users WHERE name = 'Masha';
DELETE FROM users WHERE age > 150;

15

Индексы
Проектирование на практике
 Создавать индексы для полей, по которым происходит JOIN
 Создавать индексы для полей, по которым фильтруются
записи (WHERE)
 Создавать индексы для полей, по которым идет сортировка
(ORDER)
 Проверять план выполнения запроса (EXPLAIN)
 Управление оптимизатором (принудительное использование
индекса, порядок соединения таблиц)

16

Работа с базами данных в

python

17

MySQLdb
import MySQLdb
db = MySQLdb.connect(
host="localhost", user="joebob",
passwd="moonpie", db="thangs")
cursor = db.cursor()

18

MySQLdb
cursor.execute('update users set age = age + 1
where name = %s', (name,))
cursor.execute('select * from users')
users = cursor.fetchall()
cursor.execute('select * from users where name =
%s', (name,))
user = cursor.fetchone()

19

MySQLdb
cursor.executemany(
"INSERT INTO users (name, age) VALUES (%s,
%s)",
[
("Igor", 18 ),
("Petr", 16 ),
("Dasha", 17 )
])

db.close()

20

MySQLdb
Зачем плейсхолдеры?
email = "' OR '1'='1"
cursor.execute("SELECT * FROM users WHERE email =
'%s'" % email)

Документация
http://mysql-python.sourceforge.net/MySQLdb.html

21

Работа с базами данных в

django

22

Классы в Python
class Employee(object):
def __init__(self, name, salary):
self.name = name
self.salary = salary
def __unicode__(self):
return unicode(self.name)
def get_info(self):
return "Name : %s, Salary: %s" % (self.name,
self.salary)
class Programmer(Employee):
def __init__(self, name, salary, lang):
super(Programmer, self).__init__(name,
salary)
self.lang = lang
23

Классы в Python
>>> e1 = Programmer(u'Vasya', 100, 'VB')
>>> print u'Welcome %s' % e1
Welcome Vasya
>>> e1.get_info()
u'Name : Vasya, Salary: 100'
>>> e1.lang
'VB'

24

Raw SQL vs ORM
cursor.execute('select * from users where age >
18')
for user in cursor.fetchall():
pk, name, age = user
print name
VS

for user in User.objects.filter(age__gt=18):
print user.name

25

Модели и типы данных
class Post(models.Model):
title = models.CharField(max_length=255)
content = models.TextField()
creation_date =
models.DateTimeField(default=datetime.datetime.now)

def __unicode__(self):
return self.title
def get_absolute_url(self):
return '/post/%d/' % self.pk
def get_next_post(self):
"""Return the next entry"""
class Meta:
ordering = ['-creation_date’]

26


Типы данных Mysql
varchar(N)

longtext
tinyint(1)
int(11)
smallint(5) unsigned
date
datetime

Типы полей Django
CharField
EmailField
SlugField
ImageField
TextField
BooleanField
IntegerField
PositiveSmallIntegerField
DateField
DateTimeField
27

Свойства полей моделей
null, blank, choices, db_index, default, editable,
help_text, max_length, primary_key, unique, unique_for_date,
unique_for_month, unique_for_year, verbose_name
https://docs.djangoproject.com/en/dev/ref/models/fields/

28

Связи между таблицами
class Post(models.Model):
title = models.CharField(max_length=255)
content = models.TextField()
creation_date =
models.DateTimeField(default=datetime.datetime.now)
category = models.ForeignKey(Category,
on_delete=models.SET_NULL)
tags = models.ManyToManyField(Tag)

29

ForeignKey, OneToOneField
ForeignKey = IntegerField + Constraint
OneToOneField = ForeignKey + unique
post.category – связанный объект (отдельный запрос к
связанной сущности)
post.category_id – значение атрибута модели (просто id)
В обратную сторону:
category.post_set.all()
30

ForeignKey, OneToOneField
Изменение/удаление внешнего ключа
•
•
•
•

RESTRICT -> models.PROTECT
CASCADE -> models.CASCADE
SET NULL -> models.SET_NULL
NO ACTION -> models.DO_NOTHING

31

ManyToManyField

Tag
id
title
description

Post
id
title
content
creation_date
category
PostTag

post_id
tag_id

32

ManyToManyField
post.tags – related manager
post.tags.all()
В обратную сторону:
tag.post_set.all()

33

ORM API
python manage.py shell
>>> from blog.models import Category, Post
>>> from django.db import connection

>>> # Вставка и замена
>>>
>>>
>>>
1
>>>
>>>

c = Category(title="Python")
c.save()
c.id
c.title="About Python"
c.save()

34

ORM API
python manage.py shell
>>> print 'n'.join(q['sql'] for q in
connection.queries)

INSERT INTO `blog_category` (`title`,
`description`) VALUES ('Python', '')
SELECT (1) AS à` FROM `blog_category` WHERE
`blog_category`.ìd` = 1 LIMIT 1
UPDATE `blog_category` SET `title` = 'About
Python', `description` = '' WHERE
`blog_category`.ìd` = 1
35

ORM API
>>> # Выборка
>>> Category.objects.all()
[<Category: About Python>]
>>> print Category.objects.all().query
SELECT `blog_category`.`id`,
`blog_category`.`title`,
`blog_category`.`description` FROM `blog_category`
>>> Category.objects.filter(id=1)
[<Category: About Python>]
>>> c = Category.objects.get(id=1)
>>> c
<Category: About Python>
>>> c.post_set.all()
[]
36

ORM API
>>> c.post_set.create(title="New post",
content="Many words")
<Post: New post>
>>> c.post_set.count()
1
>>> p = Post.objects.get(title="New post")
>>> p.category
<Category: About Python>
>>> p.category_id
1
>>> Post.objects.filter(category__title="About
Python")
<Post: New post>
>>> c.delete()
37

Debug Toolbar
https://github.com/django-debugtoolbar/django-debug-toolbar

38

Manager и RelatedManager
Методы Manager
 slice [10:20]
 .all(), .filter(), .exclude(), .order_by()
 .values(), .values_list()
 .get(), .get_or_create(), .count(), .exists()
 .select_related(), .prefetch_related()
 .update(), .delete()

39

Manager и RelatedManager
Методы RelatedManager
 .create(**kwargs)
 .add(obj1[, obj2, ...])
 .remove(obj1[, obj2, ...])
 .clear()

40

Особенности QuerySet
Queryset ленивый
qs = Category.objects.all()
if not user.is_admin:
qs = qs.filter(active=True)
print qs.count()

41

Избегайте лишних запросов в базу
Foreign key кешируется
post.category

Queryset – нет.
Если нужно использовать несколько раз – кешируйте явно
question_list = list(Question.objects.all())

42

Атомарное обновление
Question.objects.filter(pk=10)
.update(rating=models.F('rating') + 1)

https://docs.djangoproject.com/en/dev/ref/models/querysets/

43

Создание базы
CREATE DATABASE ask_db CHARACTER SET utf8
COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON ask_db.* TO
ask_user@localhost identified BY 'secret';

44

Подключение базы
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME': 'ask_db',
'USER': 'ask_user',
'PASSWORD': 'secret',
'HOST': '',
'PORT': '',
}
}

45

Полезные команды
 Проверка моделей
python manage.py validate
 Вывод SQL
python manage.py sqlall <app_name>
 Выполнение SQL в базе
python manage.py syncdb

46

SQL. Создание таблиц
CREATE TABLE `blog_post` (
ìd` integer AUTO_INCREMENT NOT NULL PRIMARY KEY,
`title` varchar(255) NOT NULL,
`content` longtext NOT NULL,
`creation_date` datetime NOT NULL,
`category_id` integer NOT NULL
)
;
ALTER TABLE `blog_post` ADD CONSTRAINT
`category_id_refs_id_e0428883` FOREIGN KEY
(`category_id`) REFERENCES `blog_category` (ìd`);
ALTER TABLE `blog_post_tags` ADD CONSTRAINT
`post_id_refs_id_c9e37cca` FOREIGN KEY (`post_id`)
REFERENCES `blog_post` (ìd`);
CREATE INDEX `blog_post_42dc49bc` ON `blog_post`
(`category_id`);
47

SQL. Удаление и изменение таблиц
DROP TABLE blog_post;
ALTER TABLE users ADD COLUMN language
enum('ru', 'en') NOT NULL DEFAULT 'ru' after
name;
ALTER TABLE users DROP COLUMN langauge;
ALTER TABLE users ADD INDEX ('name');
ALTER TABLE users CHANGE nickname fullname
varchar(255) NOT NULL;
48

Миграции

1. DROP DATABASE, CREATE DATABASE
2. DROP TABLE, CREATE TABLE
3. ALTER TABLE

4. South

49

South

• Автоматическое создание миграций
• Поддержка различных СУБД
• Прямые и обратные миграции

50

South Workflow
1. Создать миграцию
./manage.py schemamigration ask --initial

2. Применить миграцию
./manage.py migrate ask

3. Изменить модель
4. Создать миграцию
./manage.py schemamigration ask --auto

5. Применить миграцию
./manage.py migrate ask
51

1. MySQL http://dev.mysql.com/doc/refman/5.5/en/index.html
2. Mysqldb http://mysql-python.sourceforge.net/MySQLdb.html

3. Django http://docs.djangoproject.com/en/dev/
4. Django Debug Toolbar https://github.com/django-debugtoolbar/django-debug-toolbar

52

1. Установить Django Debug Toolbar
2. Установить MySQL, python-mysqldb. Создать базу данных и
пользователя для работы с базой
3. Описать модели для проекта «Вопросы и ответы»
4. Наполнить базу тестовыми данными

53

Спасибо за внимание
Александр Бекбулатов,
a.bekbulatov@corp.mail.ru

Web осень 2013 лекция 6

More Related Content

What's hot (20)

Similar to Web осень 2013 лекция 6 (20)

More from Technopark (20)

Web осень 2013 лекция 6