PDA

Просмотр полной версии : select при 100.000 строк в таблице.


rcc0023
10.04.2009, 16:50
Можно каким нибудь хитроумным запросом брать из такой таблицы со скоростью, как при запросе в маленькую таблицу?

rcc0023
10.04.2009, 16:56
То есть есть большая таблица, 100.000 строк. Определенные записи запросом:
$q=mysql_fetch_array(mysql_query('SELECT * FROM '.$table.' WHERE user_id='.$g['user_id'].' LIMIT 1'));
грузятся очень долго...

Forcer
10.04.2009, 17:16
таблица проиндексирована?

rcc0023
10.04.2009, 17:25
да!

Gifts
10.04.2009, 17:26
Вопрос - столь ли необходимо читать все 100к записей?

И, эээ, зачем делать 100к запросов, логично что они будут тормозить.

$query=mysql_query('SELECT * FROM '.$table.' WHERE 1');

while ($row=mysql_fetch_array($query))
{
print_r($row);
}

rcc0023
10.04.2009, 17:31
Так я от туда беру максимум 30 записей... но выводятся они от 5ти секунд, бывает и все 10.

хотелось бы услышать о выборке одной определенной строки..

Gifts
10.04.2009, 17:41
rcc0023 Вы просто пытаетесь нивелировать достоинства мускуля


// Сам запрос один штука
// Например выведем все строки, для user_id между 20 и 30
$query=mysql_query('SELECT * FROM '.$table.' WHERE user_id>=20 and user_id<=30');

while ($row=mysql_fetch_array($query))
{
print_r($row);
}
// А теперь строки, у которых user_id находится в списке

$query=mysql_query('SELECT * FROM '.$table.' WHERE user_id in (1,25,32,42,54)');

while ($row=mysql_fetch_array($query))
{
print_r($row);
} Почитайте http://www.mysql.ru/docs/man/SELECT.html и что именно делает функция mysql_fetch_array

MuXaJIbI4
10.04.2009, 17:50
а какие у тебя в этой таблице есть индексы ... может они просто не используются

geezer.code
10.04.2009, 17:53
Индексировать нужно те поля, по которым ведется поиск.
зы может это уже не мускул лагает, а сама тачка(мало опёры, слабый проц, параллельно играешь СоD4)

rcc0023
10.04.2009, 18:12
Индекс первичный... с auto_increment
вы меня запутали.... получается все правильно сделано, только вся проблема в сервере и кол-ве строк?

p.s. оперы на 1000мб, на кроне висят скрипты постоянно что то добавляющие в базу..

Gifts
10.04.2009, 20:39
Если эти самые 30 записей получаются таким методом. То проблема не в количестве строк, а в реализации

$q=mysql_fetch_array(mysql_query('SELECT * FROM '.$table.' WHERE user_id='.$g['user_id'].' LIMIT 1'));

rcc0023
11.04.2009, 17:57
Да.... Спасибо!

Gar|k
11.04.2009, 18:24
эм ну скромно добавлю посоветую вернее... почитай внимательно документацию по SQL запросам очень много интересного.

Ваще базы данных эт наука ) со своей теорией (в нете можно многое найти)

ну а чисто полезные советы:
если ты делаешь SELECT * FROM но используешь тока например поле user_id
это очень плохой тон тк базе да и памяти срипта потребуется больше времени на обработку чем если бы ты сделал SELECT user_id FROM

очень часто нужно узнать количество полей там или подсчитать ченить
начинающие программисты делают так

SELECT * FROM и потом смотрят mysql_num_rows или ваще цикл $cnt++ ))

в MySQL есть такая интересная штука как count()

function rows($che,$tab,$par='')
{
$w='';
if($par<>''){$w='where';}

$sql=mysql_query("select count($che) as \"cnt\" from $tab $w $par");
$row=mysql_fetch_array($sql,MYSQL_ASSOC);
mysql_free_result($sql);

return $row['cnt'];
}

заметь я указываю аргумент у mysql_fetch_array потомучто без него функция возращяет 2 массива один с именами другой с цифрами типа $row[0], $row[id] + mysql_free_result($sql) - освобождает память от уже ненужных данных

есть еще интересная функция например max которая выберает максимальный элемент одним запросом... почитай в общем.

Ну и не забывай о безопасности
всегда значения передаваемые в WHERE пиши в кавычках типа WHERE id='1' это спасет тебя если на серверы включены magic_quotes_gpc типа id=1' OR 1=1/*

ВСЕ входящиее переменные особено $_GET нужно проверять и явно указывать их тип (спасет от подстав типа ?page[]=2)

например так

$id=preg_replace("/\D/","",(int)$_GET['id']);

Удаче, товарищь! )

rcc0023
11.04.2009, 18:36
Ооо... есть над чем думать.... ! +++++++ =)

всегда значения передаваемые в WHERE пиши в кавычках

эм.. нагрузки не дадут 'лишние' ковычки?

Gar|k
11.04.2009, 19:51
Лишних кавычек не бывает )))
пример

where id=$id / ?id=2-1 / id=2-1 (результ id=1)
where id='$id' / ?id=2-1 / id='2-1' (результ ??? а результом будет id=2)


<?php

$sqlq=mysql_connect('localhost','root');
mysql_select_db('test');

function sql($zap){
echo $zap."<br>";
$sql=mysql_query($zap) or die(mysql_error());
$row=mysql_fetch_array($sql,MYSQL_NUM);


echo $row[0]." ".$row[2]."<br>";
mysql_free_result($sql);
}

$id=$_GET['id'];

sql("select * from gal where id=$id");
sql("select * from gal where id='".$id."'");


mysql_close($sqlq);

?>

еще заметь die(mysql_error()) - так делать можно только на стадие дебага ... хакир ваще не должен знать че происходит
даже отсутсвие каких либо выводимых данных признак того что ошибка есть, поэтому нужно обязон делать проверки типа

if(mysql_num_rows() > 0)
else { $id=1 ; }

а лучше ваще перенаправления куданить на главную или к списку там тем незнаю чего ) меня лично это очень добивает потомучто приходится возвращатся на зад и тестить дальше ))))

VDShark
11.04.2009, 22:59
Gar|k "Лишних кавычек не бывает )))"

Лишние кавычки конечно же бывают, ибо тогда производится неявное преобразование типов, что на больших объемах данных может дать заметное замедление. Так что необходим смотреть на это дело со стороны безопасности - необходимы ли они в конкретном случае или нет.

GreenBear
11.04.2009, 23:13
используй индексы! у меня из 200к рандомно 20 рядов берет за 0.02 секунд!

rcc0023
12.04.2009, 13:12
А как использовать (организовать, создать) индексы?

Gar|k
12.04.2009, 15:23
Ну я понимаю это так

таблица
id text

id=primary key, auto_increment (писал по памяти)

ну и все select text from table where id=5

хотя я могу ошибатся я пока теорию мало изучал может еше чам че замудреное есть )