Команда Интеграл

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Команда Интеграл » Движки » Тесты движков


Тесты движков

Сообщений 1 страница 14 из 14

1

Протестировал движки на 300 тестовых позициях, мной подобранных. Контроль 1 минута на позицию. Вот результаты.
1 Deep Fritz 10                   177  из  300
2 Rybka WinFinder 2.2      176
3 Deep Shredder 10.1         155
4 HIARCS 11.1 MP            151
5 Deep Junior 10.1              148
6 Rybka2.2n2.mp                132
7  Glaurung 1.2.1 SMP       128

Конечно, подобный тест не дает точного представления о силе движков, (хотя бы потому, что сам характер позиции предполагает , что в ней уже достигнуто выигрышное положение одной из сторон), но на кое-какие размышления наводит. В идеале тестовые позиции следует разбить по типам. Например: эндшпиль, тактический удал, позиционная жертва и пр. определяя как себя движок чувствует в разных типах позиций. Работу по сортировки тестовых позиций еще предстоит проделать.
И еще, обнаружил интересную вещь, прибавка времени на «обдумывание» тестовой позиции с 1 минуты до 10 приводит к увлечению решенных позиций максимум на 5 процентов.
Прсьба к  участникам форума предлагать тестовые позиции из собственных партий. Это должна быть позиция с одним, определенно сильнейшим, ходом, который прога не видит сразу или не видит совсем.

0

2

Интересная информация! :)

0

3

Кстати наша сырая и глючная "стрелка" на среднем контроле вполне достойно против рыбки у меня выглядела. А шреддер 10.1 вообще обыграла :) Правда речь только о матче из нескольких партий.  Интересно, как бы она справилась с тестом.

0

4

Для заочников эта "стрелка" совершенно бесполезна, т.к. при анализе выводит только одну линию, а анализировать подобным образом сложно. Да и версия, распространенная в сети, еще сырая.  Но протестировать ее, в принципе, можно...

0

5

Результаты теста Strelka 1.0 Beta по 100 тестовым позициям ( 93 позиции из WM-Test. 7 откровенно легких позиций этого теста заменены моими).  Контроль тот же 60 секунд на позицию.

Strelka 1.0 Beta – 52 из 100. Что совсем не плохо. Для сравнения
Deep Fritz 10     -  68
Rybka2.2n2.mp -  59
Toga II 1.3x4     -  52
LoopMP 12.32   -  50
Chess Tiger 2007- 37

Если эту программу довести до ума, то должен получиться не плохой движок. Во всяком случае, у нее даже в не mp варианте высокая скорость счета

0

6

Высокая скорость счёта и небольшой объём, видимо, свидетельствуют о небольшом объёме заложенных знаний?  Мне кажется, что за 10 минут процент решенных увеличился бы больше, чем на 5%.

0

7

Мне, прежде всего, интересно насколько эта программа действительно оригинальна. Уж как-то она вдруг взялась ни откуда. Сколько работают над SmarThinkом и WildCatдом, а прогресс-то с каждой новой версией копеечный, а тут вдруг такое чудо? Что, так бывает? Ведь даже Рыбка появилась ни на пустом месте, она отталкивалась от Fruitа…

0

8

Вряд ли Стрелка чей-то клон, слишком уж сырая:)
http://sdchess.ru/Strelka.htm

0

9

Спасибо, я думал что «стрелка» это что-то типа «Peter 1.00». Приятно, что скоро мы увидим новый сильный, да еще и российский, движок.

0

10

У Иммортала появились новые рыбка 2.3.2 и Loop 13.6 :)

0

11

Одиннадцать лучших программ по результатам решения 300 тестовых позиций с контролем времени 60 секунд на позицию.

1. Deep Fritz 10              -   177
2. Deep Shredder 10.1    -   155
3 HIARCS 11.1 MP        -   151
4 Deep Junior 10.1          -   148
5. Zap!Chess Zanzibar    -   148
6. Rybka2.3.2.mp            -   147
7. Glaurung 1.2.1 SMP   -   128
8. Strelka 1.0 Beta           -   122
9. Naum 2.1                     -   120
10 Toga II 1.3x4              -   107
11 Loop 13.6                    -   102

Лидирующая шестерка – это элита доступных сегодня игровых шахматных программ.
Результат Rybka WinFinder - 176, но всерьез к нему относится не следует. Эта программа создавалась специально для решения подобных тестов, а в анализе игровых позиций она слабовата. Использовать ее следует только для «добивания».
Loop традиционно слабо решает тесты, но с другими программами играет успешно.

0

12

минута, мне кажется, всё же маловато. Есть же проги, которые лучше играют блиц, и есть которые сильнее в классике. При таких начальных условиях приемущество будет у первых, а для нас, заочников, фактор времени не очень важен, оно у нас есть. Я когда-то проводил эксперимент - взял Дворецкого, тот том, что в инете нашел именно в СВ - формате и дал рыбке, вроде на трёх линиях, т.е. примерно так, как часто анализируют люди. Надолго меня не хватило, но позиций 50 я прогнал. Ход, который Дворецкий сопровождает "!" почти всегда был в тройке. Чаще первым или вторым. Кроме совсем уж заумных вроде ежовых Крh8 с идеей Лg8 и g5. Такое машина наверное не может найти в принципе, поскольку делаются один за другим два совершенно непонятных хода, что бы подготовить стрёмный третий, при полном отсутствии какого-то позитива на горизонте.  Если только знания какие-то помогут.

0

13

Я тоже обдумывал вопрос об оптимальном времени на решение тестовых позиций. И пришел к выводу, что минута- это лучшее время далеко не сразу. Сначала все проги гонял по 5 минул.
Как известно, по окончанию теста можно получить распечатку данных как быстро в каждой позиции прога выводит сильнейший ход на первую линию. И я заметил интересную вещь. Программа или находит решение в первые 60 секунд или не находит его совсем. Процент позиций решаемых в интервале 61 секунда – 150 секунд крайне мал, и им вполне можно пренебречь.
Т.е. прога или ухватывает суть позиции сразу или не ухватывает ее совсем.. Число обрабатываемых вариантов с каждым полуходом растет в жуткой геометрической прогрессии, и глубина перебора при значительном увеличении времени на обдумывание растет очень медленно, а в какой-то момент просто перестает расти.
Еще одно наблюдение сделанное как раз на разборе анализов Дворецкого. Программа может вообще не видеть сильнейшего хода на очень долгом промежутки времени ( некоторые позиции, прежде чем включить их в тест, я давал обдумывать Фрицу и Джюниуру по часу и более). Но стоит сделать 2-3 полухода в нужном направлении, как оценка этого хода резко меняется? Почему? Значит не только в глубине перебора дело. Именно поэтому я считаю, что ставить позицию на анализ скажем на всю ночь – очень не перспективное дело… Намного больше пользы если в форсированном темпе проверить разные ветки. А тут скорость схватывания сути позиции прогой очень важна.
И последнее, я считаю, что хорошая аналитическая программа должна улавливать тактические нюансы позиции ни тогда, когда эта позиция уже стоит на доске, а еще на подходе к ней. Давая сразу понять, где у нас перспективы, а где засада. А это значить, что ту позицию которую, мы предлагаем программе как тестовую, прога должна правильно оценить еще на подходе к ней.
И совсем последнее. Эти тесты всего лишь ориентиры не претендующие на истину в последней инстанции. Каждый заочник определяет для себя сам, как и какими программами ему анализировать. И слава Богу, что проги еще не всесильны в анализе.

Отредактировано Владимир_61 (2007-06-17 00:49:56)

0

14

---Но стоит сделать 2-3 полухода в нужном направлении, как оценка этого хода резко меняется? Почему?
   честно говоря я не специалист, но мне кажется, что алгоритм выбора хода авторы прог стараются "очеловечить", что вполне естественно. У человека, при выборе хода большинство ходов-кандидатов попадают в "мёртвую зону" ну там отдача материала, грубые позиционные ошибки итд итп.  Их он даже не смотрит. Чем выше класс ш-та, тем больше ходов в этой зоне оказываются.  У прог тоже самое - прога ранжирует ходы-кандидаты по предварительной оценке и в зависимости от неё затрачивает на рассмотр следующего полухода каждого кандидата то или иное время. То есть та же мёртвая зона. Если комп мощный и времени много, то через какое-то время ход оттуда извлекается, рано или поздно глубины хватает :).  Наверняка глубина этой условной ямы регулируется как-то в настройках. Какая-нибудь "избирательность" не знаю, не экспериментировал никогда на эту тему. В Вашем примере, Вы не только извлекаете ход из ямы но и делая ещё пару полуходов значительно облегчаете проге работу. Такое бывает сплошь и рядом, поэтому анализ руками самый эффективный. Ну по крайней мере на предварительном этапе выбора хода, если уж совсем научно подходить :).  В моём примере про ежовый трёхходовый маневр ход Крh8 безусловнр из мёртвой зоны, когда ресурсов хватит на бол-менее приличный счёт проге помешает  то, что Лg8 оттуда же, и окончательно её добъёт g5 - тоже из ямы - к безопасности Кр движки в основном относятся серьёзно.  Если покапаться в настройках, убрать яму, снизить безопасность Кр теоретически можно наверно повысить вероятность нахождения даже таких планов.

---что хорошая аналитическая программа должна улавливать тактические нюансы позиции ни тогда, когда эта позиция уже стоит на доске, а еще на подходе к ней.
    Согласен.
    Была у меня когда-то мечта идиота :) Чтоб можно было заносить в специальную базу позиции на которые проге идти нельзя. Даже не потому что они какого определённого результата, а потому что это меня устраивает.  Ну то есть подвигал-подвигал определил ряд таких позиций, занёс их в базу. Прога к этой базе во время анализа обращается, ну дальше 1:1 как с таблицами Налимова. Сравнительно недавно обнаружил, что мою идею уже "реализовали" :)) правда в не очень удачной форме :). Вообще на открытой ветке эту дискуссию надо сворачивать:). Нечего недругам наши секреты знать.  И может коллеги к ней подключаться? :)

0


Вы здесь » Команда Интеграл » Движки » Тесты движков